Иосиф Матвеевич Рапопорт родился 22 марта 1901 года в городе Орёл, учился в губернской мужской гимназии.

Переехав в Москву,  с 1918 года — актёр и один из организаторов «Шаляпинской студии», где сыграл роли: Телье («Волки» Роллана), заглавную роль в «Королевском брадобрее» А. Луначарского и др.

С 1920 года до конца жизни он работал в Театре имени Евгения Вахтангова.

Искусство Иосифа Рапопорта отличалось остротой и оригинальностью замысла, чёткостью и отработанностью внешних деталей.

«Научиться быть простым и правдивым в выявлении своих чувств перед зрителем, при известной работе над собой, может всякий человек. Научиться же передавать свои чувства в художественно-выразительной форме, которая заражала бы зрителя и вызывала в нем соответствующие чувства, не всякий может; для этого нужно обладать тем, что мы называем актерской «заразительностью», актерскими данными, той или иной степенью дарования актера», — писал Иосиф Матвеевич в своей книге «Работа актера», изданной в 1939 году.

Среди его ролей: Мудрец, Труффальдино (Принцесса Турандот), Напойкин (Лев Гурыч Синичкин), Парень (Виринея), Успенский (Разлом), Ефим Сутеев (Барсуки), Мгулин (На крови), Соломон Шапиро (Заговор чувств), Гофмаршал Ф. Кальб (Коварство и любовь), Розенкранц (Гамлет), Герцог де Шолье (Человеческая комедия), Костя-капитан (Аристократы), Филька (Интервенция), В.И. Ленин (Человек с ружьём), Денис Давыдов (Фельдмаршал Кутузов), Рубинштейн (Кому подчиняется время) и др.

В Вахтанговском театре Иосиф Матвеевич Рапопорт поставил спектакли: «Путина» Ю. С. Слёзкина (совместно с Борисом Захавой, 1931), «Дорога цветов» В. Катаева (1934), «Без вины виноватые» А.Н. Островского (1937), «Дон Кихот» М.А. Булгакова по роману М. Сервантеса (1941), «Вечер, посвященный 40-летию со дня смерти А.П. Чехова» (режиссёр отрывка «Предложение», 1944), «Русский вопрос» К. Симонова (1947), «Макар Дубрава» А. Корнейчука (1948), «В начале века» пьеса братьев Тур и Л. Шейнина (совместно с Рубеном Симоновым, 1949), «Миссурийский вальс» (совместно с Рубеном Симоновым, 1950), «В середине века» Л. Шейнина (совместно с Рубеном Симоновым, 1949), «Поют жаворонки» К. Крапивы (1951), «Ромео и Джульетта» У. Шекспира (1956), «История одной семьи» Л. Кручковского (1962).

Как режиссёр, участвовал в выпуске спектаклей: «Сенсация» Бен-Хекта и Мак-Артура (постановка Рубена Симонова, 1930),  «Гамлет» У. Шекспира (Постановка и оформление Николая Акимова, 1932), «Аристократы» Н. Погодина (постановка — Бориса Захавы, режиссёры: Анатолий Горюнов, Иосиф Рапопорт, Борис Щукин, 1935).

Особое место в этом ряду заняла постановка «Много шума из ничего» по одноименной пьесе У. Шекспира. Для этой постановки он собрал великолепный актёрский ансамбль: Рубен Симонов, Цецилия Мансурова, Валентина Вагрина, Дмитрий Дорлиак. Декорации Вадима Рындина – яркие, воздушные, наполненные солнцем — вошли в учебники как пример безупречной работы театрального художника. Музыку на стихи Павла Антокольского написал в то время молодой композитор Тихон Хренников, он точно уловил замысел режиссёра и создал современные, живые, близкие зрителю мелодии. Премьера спектакля «Много шума из ничего» состоялась 7 октября 1936 года.

Среди его режиссёрских работ в других театрах: «Пэпо» Г. Сундукяна (1925) — в Армянской студии в Москве; «Изобретатель и комедиант» М. Н. Даниэля (1938), «Первая любовь» Р. И. Фраермана (1939), «Особое задание» С. В. Михалкова (1946) — В Центральном детском театре; «Табачный капитан» В. В. Щербачёва (1942), «Дочь тамбур-мажора» Ж. Оффенбаха (1943), «Холопка» Н. М. Стрельникова (1945) — в Московском театре оперетты.

С 1925 года И.М. Рапопорт начал заниматься педагогической деятельностью. В 1934-41 и 1946-50 годах преподавал во ВГИКе.  В 1942 — 1946 — в студии Московского театра оперетты. С 1950 — профессор ГИТИСа (факультет музыкальной режиссуры). С 1953 года преподавал в Театральном училище имени Б.В. Щукина.

Иосиф Матвеевич Рапопорт ушел из жизни 11 мая 1970 года, похоронен на Новодевичьем кладбище.