С началом эры звукового кино Джозеф Шилдкраут успешно продолжил и далее появляться на большом экране. В 1937 году он стал обладателем премии «Оскар» в номинации «Лучший актер второго плана» за свою роль в фильме «Жизнь Эмиля Золя». Из последующие ролей наиболее заметными стали его появления в фильмах «Мария-Антуанетта» (1938) с Нормой Ширер в главной роли, и «Человек в железной маске» (1939). В 1959 году Шилдкраут был номинирован на «Золотой глобус» за роль Отто Франка в фильме «Дневник Анны Франк».
С началом 1950-х годов актер стал регулярно появляться на телевидении, где в 1963 году был номинирован на премию «Эмми» за роль в теледраме «Сэм Бенедикт».
Джозеф Шилдкраут трижды был женат. С первой супругой он развёлся в 1930 году, вторая скончалась в 1962, а с третьей он прожил менее года после свадьбы и скончался в январе 1964 года от инфаркта. За свой вклад в киноиндустрию актёр удостоен звезды на Голливудской аллее славы.