Вскоре он получил работу в одном из бурлеск-шоу, где выступал в комедийном дуэте с актером Филом Силверсом. Благодаря этим выступления Джек Альбертсон попал на Бродвей, где его актерская карьера стала стремительно развиваться. В конце 1930-х Джек дебютировал на большом экране, снявшись в дальнейшем более чем в 30 фильмах. Одна из первых его киноролей была в фильме «Чудо на 34-й улице» (1947), где Альбертсон сыграл почтальона. Значительный успех пришёл к нему в 1950-х, когда он стал активно сниматься на телевидении.
В 1960-х и 1970-х Альбертсон появился в ряде успешных кинофильмов, среди которых «Целующиеся кузены» (1964), «Рабочий по найму» (1964), «Вилли Вонка и шоколадная фабрика» (1971) и «Приключение «Посейдона»» (1972). В 1964 году Джек был удостоен премии «Тони» за роль в бродвейском мюзикле «Если бы не розы», а четыре года спустя появился и в ее экранизации, роль в которой принесла ему премию «Оскар» в номинации лучший актер второго плана. В то же время Альбертсон продолжал успешную карьеру на телевидении, где в 1976 году удостоился премии «Эмми» за роль в сериале «Чико и человек».
В 1978 году Джеку был поставлен диагноз колоректальный рак, но он держал эту информацию в секрете и продолжал активно сниматься. Одну из своих последних ролей он сыграл в фильме ужасов «Умершие и похороненные».
Джек Альбертсон скончался в ноябре 1981 года в Голливуде в возрасте 74 лет. Спустя год не стало и его сестры, актрисы Мэйбл Альбертсон. Они оба были кремированы, а их прах развеян над Тихим океаном.
Его вклад в развитие американского телевидения был отмечен звездой на Голливудской аллее славы.