После окончания средней школы, Кляйн-Рогге изучал художественную историю в Берлине и Бонне, при этом беря уроки актерского мастерства. В 1909 он дебютировал на театральной сцене в роли Кассиуса в Шекспировском "Юлии Цезаре".
Работал в театрах Дюссельдорфа, Киля и Ахена. В Ахене Кляйн-Рогге встретил актрису и сценаристку Теа фон Харбоу. В 1914 они женятся. В 1915 году он вошёл в труппу Нюрнбергского театра, где был и актёром, и режиссёром.
С 1919 года Кляйн-Рогге начинает активно сниматься в кино, в том числе играет небольшую роль в фильме Роберта Вине "Кабинет доктора Калигари". В этот период Теа фон Харбоу уходит к режиссеру Фрицу Ланга. Несмотря на развод, который последовал в 1920 году, именно у Ланга и Харбоу, которая стала не только женой Ланга, но и сценаристкой его фильмов, актеру удается сыграть свои лучшие роли : "Блуждающий образ" (1920), "Усталая смерть" (1921), "Доктор Мабузе: Игрок" (1922), "Нибелунги" (1924), "Метрополис" (1927), "Шпионы" (1928).
Последней совместной работой Кляйна-Рогге, Ланга и Харбоу стала картина "Завещание доктора Мабузе" (1933). После прихода к власти нацистов Ланг покидает Германию.
В дальнейшем снимался в основном в незначительных ролях.
Был трижды женат: сперва на Маргарет Нефф, потом на Теа фон Харбоу, и в третий на шведской актрисе Мэри Джонсон.