После окончания средней школы, Кляйн-Рогге изучал художественную историю в Берлине и Бонне, при этом беря уроки актерского мастерства. В 1909 он дебютировал на театральной сцене в роли Кассиуса в Шекспировском "Юлии Цезаре".
Работал в театрах Дюссельдорфа, Киля и Ахена. В Ахене Кляйн-Рогге встретил актрису и сценаристку Теа фон Харбоу. В 1914 они женятся. В 1915 году он вошёл в труппу Нюрнбергского театра, где был и актёром, и режиссёром.
С 1919 года Кляйн-Рогге начинает активно сниматься в кино, в том числе играет небольшую роль в фильме Роберта Вине "Кабинет доктора Калигари". В этот период Теа фон Харбоу уходит к режиссеру Фрицу Ланга. Несмотря на развод, который последовал в 1920 году, именно у Ланга и Харбоу, которая стала не только женой Ланга, но и сценаристкой его фильмов, актеру удается сыграть свои лучшие роли : "Блуждающий образ" (1920), "Усталая смерть" (1921), "Доктор Мабузе: Игрок" (1922), "Нибелунги" (1924), "Метрополис" (1927), "Шпионы" (1928).
Последней совместной работой Кляйна-Рогге, Ланга и Харбоу стала картина "Завещание доктора Мабузе" (1933). После прихода к власти нацистов Ланг покидает Германию.
В дальнейшем снимался в основном в незначительных ролях.
Был трижды женат: сперва на Маргарет Нефф, потом на Теа фон Харбоу, и в третий на шведской актрисе Мэри Джонсон.
Роберт Кох, победитель смерти
Der alte und der junge König - Friedrichs des Grossen Jugend
Mädchenhandel - Eine internationale Gefahr
Нибелунги: Месть Кримхильды
Доктор Мабузе, игрок
Der Film von der Königin Luise - 1. Abteilung: Die Märtyrerin auf dem Königsthron
Путешествие в Метрополис
Fritz Lang, le cercle du destin - Les films allemands
Queen: Greatest Video Hits 2
Dämonische Leinwand - Der deutsche Film der zwanziger Jahre
История кино
Кабинет доктора Калигари