Первую роль в кино сыграл в 1933, в фильме ужаса «Вурдалак», сразу установив свое амплуа эксцентричного, обаятельного, немного нелепого англичанина. Первоначально снимался, в основном, в комедиях и комедийных триллерах, часто у продюсера Александра Корды: «Человек, который умел творить чудеса», «Самолеты типа Q». За классической приключенческой лентой «Четыре пера» последовали роли в пропагандистских и антифашистских фильмах, среди которых выделяется «Серебряный флот». После войны сыграл Каренина в фильме «Анна Каренина» и одну из своих лучших ролей, дворецкого Бэйтса, в картине Кэрола Рида «Поверженный кумир».
В 1947 получил рыцарский титул за заслуги в развитии английского театра. Сыграл в Голливуде у Уильяма Уайлера в фильме «Наследница» и был выдвинут на премию «Оскар». В 1952 поставил триллер «Дома в семь», в котором исполнил главную роль. Играл у Дэвида Лина в лентах «Звуковой барьер» и «Доктор Живаго», у Лоренса Оливье в «Ричарде III», вновь у Кэрола Рида в фильмах «Изгнанник островов» и «Наш человек в Гаване». Одну из своих лучших эксцентричных ролей сыграл в комедии «Другой ящик».
В жизни Ричардсон был таким же эксцентриком, как на экране, носил красные носки, до 80 лет гонял на мотоцикле, обожал разыгрывать как друзей, так и людей незнакомых.
Среди поздних ролей выделяются работы в фильмах «О, счастливчик!», «Бандиты времени».
Ричардсон умер незадолго до выхода в прокат своего последнего фильма «Грейстоук, легенда о Тарзане, повелителе обезьян», в котором сыграл старого лорда Грейстоука, катающегося по лестницам на чайном подносе. Режиссер Хью Хадсон перемонтировал картину, чтобы включить больше эпизодов с участием Ричардсона, и посвятил фильм его памяти.