Степень бакалавра в английс ком языке и драме он получил в Университете Монтаны (University of Montana); и в самом начале 50-х годов началась актерская карьера Кэрролла.
Дебютной работой стали пара эпизодов в 'Sunday Showcase', далее последовали роли в таких проектах, как сериалы 'The United States Steel Hour', 'Hangman's Island', 'Adventures in Paradise'. К середине 60-х годов O`Коннор был уже очень востребованным на телевидении актером. Кроме того, он параллельно играл и на театральной сцене.
Роли Кэрролла включали в себя в основном телевизионные сериалы и фильмы, гораздо реже O`Коннор снимался в большом кино. Так, в течение 60-х его появления можно увидеть в военной драме Отто Преминжера 'По методу Харма' (In Harm's Way), военной же комедии Блейка Эдвардса 'Что ты делал на войне, папа?' (What Did You Do in the War, Daddy?), драме Джорджа Роя Хилла 'Гавайи' (Hawaii), боевике Джона Бурмена 'В упор' (Point Blank) и нескольких прочих фильмах. В 1971-м Кэрролл O`Коннор вошел в состав сериала 'Все в семье' (All in the Family), за его роль, а он сыграл персонажа Арчи Банкера, актер получил, пожалуй, наибольшую зрительскую любовь. Кстати, гонорары актера за один эпизод составили тогда более 200 тысяч в неделю. Позже он сыграл своего самого удачного персонажа и еще раз - в спин-оффе сериала под названием 'Archie Bunker's Place', выходившем с 1979-го по 1983 год.
Вообще, за свою одну лишь актерскую карьеру O`Коннор сыграл более 80 ролей, а, кроме того, он порабо тал в качестве режиссера, сценариста и продюсера. Так, сценаристом он выступил в таких телепроектах, как сериал 'Полуночная жара' (In the Heat of the Night), и проект 'Archie Bunker's Place'. Писал сценарии Кэрролл для телевизионных фильмов 'Brass', 'The Last Hurrah' и нескольких прочих. К обоим сериалам, в которых он стал автором, O`Коннор выступил в качестве режиссера и продюсера.
Среди многочисленных наград и премий актера – 9 номинаций на 'Эмми', 5 из которых стали наградами. Все, кроме одной награды (In the Heat of the Night), были за сериал 'All in the Family'.
'Золотой глобус' O`Коннор получил лишь однажды, зато номинировали его на эту премию 10 раз. Кроме этого, в 1979 году актер стал лауреатом 'Peabody Awar ds'.
С 1990 года Кэрролл введен в Зал Телевизионной Славы (Television Hall of Fame), а также дважды был лауреатом 'NAACP Image Award'.
В марте 2000 года актер получил именную звезду на Голливудской Аллее Славы,
В 1999 году O`Коннор сыграл в комедийной драме Клаудии Хувер 'Гидеон' (Gideon), а через год исполнил свою последнюю роль в кино, в романтической комедии Бонни Хант 'Вернись ко мне' (Return to Me).
Кэрролл O`Коннор умер 21 июня 2001 года от сердечного приступа, ставшего следствием диабета. Произошло это в Калифорнии; актера горячо оплакивали его многочисленные коллеги-актеры. Он похоронен на кладбище в Вествуд-Виллидж (Westwood Village Memorial Park Cemetery), рядом с его сыном Хью, скончавшимся в 1995 году.