Детство и юность провел в Гамбурге, Мюнхене и Дрездене, в 1939 году выехал с родителями в Швейцарию, заканчивал лицей в Австрии. Изучал искусствоведение и драматическое искусство в Римском университете.
С 1948 года - актер театра и кино. Работал в Австрии и Германии.
Прославился исполнением роли молодого кайзера Франца Иосифа в серии фильмов об императрице Австрии Сисси.
Получил известность в роли серийного убийцы Марка Льюиса в триллере английского режиссера Майкла Пауэлла "Подглядывающий" (1960). В этой роли Карлхайнц Бём пытался убежать от актерского имиджа, созданного трилогией о Сисси. В 60-е годы фильм подвергся жесткой критике, лишь при повторном выпуске в 80-е годы признан одним из лучших образцов жанра.
В 1961-1966 годы - в Голливуде. В 1966 году вернулся в Европу.
Исполнил свои лучшие роли в сотрудничестве с Райнером Вернером Фасбиндером в триллере "Марта" (Хельмут Саломон, 1974), фильмах - "Эффи Брист" (Гейхермрат Вюллесдорф, 1974), "Вознесение матушки Кюстерс" (Тёльманн, 1975), фильме "Кулачное право свободы" (Макс, 1975).
В 1981 году основал благотворительную организацию "Menschen für Menschen (MFM), которая помогает нуждающимся в Эфиопии.
Карлхайнц Бём проводит несколько месяцев в году в Эфиопии, внедряет в жизнь различные проекты, поддерживает контакты с персоналом организации, обсуждает с ними распределение средств и осуществляет контроль.
В 2001 году награжден "Bundesverdienstkreuz" (немецкий федеральный крест за заслуги со звездой), в 2002 году Большой Золотой медалью за заслуги перед Австрийской Республикой. В 2008 году - Баварским орденом "За заслуги" и Золотой Медалью почета города Вена, Австрия.