Коля в 1928 году стал учеником одной из московских средних школ. Во время учебы увлекся операторским искусством и мечтал профессионально овладеть этой специальностью. Одновременно занимался в драмкружке, участвовал в постановках самодеятельного театра при Наркомлеспроме. По окончании школы в 1939 году целенаправленно направился поступать во ВГИК на операторский факультет, но по иронии судьбы в тот год набора на это отделение не было. И Граббе решил попробовать свои силы на актерском факультете. Удачно прошел прослушивания, приглянувшись самому Сергею Эйзенштейну, и был принят.
Получив диплом в декабре 1943 года, в январе 1944 года Николай Граббе был зачислен в штат киностудии «Союздетфильм». Затем с 1945 по 1957 годы состоял в труппе театра-студии киноактера, с 1957 по 1967 годы – на киностудии имени Горького. С 1967 года до конца жизни – снова в театре-студии киноактера.
Свои первые роли в кино Николай Граббе сыграл будучи студентом последнего курса института, однако по-настоящему стоящие работы появились в его кинобагаже только в 1950-е годы. Сначала основными его героями на экране чаще всего были люди в погонах и иностранцы, а с возрастом к ним примкнули всевозможные руководящие работники. Среди заметных работ Граббе: Ян Галда («Школа мужества»), Дронов («Битва в пути»), Шотман («Синяя тетрадь»), Нольде («Как Вас теперь называть?»), Василий Федорович («Пограничная тишина»), Осадчий («По тонкому льду»), Ольховиков («Путь в "Сатурн”» и «Конец "Сатурна”»), Виктор Круг («Ошибка резидента», «Судьба резидента», «Возвращение резидента»), Василий Васильевич («Дача»).
Помимо актерской деятельности, Николай Граббе много работал на дубляже, озвучив несколько сотен картин. К середине 1970-х годов дубляж настолько «затянул» актера, что он предпочёл его съемкам в кино, часто отказываясь от предложений режиссеров.
В жизни Николай Карлович был честным и порядочным человеком. Много читал, писал стихи, хорошо рисовал. Любил участвовать в капустниках, устраиваемых в театре-студии киноактера. Среди его друзей были Виктор Авдюшко, Иван Рыжов, Константин Тыртов, Феликс Яворский, Яков Беленький.
Николай Граббе был женат на актрисе Московского театра на Таганке Маргарите Николаевне Докторовой (1921-2003). Их дети Алексей (р.1947) и Екатерина (1954-1998) избрали профессию родителей. Оба окончили театральное училище имени Щукина и стали актерами театра на Таганке.
Похоронен Николай Граббе в Москве на 19-м участке Ваганьковского кладбища.