В 1932 - 1936 г.г. играл в Театре ВЦСПС, в 1936-1959 г.г. - в Центральном академическом театре Советской Армии.
Хотя в кино Николай Сергеев впервые снялся в 1937 году, дебютировав ролью командира фашистской эскадрильи в фильме «Глубокий рейд», известность ему принесли роли возрастные.
Этапной в этом отношении для него стала роль старого рабочего Басманова в картине Иосифа Хейфеца «Большая семья» (1954). В этой картине актёра заметил Михаил Швейцер и дал ему создать совершенно противоположный образ - скупого крестьянина Силантия Ряшкина в «Чужой родне» (1955).
С этого момента Николая Сергеева стали приглашать ведущие советские режиссёры, и вскоре он оставил театр ради кинематографа.
Старики Сергеева особенные. Долговязые, суховатые, молчаливые, не очень эмоциональные – это от характера самого актёра. Однако скупость слов восполнялась точными деталями, походкой, выражением глаз, умением «думать на экране». А главное – отсутствием какой-либо фальши, недостоверности, приблизительности.
Среди лучших ролей Николая Сергеева: Максим Петрович («Солнце светит все»), капитан Сергеев («Мичман Панин»), смотритель тюрьмы («Воскресение»), отец Гусева («Девять дней одного года»), Николай Васильевич («Риск – благородное дело»). Самой выдающейся работой актёра считается иконописец Феофан Грек в картине Андрея Тарковского «Андрей Рублёв».
Более пятидесяти лет Николай Васильевич прожил в счастливом браке с актрисой Ольгой Васильевной Долговой, с которой вместе работал в ЦТСА. Когда Сергеев стал активно сниматься и ушёл из театра, то она ушла вместе с ним, оставив профессию, и всю свою последующую жизнь отдала заботам о муже. Детей у супругов не было, поэтому, когда в их доме в конце 50-х годов появилась племянница Светлана, то всю свою любовь и заботу они переключили на неё.
Сергеев Николай Васильевич умер 8 января 1988 года в Москве. Похоронен на Ваганьковском кладбище.