Вырос он в Сталинграде, где закончил железнодорожную школу. Во время учебы с успехом выступал в художественной самодеятельности. Хотя Николай Рыбников начал учебу в медицинском институте, он решил стать артистом и в 1948 году отправился в Москву поступать во ВГИК.
Актерскому мастерству Николай Рыбников учился у педагогов Сергея Герасимова и Тамары Макаровой и считался одним из самых талантливых студентов. Жил он в студенческом общежитии ВГИКа в подмосковном Бабушкине.
Кроме блестящих актерских способностей Рыбников обладал еще и даром имитирования голосов известных людей. Николай был очень весёлым студентом и мастером розыгрышей. Однажды он, спрятавшись в шкаф, голосом Левитана зачитал правительственное сообщение о снижении цен .
В комнате, при этом, находилось чуть ли не половина общежития. Через несколько дней за компанией шутников во главе с Рыбниковым пришли люди из органов. Рыбникова исключили из комсомола и собирались исключить из ВГИКа. Спасла будущую звезду советского кино роль Петра I, которую Николай блестяще играл в студенческом театре. За Рыбникова вступилось руководство курса и отстояло его право продолжить обучение.
Николай начал сниматься в кино сразу после окончания ВГИКа. Везло с режиссерами, его таланту помогли проявиться Алов и Наумов, Швейцер, Хуциев. Все, кому с ним довелось работать, говорят, что на съемочной площадке он всегда был собран и профессионален, добиваясь от режиссеров четко поставленной задачи и четко ее выполняя. Он мог не спать ночь, но на следующий день его работа в кадре была как всегда безупречна. Словно специально для него и писались характеры упрямых рабочих парней, борцов за правду, "душа нараспашку". А он и был такой, и все делал талантливо - играл ли, любил ли, растил ли детей...
Ещё на первом курсе ВГИКа Николай Рыбников влюбился в красивую девушку. Но та не обращала никакого внимания на ничем, в общем-то, не выделяющегося паренька. Да он, скромняга, ни на что и не претендовал. Его избранницей была очаровательная сокурсница Аллочка Ларионова. Был актёром вспомогательного состава Сталинградского драматического театра. Окончил Всесоюзный государственный институт кинематографии (1953, мастерская С. Герасимова и Т. Макаровой). С 1953 года — актёр Театра-студии киноактёра.
Николай Рыбников появился на экране в начале 50-х и сразу же стал любимцем публики, которая тут же выучила песню самого популярного рыбниковского героя – Саши Савченко из фильма «Весна на Заречной улице». «Когда весна придёт, не знаю!..» – пела вся страна. Фотооткрытки с изображением кумира выпускались невиданными тиражами, о нём писали газеты и журналы, у касс кинотеатров выстраивались километровые очереди, когда на экраны выходили новые фильмы с участием Николая Рыбникова.
Но звезда актёра сияла совсем недолго. Всего лишь 10 лет Рыбников был востребован и почитаем. За это время он сыграл главные роли в таких фильмах, как «Чужая родня», «Высота», «Девушка без адреса», «Две жизни», «Девчата», «Война и мир». В жизни будучи похожим на своих героев – такой же простой, открытый, ироничный – он женился на первой московской красавице Алле Ларионовой, блиставшей в костюмных, светских ролях. Их боготворили, им завидовали, к концу 60-х их обоих почти перестали снимать.
Рыбникова не забыли, но роли пошли малоинтересные, фильмы – второстепенные. Он сыграл Ивана Мазаева в «Седьмом небе», Ивана Ивановича в «Семье Ивановых», Непейводу в «Развлечении для старичков», Девяткина в фильме «Уходя – уходи», Кондратия Петровича в картине «Выйти замуж за капитана». Всего за его плечами осталось чуть меньше 50 фильмов, что для кумира публики, в общем-то, совсем немного. Если ещё учесть, что последние годы Рыбников снимался только в эпизодах. Да и сами киногерои Рыбникова мало отличались друг от друга: сначала это были молодые, задорные рабочие, затем - справедливые отцы семейства, а в конце – противные старики. Между тем, ВГИКовцы поколения Рыбникова до сих пор вспоминают, как он в дипломном спектакле играл Петра I. По их словам, такого исполнения больше ни у кого никогда не было.
Жизнь Аллы Ларионовой, одной из самых красивых актрис советского кино, шла параллельно жизни Рыбникова.
Сохранились воспоминания известной актрисы об их браке:
"Когда я стала сниматься - он вдруг проникся ко мне. И потом, где бы я не была - я получала от него какие-то вести, телеграммы... Хозяин в доме, кулинар, внимательный отец. Подарки детям - это всегда делал он".
Рыбников был ужасно ревнивым. Как-то во время совместной работы в картине "Длинный день Кольки Павлюкова" они были на вечеринке у знакомой. Молодой пылкий поклонник Аллы Ларионовой вдруг стал на колени и начал признаваться ей о любви. Ворвавшийся в этот момент Рыбников залепил юноше оплеуху и вылетел из квартиры, хлопнув дверью. В такие моменты первой на примирение всегда шла Алла Ларионова.
Они прожили вместе более 30 лет. И за все это время - со дня их знакомства и до дня своей смерти - он словно не видел других женщин, мечтая лишь о тех ролях, где его партнершей могла бы быть его жена.
Пара Ларионова - Рыбников была одной из самых красивых семейных пар Советского Союза. Жили они в роскошной пятикомнатной квартире с камином в центре Москвы, воспитывали двух дочерей, много снимались и, как и положено, представляли советское кино на зарубежных кинофестивалях и встречах "деятелей партии и правительства с деятелями культуры".
В 70-х годах творческая карьера Рыбникова и Ларионовой пошла на спад. На смену им пришли другие молодые красивые актеры. Они очень из-за этого переживали, но никогда не теряли надежды вернуться в кино. Были какие-то картины, но все они в основном проходили незамеченными.
В 1981 году Рыбникову присвоили звание " Народный артист РСФСР".
Когда Рыбникова прекратили снимать, он долгие годы жил на средства от творческих встреч со зрителями. Все свободное время он проводил на даче, где увлеченно занимался выращиванием и консервированием овощей. Последний раз он закатал помидоры летом 1990 г., собираясь открыть их на ноябрьские праздники. Открыть пришлось раньше, на поминках по актеру.
Николай Рыбников не дожил до своего 60-летия полтора месяца. 22 октября он сходил в баню, пришел домой и, выпив рюмку коньяка, лег спать и не проснулся. За несколько лет до этого Рыбников перенес микроинсульт.
Говорят, смерть во сне посылается праведникам. Через десять лет, вернувшись домой с гастролей, легла спать и не проснулась Алла Ларионова. Супруги наконец встретились в том призрачном мире, путь в который столь же мучителен и прекрасен, как любовь, и столь же неизведан и короток, как сон.
Похоронен в Москве на Троекуровском кладбище . Рядом с ним похоронена его жена, актриса Алла Ларионова.