В политике с 1940-х, член Республиканской партии, при демократах Рузвельте и Трумэне участвовал в разных правительственных комиссиях, в 1951—1952 гг. председатель консультативного совета по вопросам международного развития. В республиканской администрации Эйзенхауэра был заместителем министра. В 1954—1955 гг. специальный помощник президента Эйзенхауэра по внешнеполитическим вопросам.
С 1959 по 1973 губернатор штата Нью-Йорк, имел репутацию либерала и лидера умеренного крыла республиканцев. Начиная с 1960 пытался получить у Республиканской партии выдвижение своей кандидатуры на президентство, но четыре раза подряд неудачно (1960; 1964; 1968; 1972).
После отставки Ричарда Никсона в 1974 президентом стал второй вице-президент Джеральд Форд. Форд был вице-президентом, поскольку избранный на эту должность Спиро Агнью был вынужден уйти в отставку еще раньше, чем сам Никсон. В соответствии с 25-й поправкой к Конституции США пост вице-президента, на котором открылась вакансия, должен был быть замещён Конгрессом по представлению президента. Форд остановил свой выбор на Рокфеллере, который был на протяжении долгого времени эффективным губернатором крупнейшего штата. Конгрессмены обеих палат интересовались больше не политическими способностями кандидата, которые были несомненны, а тем, не повлияет ли на его деятельность причастность к финансовой элите и огромное личное богатство. После долгих дебатов Палата представителей и Сенат утвердили Рокфеллера вице-президентом 19 декабря 1974. Он стал вторым и пока последним вице-президентом, вступишим в должность в соответствии с 25-й поправкой, после самого Форда.
Рокфеллер обставил и богато украсил, на свои средства, вице-президентскую резиденцию в Вашингтоне, хотя фактически не жил там, имея уже в Вашингтоне дом. Уходя с поста, он оставил всю обстановку в резиденции в собственности государства, и ею пользуются все последующие вице-президенты. Во время одной из публичных речей в 1976 собравшиеся хиппи стали высмеивать Рокфеллера, тогда он, рассердившись, показал им средний палец, что было запечатлено на фото, получившем большую известность.
Уже 3 ноября 1975 г. Рокфеллер известил Форда, что рассматривает своё вице-президентство как временное и не собирается баллотироваться в паре с ним в 1976. На этих выборах кандидатом в вице-президенты при Форде был известный республиканец Боб Доул, впоследствии неудачно боровшийся за президентство в 1996; впрочем, тандем Форд-Доул проиграл тендему демократов Картер-Мондейл.
Являлся постоянным членом Бильдербергского клуба.
Создатель Музея примитивного искусства в Нью-Йорке.
Нельсон Рокфеллер умер в Нью-Йорке через 2 года после ухода с должности, 26 января 1979, от сердечного приступа во время полового сношения, как официально указано в его свидетельстве о смерти. Любовницей 70-летнего политика была некая Меган Маршак, о которой мало что известно.
Его сын Майкл Рокфеллер — этнограф и антрополог, трагически погиб в 1961 году в Новой Гвинее во время научной экспедиции.