В 1975 году де Хооп Схеффер поступил стажером в информационный отдел Министерства иностранных дел Нидерландов и прошел годичный курс обучения для молодых дипломатов. В 1976 году отправился в Аккру, где два года работал в посольстве Нидерландов в Гане. Вернувшись из Ганы, до 1980 года работал в Брюсселе в представительстве Нидерландов в НАТО. В 1980-1986 годах был личным секретарем министра иностранных дел Нидерландов.
В 1986-2002 годах де Хооп Схеффер был членом был депутатом нидерландского парламента от партии Христианско-демократический призыв (Christen Democratisch Appel), или ХДП (CDA). В 1992-1997 и 2001-2002 годах возглавлял парламентскую комиссию по международным делам. В 1995-1997 годах де Хооп Схеффер был заместителем лидера ХДП, а в 1997-2001 годах - лидером ХДП.
Летом 2002 года де Хооп Схеффер стал министром иностранных дел Нидерландов, а с начала 2003 года - еще и председателем Организации по безопасности и сотрудничеству в Европе (ОБСЕ). В сентябре 2003 года его избрали новым генеральным секретарем НАТО. В декабре 2003 года де Хооп Схеффер покинул пост министра иностранных дел Нидерландов, а в январе 2004 года официально вступил в должность главы Североатлантического альянса. При нем состав участников НАТО расширился с 19 до 26 стран, и в 2006 году альянс подтвердил намерение со временем принять в свои ряды Грузию и Украину. При де Хооп Схеффере НАТО активно участвовало в миротворческих операциях в Афганистане и Косово.
Де Хооп Схеффер женат, у него две дочери. Свободно владеет английским, французским и немецким языками, в свободное время играет в теннис и сквош, занимается бегом.