В 1974, когда сенат провалил очередной финансовый законопроект, Уитлем распустил парламент и объявил новые выборы. Лейбористы вновь получили большинство мест в палате представителей, однако большинство в сенате осталось за другими партиями. Между тем в стране обострились проблемы, связанные с безработицей и инфляцией. В 1975 либеральная фракция сената получила наказ от своей партии отказаться от рассмотрения бюджета, чтобы не позволить правительству увеличить расходную частью бюджета. Когда Уитлем отказался объявить новые выборы, генерал-губернатор сэр Джон Керр отправил его в отставку, поручил лидеру либеральной партии Малкольму Фрейзеру возглавить переходное правительство и распустил парламент. На последовавших выборах лейбористы потерпели сокрушительное поражение. После очередного поражения лейбористов в 1977 Уитлем ушел с поста лидера партии. В 1978 он отказался от своего места в парламенте и занял должность профессора Австралийского национального университета. Его перу принадлежат несколько книг – Дорога к реформе: лейбористы у власти (Road to Reform: Labor in Government , 1975); Очерки о Лейбористской партии (Labor Essays , 1980); Цена федерализма (The Cost of Federalism , 1983) и др. Уитлем был назначен австралийским посланником в ЮНЕСКО в 1983 и оставался на этом посту до 1986. В течение 1990-х годов он играл активную роль в целом ряде международных организаций.