В 1929-м Арлен написал свою первую известную песню 'Get Happy' на слова Теда Келера (Ted Koehler), с которым он часто работал впоследствии. На протяжении первой половины 30-х Арлен и Келер создавали шоу для 'Cotton Club', популярного ночного клуба в Гарлеме (Harlem), работали над бродвейскими мюзиклами и голливудскими кинофильмами. Их сотрудничество подарило Америке (America) огромное количество хитов, в том числе бессмертные 'Let's Fall in Love' и 'Stormy Weather'. Арлен с успехом продолжал выступать как пианист и вокалист. Его композиции всегда были популярны среди джазовых музыкантов из-за легкости, с которой в них вплетались блюзовые оттенки, обязательные для популярных американских песен.
В 1937 году Гарольд женился на Ане Таранда (Anya Taranda), 22-летней модели и актрисе, и все больше в ремени стал проводить в Калифорнии (California), работая над музыкой для киномюзиклов. Брак с Аней, дочерью русских эмигрантов, продолжался до ее смерти в 1970 году, но четвертую часть этого времени она провела в санаториях, поскольку страдала нервным расстройством и угрожала физической расправой мужу и другим людям.
Именно в это время Арлен начал сотрудничать с поэтом-песенником Ипом Харбургом (Edgar Yipsel Harburg). В 1938 году их наняла кинокомпания 'Metro-Goldwyn-Mayer', чтобы написать песни для картины 'Волшебник страны Оз', результатом чего в 1940 году стал 'Оскар' (Oscar Award) за 'лучшую музыку и оригинальную песню'. Песни Арлена до сих пор активно используются при производстве фильмов - так в 2010 году 'Over the Rainbow' прозвучала в финальном эпизоде первого сезона самого рейтингового сериала года 'Хор' (Glee). Интересно, что Арлен долгое время был другом и соседом актера Рэя Болджера (Ray Bolger), сыгравшего Страшилу в 'Волшебнике страны Оз'.
В 40-е Гарольд стал работать с автором текстов Джонни Мерсером (Johnny Mercer), и итогом их сотрудничества стали такие хиты, как 'Blues in the Night', 'That Old Black Magic', 'Ac-Cent-Tchu-Ate the Positive', 'Any Place I Hang My Hat Is Home' и 'One for My Baby (and One More for the Road)' .
50-е начались с испытаний – попала в лечебницу жена, умер отец, в 1954-м Гарольд едва не умер от прободения язвы, в 1956-м умерла его мать, и композитор замолчал на год, не в силах справиться с этой потерей. Зато 60-е стали для Арлена счастливым и плодотворным десятилетием, он написал более 50 популярных песен. После смерти жены в 1970-м Арлен начал терять интерес к жизни, постепенно превратился в затворника, но не перестал работать. Он умер 23 апреля 1986 года и был похоронен рядом с женой на кладбище Фернклифф (Ferncliff Cemetery) в Хартсдейле, штат Нью-Йорк (Hartsdale, New York)