Роберт Джон Элиас родился 24 июня 1935 года в США. В 15 лет Роберт поменял фамилию на Дауни, взяв фамилию отчима.
Роберт Дауни-старший прославился как сценарист и режиссер так называемых независимых фильмов. Какое-то время работал на коммерческой радиостанции. «Патни Своуп» был одним из его первых фильмов, который сразу получил признание критики.
В 1970 году он снимает фильм «Загон», в котором впервые сыграл его сын — Роберт Дауни-младший. После этого последовал ряд неудач и Роберт начал употреблять наркотики.
Его жена Элси Дауни ушла от него с детьми. Вторая жена — Лаура Эрнст, помогла ему справиться с собой. Он снял фильм «Компания Хьюго» и оказался на вершине голливудского успеха. Через некоторое время Лаура умерла. Дауни стойко перенес этот удар судьбы и не вернулся к употреблению наркотиков. По его собственному признанию «всё это он обязан сделать ради памяти Лауры».
Через четыре года после смерти жены в 1998 году Роберт Дауни женился в третий раз на Розмари Роджерс.