Элвин Сарджент родился в 1927 году в Филадельфии, штат Пенсильвания. Его брат, Херберт Сарджент (1923—2005), тоже был сценаристом.
Был женат на актрисе Джоан Кемден (1929—2000) и продюсере Лоре Зискин, которая умерла от рака молочной железы 12 июня 2011 года в Санта-Монике.