Айвз родился 20 октября 1874 в Данбери (шт. Коннектикут), в семье капельме йстера городского оркестра. Джордж Айвз имел здоровый взгляд на диссонанс, и это определило художественное развитие его сына: до конца дней слух Чарлза хранил впечатление, полученное в детстве, когда его отец заставил два оркестра, каждый из которых играл свою музыку, маршировать навстречу друг друг у. В молодости композитор учился в Йельском университете, где занимался музыкой под руководством Х.Паркера и играл на органе в церкви. После окончания университета в 1898 Айвз отправился в Нью-Йорк и занялся страховым делом; все свободное время он уделял композиции. Результатом многолетнего перенапр яжения стала болезнь сердца (первый ее приступ относится к 1918), и Айвзу пришлось оставить музыку. Умер Айвз в Нью-Йорке 19 мая 1954.
Постепенно музыка композитора завоевала признание. Важными этапами стали исполнение пианистом Дж.Киркпатриком в Нью-Йорке грандиозной сонаты "Конкорд" (Concor