Том из религиозной семьи: его отец, дядя, одна из сестер и ее муж — священнослужители.
Мать Тома — учительница музыки, поэтому с раннего детства он и три его сестры поют и играют на различных музыкальных инструментах.
Том окончил колледж Ридженс-Парк в Оксфорде и Королевскую шотландскую академию музыки и драмы.
В академии Том учился с Джеймсом МакЭвоем, с которым они — хорошие друзья до сих пор.
У Тома трое дочерей: Нора Эллис (родилась в мае 2005 года) от бывшей подруги Эстель Морган; Флоренс Элси Эллис (родилась в июне 2008 года) и Марни Мэй Эллис (родилась в августе 2012 года) от бывшей жены Тэмзин.