Фредерик родился в семье юристов Кэрол (Carole) и Фрэнсис Уэллер (Francis Weller), он является двоюродным братом актера и режиссера Питера Уэллера (Peter Weller).
В 1984 году Фредерик окончил среднюю школу для мальчиков Jesuit High School в Новом Орлеане, в 1988 году — с отличием Университет Северной Каролины в Чапел-Хилле, а в 1992 году — частную Джульярдскую школу в Нью-Йорке.
У Фредерика и его жены — актрисы Али Марш (Ali Marsh) двое детей, крестной матерью их дочери Азалеи (Azalea) является актриса Мэри МакКормак (Mary McCormack).