Питер родился в семье продюсера, режиссера и актера Рона Брауна. У него есть родная младшая сестра — актриса, режиссер и автор Бетси Браун (Betsey Brown).
Питер учился в частной школе Riverdale Country School в Ривердейле (Бронкс, Нью-Йорк), окончил независимую школу Professional Children's School в Нью-Йорке и частный Университет Южной Калифорнии в Лос-Анджелесе (Калифорния) со степенью бакалавра театральных искусств.