В начале 40-х Гилмор весьма популярна. В 1943 году она выходит замуж за Юла Бриннера. Газеты пишут: "6 сентября Вирджиния Гилмор и какой-то цыган, с которым она познакомилась в Нью-Йорке, сочетаются законным браком". Когда они познакомились, Вирджиния была узнаваемой актрисой, а Юл пел цыганские романсы в ресторане и говорил со страшным русским акцентом. Семья переезжает в Нью-Йорк. Юл работает шофером, швейцаром-вышибалой в ресторане, натурщиком у фотографов, а по вечерам поет в ночных клубах цыганские песни. В декабре 1946 года Вирджиния родила сына. Назвали сына Рокки, в честь известного американского боксера Рокки Грациано. В это время они получают работу на телевидении. Юл дают роль в спектакле «Песни лютни», он гастролирует по всей Америке, но это не то, что он хочет. У них нет денег, Юл исполняет второстепенные роли.
Через 20 лет картина разительно переменится: он станет звездой первой величины, а Вирджиния будет непрерывно пить и ревновать. Первоначальный успех оказался недолговечным: ей не предлагали хороших ролей. В 1952 году стало ясно, что с большим экраном покончено.
После 20 лет совместной жизни Вирджиния разводится с Бриннером. Она много работает в телепроектах – сериалах и шоу – и лечится от алкоголизма. Значительно позднее, избавившись от своего пристрастия, она много сил отдает программе "Анонимные алкоголики", чтобы помочь другим преодолеть тягу к спитному. Кроме того, много лет Вирджиния Гилмор преподает драматическое искусство в Йельском университете.
Она скончалась в марте 1986 года от эмфиземы, пережив своего единственного супруга на год.