Родился в Ташкенте в семье инженеров Бориса Марковича Гандельсмана и Ады Александровны Литвак-Журбиной (1920—2013). До 1972 года носил фамилию отца. Окончил Республиканскую среднюю специальную музыкальную школу-десятилетку имени В. А. Успенского в 1963 году и Ташкентскую консерваторию по классу виолончели, затем — Институт им. Гнесиных по классу композиции, а также аспирантуру Ленинградской консерватории (диссертация посвящена поздним симфониям Густава Малера). Учился у таких мастеров, как Н. И. Пейко, Г. И. Литинский, А. И. Хачатурян, С. М. Слонимский и Ю. Г. Кон.
С 1970 по 1977 год жил в Ленинграде, где поставил «Орфея и Эвридику» — первую советскую рок-оперу (написана в 1975 году, поставлена ансамблем «Поющие гитары» в оперной студии при Ленинградской Консерватории).
Журбин активно работал в академических жанрах, сочинив четыре симфонии (1969, 1970, 1995 годы и 2010), концерт для фортепиано с оркестром (1972), концерт для альта с оркестром (1974), концерт для виолончели с оркестром «Иерусалим» (1995), концерт для скрипки с оркестром (1999), два квартета, фортепианный квинтет, сонаты, ряд произведений камерной музыки, а также вокальных циклов, ораторий и кантат. Кроме того, работал в жанре лёгкой эстрадной музыки. Написал около двухсот песен, в том числе такие, как «Мольба», «Песня о счастье», «Лошадка — жизнь», «Все к лучшему», «Послевоенное танго», «Тучи в Голубом».
С 1990 по 2001 год композитор жил с семьёй в Нью-Йорке. В 1992 году организовал первый русско-американский театр «Блуждающие звёзды».
С 2001 года Александр живёт на два дома - в Москве и в Нью-Йорке.
В 2003 году А. Б. Журбину присвоено звание Заслуженный деятель искусств РФ.
В 2005 году Журбин отпраздновал 60-летие 2-недельным фестивалем в Москве под названием «Пять Юбилеев Александра Журбина».
В 2010 году фестиваль под названием «Александр Журбин: Музыка. Театр. Кино» был посвящён 65-летию композитора и продолжался пять недель. В том же году указом Президента РФ Александр Журбин был награждён орденом Почёта.
Семья
Первая жена — Лора Квинт, композитор (поженились в 1971 году, развелись в середине 1970-х).
Сын — Филипп Квинт (род. 1974), окончил Джульярдскую школу в Нью-Йорке, скрипач, в США снялся в ряде телесериалов.
Вторая жена — Ирина Львовна Гинзбург (род. 1950, дочь переводчика Льва Владимировича Гинзбурга), поэтесса и переводчик, мемуаристка (поженились в 1977 году.
Сын — Лев Александрович Журбин (Ljova Zhurbin, род. 1978), композитор, альтист, автор музыки к фильмам. Руководитель нью-йоркского ансамбля «Ljova & the Contraband».
Брат — Юрий Борисович Гандельсман, известный израильский и американский альтист (его сын — скрипач Джонатан (Евгений Юрьевич) Гандельсман, род. 1978).
Двоюродный брат — поэт и переводчик Владимир Гандельсман.