Дебют Перлмана состоялся в 1963 в Карнеги-холле; незадолго до этого он сделал первую запись для известной фирмы «Виктор». Играл в Лондоне в Ройял фестивал-холле в 1968 и выступал вместе с виолончелисткой Жаклин дю Пре и пианистом Даниэлем Баренбоймом в летних циклах камерных концертов в британской столице.
Перлман исполнил и записал множество скрипичных шедевров, однако всегда тяготел к музыке, выходящей за пределы традиционного репертуара: сделал записи джазовых композиций Андре Превина, рэгтаймов Скотта Джоплина, аранжировок из бродвейского мюзикла "Скрипач на крыше", а в 1990-х годах внес заметный вклад в возрождение общественного интереса к искусству еврейских народных музыкантов – клезмеров (клезмеры, жившие в России в черте оседлости, выступали небольшими инструментальными ансамблями под руководством скрипачей-импровизаторов). Осуществил ряд премьер сочинений современных композиторов, в том числе скрипичных концертов Эрла Кима и Роберта Старера.