Марк Марголис окончил Университет Темпл (Филадельфия), потом переехал в Нью-Йорк, где он учился в Актёрской студии Стеллы Адлер.
Начал сниматься кинофильмах с 1976 года. Он дебютировал в тюремной драме «Short Eyes» и с тех пор снялся более чем в 45 картинах. Стал известен благодаря таким фильмам как «Лицо со шрамом», «Реквием по мечте», «Фонтан», «Рестлер». Даррен Аронофски специально для него написал роль Отца Авилы в фильме «Фонтан».
Марголис снимался в эпизодических ролях в различных телесериалах, таких как «Уравнитель», «Тюрьма Оз», «Закон и порядок», «Мёртвые не лгут», «Плейбой из Калифорнии» и «Квантовый скачок». В 1991 году он сыграл Хельмута Дитера в мыльной опере «Санта–Барбара».
Марк — отец актёра Моргана Х. Марголиса.