Родился в семье торговца. В юные голы обучался ведению лесного хозяйства и садоводству, пытался получить экономическое образование, чтобы стать предпринимателем. Изучал живопись в Лейпцигской академии, параллельно беря частные уроки актерского мастерства.
Первую работу в качестве актера Абель получает в городском театре Люцерна (столица одноименного немецкоязычного кантона в Швейцарии), потом были работы в других театрах кантона, пока актер не оказывается в 1904 году в Немецком театре Макса Рейнхардта. Под руководством великого режиссера Альфред Абель быстро становится известным.
Благодаря Рейнхардту, поставившему киноверсию своего спектакля "Венецианская ночь", состоялся дебют Абеля в кино.
В последующие годы Альфред Абель снялся у многих выдающихся режиссеров золотого века немецкого кинематографа : Рихарда Освальда, Эрнста Любича, Фрица Ланга, Фридриха Вильгельма Мурнау.
Наиболее известные работы того времени : "Доктор Мабузе, игрок" (реж. Фриц Ланг, 1922), "Фантом" ( реж. Фридриха Вильгельма Мурнау, 1923), "Метрополис" (реж. Фриц Ланг, 1927)
Абеля отличала сдержанная манера игры; он умел передавать малейшие нюансы психологических переживаний героя, не прибегая к жестикуляциям и преувеличенному драматизму.
С приходом звука Альфред Абель оставался одним из самых востребованных актеров, снявшись еще в 38 лентах. В том числе в фильмах Анаталя Литвака, Дугласа Сирка, Рейнхольда Шюнцеля, Альфреда Хичкока.
В начале 20-х годов Абель пробовал себя в качестве режиссера и даже основал продюсерскую компанию "Артифекс – фильм". Компания выпустила всего один фильм, который поставил сам Альфред Абель. В прокате фильм провалился. В 1929 снял "Наркоз" по романа Стефана Цвейга и сценарию Белы Балажа. Всего в качестве режиссера Абель сделал 5 фильмов.
Был женат на Элизабет Зейдель, имел дочь Урсулу, которая, как и отец была актрисой. В годы нацистского режима она получила запрет на съемки в кино, так как не смогла представить документы об арийском происхождении своего отца.
После продолжительной болезни 12 декабря 1937 года Альфред Абель умирает. Похоронен на кладбище Хеерштрассе в берлинском районе Шарлоттенбург. Надгробное плита была утеряна, и сейчас точное расположение могилы неизвестно.