Коренной москвич. Родился и провел детство на Гоголевском бульваре.
В 1970 г. окончил Театральное училище в Горьком (Нижнем Новгороде), где его педагогами были Левкоев В., Голендеев. После окончания училища работал в театре во Владимире. Затем - в Московском детском театре (МОТЮЗ) и Областном театре им Островского.
В кино его первая главная роль - Свен Болл в фантастической ленте Игоря Вознесенского «Акванавты». Снялся в фильмах Никиты Михалкова — «Свой среди чужих, чужой среди своих» и «Раба любви». Работал с А.Кончаловским («Сибириада»), В.Наумовым, В.Дорманом.
В российском кино играет в основном харАктерных отрицательных персонажей, причем диапазон этих ролей весьма широк: от офицеров Белой армии (когда они были отрицательными), гестаповцев, коварных отравителей, киллеров, наркобаронов, откровенных бандитов и мафиози до адвоката с сомнительной репутацией.
Этапной в этом ряду можно назвать роль главного киллера русской мафии во французском фильме Патриса Леконта «Один шанс на двоих» (Une Chance Sur Deux), где партнерами Яковлева были Ален Делон (Alen Delon) и Жан-Поль Бельмондо (Jean-Paul Belmondo). Его бандиты страшны по-настоящему, адвокаты интеллигентны и убедительны, олигархи умны и элегантны, военные красивы. За роль Сорса в фильме «Мужской сезон» Александр Яковлев получил премию и стал победителем в номинации «Антигерой».
С 1995 года работает на студии «ТриТэ» Никиты Михалкова и продолжает активно сниматься в кино. Не прошли мимо внимания зрителей роли в драме «Палач» (Станислав Андреевич Антипов) и сериале «Путейцы» (Пётр Ильич Кириллов, начальник 55/56 скорого поезда «Москва-Сочи-Москва»). А в 2008 году актер блестяще сыграл роль 60-летнего бизнесмена Петра Гавриловича Кузнецова в драме режиссера Бориса Казакова «Жил-был дед».
На счету актера к 2010 году – более 80-ти ролей.