и юношеские годы прошли в городе Миллерово. Окончил школу в 1940 году. С 1938 года занимался в Миллеровской школе планеристов Осоавиахима. В 1941 году окончил Ворошиловградский аэроклуб имени С. А. Леваневского.
В Рабоче-Крестьянской Красной Армии с мая 1941 года. В 1942 году окончил Луганскую военную авиационную школу лётчиков имени Пролетариата Донбасса, к тому времени эвакуированную в город Уральск (Казахская ССР). С августа 1942 года — на фронте Великой Отечественной войны в должности лётчика 594-го штурмового авиационного полка. В наградном листе к первому ордену "Красного Знамени" говорится, что: "Командир звена 198-го штурмового авиационного полка, младший лейтенант Ефимов Александр Николаевич в Отечественной войне участвует с 14 ноября 1941 года по 5 мая 1943 года в должности пилота и с 5-го мая 1943 года в должности командира звена". В 1943 вступил в ВКП(б).
К июлю 1944 года — командир эскадрильи 198-го штурмового авиационного полка 233-й штурмовой авиационной дивизии 4-й воздушной армии 2-го Белорусского фронта старший лейтенант А. Н. Ефимов совершил 100 боевых вылетов на разведку и штурмовку вражеских войск, аэродромов, переправ и железнодорожных эшелонов.
26 октября 1944 года указом Президиума Верховного Совета СССР за мужество и героизм, проявленные в боях, старшему лейтенанту Ефимову Александру Николаевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 4845).
Всего за годы войны Ефимов совершил 288 боевых вылетов на штурмовике Ил-2, в ходе которых им лично и в составе группы уничтожено 85 вражеских самолётов на аэродромах (что является высшим достижением среди советских лётчиков всех родов авиации) и 8 самолётов сбито в воздушных боях, уничтожено большое количество живой силы и техники противника.
18 августа 1945 года указом Президиума Верховного Совета СССР за мужество и героизм, проявленные в боях, капитан Ефимов Александр Николаевич награждён второй медалью «Золотая Звезда» (№ II-73), 21 мая 1951 года в Миллерово был установлен его бронзовый бюст.
В мирное время А. Н. Ефимов продолжил службу в ВВС СССР. Отслужив ещё год штурманом 198-го штурмового авиационного полка, переданного в ВВС Северной группы войск (Польша), был в июле 1946 года направлен на учёбу в академию. В 1951 году окончил Военно-воздушную академию в Монино, с этого года командовал авиационным полком. С 1954 по 1955 года был заместителем командира 10-й гвардейской штурмовой авиационной дивизии по боевой подготовки (дивизия входила в состав 34-й воздушной армии Закавказского военного округа, её управление находилось в городе Хони Грузинской ССР).
В 1957 году окончил Высшую военную академию имени К. Е. Ворошилова. С ноября 1957 года — командир 339-й авиационной дивизии истребителей-бомбардировщиков Прибалтийского военного округа (г. Елгава, Латвийская ССР); с февраля 1958 — командир бомбардировочной авиационной дивизии в том же округе (г. Черняховск, Калининградская область). В октябре 1959 года назначается заместителем командующего по боевой подготовке 30-й воздушной армией в Прибалтийском военном округе, с 1961 года — первый заместитель командующего этой армией. С октября 1964 по март 1969 года — командующий 57-й воздушной армией (с 4 апреля 1968 года — 14-я воздушная армия) в Прикарпатском военном округе, штаб которой находился в Львове. С марта 1969 года — первый заместитель Главнокомандующего ВВС СССР. В начале 1970-х годов находился в командировке в Египте, решая вопросы укрепления египетских ВВС, где работал совместно с главнокомандующим ВВС Египта Хосни Мубараком.
С декабря 1984 года — исполняющий обязанности, а с февраля 1985 по июль 1990 года — Главнокомандующий Военно-воздушными силами — заместитель министра обороны СССР. С 1990 по 1993 годы — председатель Государственной комиссии по использованию воздушного пространства и управлению воздушным движением. 29 апреля 1975 года Ефимову было присвоено звание «Маршал авиации». Он является заслуженным военным летчиком СССР (1970), доктором военных наук, профессором, академиком Академии наук авиации и воздухоплавания.
С августа 1993 года маршал авиации А. Н. Ефимов — в отставке.
Во время службы в различных регионах СССР избирался депутатом Верховного Совета Латвийской ССР 6-го созыва (1963—1967), депутатом Верховного Совета Украинской ССР 7-го созыва (1967—1971), депутатом Верховного Совета РСФСР 8-го созыва (1971—1975). Народный депутат СССР (1989—1991).
С 2006 года до конца жизни являлся председателем Российского комитета ветеранов войны и военной службы. Два срока был членом Общественной палаты Российской Федерации (2006—2008 и 2008—2010). Также был председателем Комиссии по взаимодействию с общественными организациями ветеранов, офицеров запаса и в отставке при Президенте РФ; заместителем председателя Российского организационного комитета «Победа», возглавляемого Президентом РФ; председателем Совета Международной ассоциации ветеранских организаций; членом Центрального совета по делам ветеранов Министерства обороны Российской Федерации, членом Высшего совета «Единой России».
Скончался 31 августа 2012 года в Москве на 90-м году жизни от сердечного приступа, узнав о смерти в тот же день друга — Маршала Советского Союза Сергея Соколова. Похоронен 4 сентября на Новодевичьем кладбище. К празднику 9 мая 2015 года на могиле установлен памятник маршалу.
