Родился 25 июля 1904 г. в Нижнем Новгороде, в семье рабочего. Отец работал в судостроительных мастерских. Семья жила бедно.
Первоначальное образование Александр получил в церковно-приходской школе. Мальчику исполнилось 10 лет, когда началась Первая мировая война. Жить стало еще труднее, но родители хотели, чтобы сын учился, и он поступил в городское училище. После Октябрьской революции Александр вынужден был бросить учебу и поступить работать на завод. Но работал недолго, в стране уже полыхала Гражданская война.

В мае 1919 г. Голованов добровольно вступает в ряды Красной армии. Воинскую часть, сформированную в Нижнем Новгороде, направляют на Восточный фронт. Голованов рядовым участвует в боях. Часть часто перебрасывают с одного участка фронта на другой. С разгромом войск Колчака Восточный фронт ликвидировался. Часть, в которой служил Голованов, расформировали.

Голованов демобилизовался, вернулся в Нижний Новгород, поступил работать на завод. Одновременно учился в школе. Окончил 10 классов. Поступил в летную школу ЦАГИ, которую окончил в 1932 г. и был направлен в систему гражданской авиации страны. В связи с конфликтом на реке Халхин-Гол был призван на военную службу в части ВВС, участвовал в боях.

После разгрома японских интервентов летный состав, участвовавший в боях, перебросили в Ленинградский военный округ и включили в летные воинские части ВВС Ленинградского военного округа. Эти части участвовали в боях на советско-финском фронте в 1939-1940 гг. Голованов занимал различные командные должности, показал себя хорошим организатором, сам летал, принимал участие в боевых действиях. В феврале 1941 г. Голованова назначают командиром дальнебомбардировочного авиационного полка. В этой должности Голованов вступил в Великую Отечественную войну на Ленинградском фронте.

В августе 1941 г. Голованова назначают командиром авиационной дивизии дальнего действия. Полки дивизии бомбят военные объекты германского агрессора. С февраля 1942 г. Голованова назначают командующим авиацией дальнего действия действующей армии. В связи с расширением боевых действий парк самолетов ВВС возрастает, задачи усложняются.

В 1944 г. Голованова назначают командующим 18-й воздушной армией. Авиация армии прикрывала с воздуха войска Ленинградского и Прибалтийского фронтов, нанося огромные потери 2-му немецкому воздушному флоту, который прикрывал 16-ю и 18-ю армии немцев. Особенно отличилась армия при проведении Восточно-Прусской стратегической операции, в которой принимало участие несколько фронтов.

С окончанием боев в Восточной Пруссии 18-я воздушная армия перенацеливается на Берлинское направление. Она принимает непосредственное участие в боях при проведении Берлинской стратегической операции на завершающем этапе войны. В 1944 г. Голованову за отличное управление дальней авиацией было присвоено воинское звание главный маршал авиации.

После завершения Великой Отечественной войны главный маршал авиации присутствовал на Параде Победы в Москве. В связи с окончанием войны и расформированием действующих армий в апреле 1946 г. Голованов вновь назначается командующим авиацией дальнего действия.

В 1948 г. Голованов поступает в академию Генерального штаба, которую успешно заканчивает в 1950 г. и возвращается в дальнюю авиацию на должность главкома. До сентября 1953 г. Голованов работает в Военно-воздушных силах на различных должностях. В сентябре 1953 г. Голованов уходит в запас по состоянию здоровья. Больше Голованов в авиацию не возвращается.

Голованов награжден двумя орденами Ленина, тремя орденами Красного Знамени, тремя орденами Суворова 1-й степени, орденом Красной Звезды, рядом иностранных орденов и медалей.

Скончался Голованов в 1975 г.