Родился 20 ноября 1897 г. в городе Елизаветполь в Азербайджане, в бедной армянской семье. Отец был железнодорожником.
Первоначальное образование получил в армянской церковно-приходской школе, затем закончил семь классов гимназии. В 1915 г. был призван в русскую армию, направлен в школу прапорщиков, которую окончил в 1917 г. Служил на Кавказе в армянской дивизии. В Февральскую революцию оказался под влиянием дашнаков, находился в армии дашнаков до 1920 г., до разгрома армянской контрреволюции.

В декабре 1920 г. добровольно вступил в Красную армию, участвовал в Гражданской войне на командных должностях в составе 11-й армии. После Гражданской войны окончил курсы усовершенствования комсостава и в 1923 г. был направлен командиром полка в армянскую стрелковую дивизию. В 1925 г. он поступает на курсы усовершенствования начальствующего состава Красной армии. По окончании вернулся в свою дивизию на прежнюю должность. Служил до 1931 г.

В 1931 году поступил учиться в Военную академию им. Фрунзе, окончил ее в 1934 г. и получил назначение на должность начальника оперативного штаба кавалерийской дивизии. В 1936 г. Баграмян получает назначение на должность начальника оперативного отдела штаба армии. В 1938 г. его переводят в Москву на должность преподавателя академии Генерального штаба. В 1940 г. Баграмян получает новое назначение на должность начальника оперативного отдела Киевского военного округа. В этой должности Баграмян встретил Великую Отечественную войну.

Киевский военный округ был преобразован в Юго-Западный фронт. Баграмяна назначили начальником оперативного управления Юго-Западного фронта. В сентябре 1941 г. под Киевом в окружении оказались четыре армии Юго-Западного фронта, в том числе и штаб фронта. Из окружения выходили войска группами. Баграмян вывел из окружения группу войск численностью 20 тысяч человек. После трагической гибели штаба Юго-Западного фронта Баграмян был назначен начальником штаба Юго-Западного направления, в командование которым вступил Тимошенко.

В мае 1942 г. Юго-Западное направление разработало Харьковскую наступательную операцию с Барвенковского выступа, но в результате ряда ошибок наступление не получило должного завершения. Немцам удалось окружить значительную группировку советских войск, расчленить ее и ликвидировать. В результате этой катастрофы немцы получили возможность прорваться на Кавказ и к Сталинграду. Начальника штаба и командующего Юго-Западным направлением сняли с должностей, направление расформировали.

Генерал Баграмян, отстраненный от должности начальника штаба Юго-Западного направления, некоторое время находился в резерве Ставки. В июле 1942 г. его назначили командующим 16-й армией, которая позднее была переименована в 11-ю гвардейскую армию. В Курском сражении летом 1943 г. эта армия под командованием Баграмяна удачно провела фланговую операцию, которая способствовала разгрому главной группировки противника Центральным фронтом.

В ноябре 1943 г. Баграмяна назначают на должность командующего 1-м Прибалтийским фронтом. Он успешно проводит ряд фронтовых стратегических операций по освобождению прибалтийских республик Советского Союза. В марте 1945 г. Баграмян назначается командующим войсками с задачей разгромить Земландскую группировку противника. С этой задачей он успешно справляется.

В апреле 1945 г., в связи с подготовкой театра военных действий на Дальнем Востоке, маршала Советского Союза Василевского отзывают с фронта и командующим 3-м Белорусским фронтом назначается генерал Баграмян. В этой должности Баграмян встретил окончание Великой Отечественной войны и победу над фашистской Германией.

После войны генерал армии Баграмян назначается на должность командующего войсками Прибалтийского военного округа. В 1954 г. Баграмян по состоянию здоровья переходит в Группу генеральных инспекторов Министерства обороны СССР. 11 марта 1955 г. Баграмяну присваивается воинское звание маршал Советского Союза. В 1956 г. Баграмяна назначают начальником Военной академии Генерального штаба.

В 1958 г. Баграмян назначается начальником Тыла Вооруженных сил СССР, заместителем министра обороны СССР. В апреле 1968 г. Баграмян вновь переходит в Группу генеральных инспекторов Министерства обороны.

С 1952 по 1961 г. Баграмян кандидат в члены ЦК КПСС, а с 1961 г. - член ЦК КПСС. Неоднократно избирался депутатом Верховного Совета СССР.

Дважды Герой Советского Союза, награжден семью орденами Ленина, тремя орденами Красного Знамени, двумя орденами Суворова 1-й степени, орденом Кутузова 1-й степени, иностранными орденами и многими медалями.

Скончался Баграмян в 1982 г. Похоронен на Красной площади в Москве.