Родился 2 октября 1892 г. в селе Марковка Донецкой губернии, в бедной крестьянской семье. Мать рано овдовела, ребенок воспитывался без отца.
В селе он закончил церковно-приходскую школу и церковно-приходское училище, некоторое время работал по найму у сельского купца, но дальше учиться не мог, семья не сводила концы с концами. В 1912 г. Еременко призвали в царскую армию. После годичного прохождения службы в казачьих войсках его направили в полковую школу унтер-офицеров. После окончания школы Еременко присвоили звание ефрейтора, направили для продолжения службы в 168-й Миргородский полк.

С началом Первой мировой войны Еременко в составе полка оказался на фронте. В первом же бою Еременко заменил раненого командира взвода, но взводом командовал недолго, был ранен пулей в грудь навылет. Больше полугода находился в лазарете. По выздоровлении направлен в кавалерийскую часть командиром взвода. Часть вела бои в Карпатах, там застало Еременко известие о Февральской революции.

От эскадрона конной разведки Еременко избрали в полковой комитет. Кавалерийская часть с боями вступила на территорию Румынии. Румынские части пытались интернировать кавполк, но полк с боями вышел за Днепр, на территорию своей страны. Полковой комитет принял решение о демобилизации. Еременко уехал на Луганщину, в родное село, к больной матери, где стал членом местной организации партии большевиков.

Весной 1918 г. немецкие войска, пользуясь предательством украинских националистов, оккупировали Украину. На борьбу с петлюровцами и немецкими оккупантами поднялся народ Украины. Еременко создал партизанский отряд в 350 человек, провел ряд успешных операций против петлюровцев и оккупантов, затем с боями вышел с территории, занятой врагом, и в конце 1918 г. отряд влился в ряды регулярной Красной армии, в состав 14-й кавалерийской дивизии, которой командовал Пархоменко.

В этой дивизии Еременко сражался до конца Гражданской войны, сначала был начальником бригадной разведки, потом начальником штаба полка. Участвовал в боях под Воронежем, Ростовом, на Кубани, в Польше, освобождал Крым.

С окончанием Гражданской войны Еременко был зачислен на Высшие кавалерийские курсы в 1923 г., успешно их окончил, вернулся в свой полк командиром полка. В 1925 г. Еременко направляют на курсы партийно-политической подготовки командиров-единоначальников в Военно-политическую академию. После окончания академии Еременко возвратился в 14-ю кавалерийскую дивизию, через год его зачислили слушателем академии им. Фрунзе, которую он окончил в 1935 г.

С окончанием академии им. Фрунзе он назначается командиром 14-й кавалерийской дивизии, которой командовал до 1938 г. В 1938 г. Еременко назначается командиром 6-го казачьего кавалерийского корпуса. В 1939 г. генерал-лейтенант Еременко с казачьим кавалерийским корпусом участвует в освободительной кампании на Западной Украине и в Западной Белоруссии. С окончанием освободительного похода корпус перевели в Прибалтику, в г. Вильнюс.

Еременко участвовал в совещании высшего руководящего состава РККА с 23 по 31 декабря 1940 г. 26 декабря он был назначен на Дальний Восток командующим войсками 1-й Особой Краснознаменной армии, в январе 1941 г. прибыл к новому месту службы.

22 июня 1941 г. Еременко отозвали с Дальнего Востока. По прибытии в Москву, в Наркомат обороны, Еременко получил назначение на должность командующего Западным фронтом. Однако на этой должности Еременко оставался недолго, в начале июля 1941 г. командующим фронтом был назначен Тимошенко, а Еременко стал его заместителем.

В начале августа 1941 г. Еременко назначается командующим вновь созданным Брянским фронтом, ему было присвоено воинское звание генерал-полковник. Однако по ряду объективных причин Брянский фронт оказался в крайне тяжелом положении, часть войск оказалась в окружении, фронт в целом с поставленными задачами по стратегическому сдерживанию противника не справился. Еременко на Брянском фронте был ранен, убыл в госпиталь.

По выздоровлении, в конце декабря 1941 г., Еременко назначается командующим войсками 4-й Ударной армии. При осуществлении Торопецкой и Вележской армейских операций Еременко был ранен, но остался в строю, закончил начавшееся наступление 4-й Ударной армии на Торопец. В январе 1942 г. 4-я Ударная армия из Северо-Западного фронта была переведена в Калининский фронт.

В феврале 1943 г. Еременко убыл в госпиталь на излечение. По выздоровлении был назначен командующим Юго-Восточным фронтом, позднее переименованным в Сталинградский фронт, которым он командовал почти до окончания Сталинградского сражения. В конце января 1943 г. у Еременко открылась старая рана, он был отправлен на лечение в Цхалтубо.

По выздоровлении вернулся в Москву. Ставка назначила его командующим Калининским фронтом. После освобождения Смоленска Калининский фронт был переименован в 1-й Прибалтийский фронт. С окончанием Смоленской операции Ставка отозвала Еременко с фронта и назначила его командующим Приморской армией в Крыму.

После разгрома противника в Крыму и отхода его на укрепление Севастопольского оборонительного обвода Приморская армия была включена в состав 4-го Украинского фронта, а Еременко 18 апреля 1944 г. был отозван Ставкой в Москву, назначен командующим 2-м Прибалтийским фронтом.

В ходе сражения за освобождение прибалтийских республик фронт разгромил и обескровил многие соединения немецкой армии. Войска фронта участвовали в блокировании Курляндской группировки врага. Позднее она сложила оружие, в плену оказались более 30 дивизий гитлеровцев. За успехи в операциях 2-го Прибалтийского фронта при освобождении Прибалтики Еременко было присвоено звание Героя Советского Союза и воинское звание генерал армии.

В марте 1945 г. Еременко снова был отозван Ставкой и назначен командующим 4-м Украинским фронтом. Командуя этим фронтом, Еременко встретил победу над фашистской Германией, ему было присвоено звание Героя Чехословацкой Социалистической Республики за участие в освобождении Чехословакии.

С 1945 г. по 1958 г. Еременко - командующий войсками Прикарпатского, Западно-Сибирского и Северо-Кавказского военных округов. В 1955 г. Еременко присвоили воинское звание маршал Советского Союза. С 1956 г. кандидат в члены ЦК КПСС, с 1946 по 1970 г. избирался депутатом Верховного Совета СССР, с 1958 г. по состоянию здоровья работал в Группе генеральных инспекторов Министерства обороны.

Награжден пятью орденами Ленина, четырьмя орденами Красного Знамени, тремя орденами Суворова 1-й степени, орденом Кутузова 1-й степени.

Скончался Еременко в ноябре 1970 г. Похоронен на Красной площади в Москве.