Родился Ротмистров в 1901 г. в бедной крестьянской семье деревни Сковорово Селижарского уезда Тверской губернии. Первоначальное образование получил в сельской четырехклассной школе. В 1918 г. в 17 лет Павел Ротмистров ушел на заработки в Москву к брату, но работу найти не удалось, уехал в Самару, устроился грузчиком.
В 1919 г. добровольно вступил в Красную армию в Самарский рабочий полк. Участвовал в боях под Бугульмой. В 1919 г. вступил в партию большевиков. В конце 1919 г. Ротмистрова зачислили на военно-инженерные курсы. После курсов направили в 42-й этапный батальон 16-й армии на Западный фронт, но война уже окончилась. Ротмистров участвовал в подавлении Кронштадского мятежа, получил ранение, после госпиталя вернулся в деревню.

Поступил в Смоленскую пехотную школу, по окончании которой был направлен в Рязань на должность политрука роты 149-го стрелкового полка, затем его перевели во Владимир политруком дивизионной конной разведки. В 1922 г. Ротмистрова приняли в военную объединенную школу ВЦИК (впоследствии Московское высшее общевойсковое командное училище имени Верховного Совета РСФСР).

21 января 1924 г. скончался В. И. Ленин. Ротмистров стоял в Почетном карауле и сопровождал гроб с телом на Красную площадь до Мавзолея.

В 1924 г. Ротмистров окончил училище, по распределению был направлен в Ленинград командиром взвода 31-го полка 11 -и стрелковой дивизии. В 1928 году был принят в академию им. Фрунзе. Окончил ее в 1931 г., получил назначение на должность начальника первой части штаба Забайкальской стрелковой дивизии в Читу. В 1933 г. Ротмистрова назначили начальником 1-го сектора-заместителем начальника оперативного отдела штаба ОКДВА.

В июне 1937 г. Ротмистрова назначили командиром 63-го Краснознаменного стрелкового полка 21-й Приморской дивизии. В октябре 1937 г. Ротмистров полк сдал, прибыл в Москву на должность преподавателя тактики Военной академии моторизации и механизации РККА (ныне Военная академия бронетанковых и механизированных войск). В декабре 1940 г. Ротмистрова назначают заместителем командира 5-й танковой дивизии 3-го механизированного корпуса Прибалтийского Особого военного округа.

В конце мая 1941 г. Павла Алексеевича назначают начальником штаба 3-го мехкорпуса. На этой должности Ротмистров встретил начало Великой Отечественной войны вместе с 11-й армией в Прибалтике. В течение двух месяцев 3-й мехкорпус отходил с войсками 11-й армии на Шауляйском направлении, где штаб корпуса оказался в окружении. По выходе из окружения, корпус расформировали. Полковник Ротмистров был назначен командиром 8-й танковой бригады, которая перебрасывалась на Северо-Западный фронт в район Валдая в подчинение 11-й армии, в оперативную группу Ватутина, которая позднее была передана в подчинение Калининского фронта.

В начале 1942 г., после сражения под Москвой и разгрома немецко-фашистских войск. Ставка приняла решение сформировать 20 танковых корпусов и две танковые армии. В районе города Калинин было начато формирование 7-го танкового корпуса, командиром которого был назначен Ротмистров. После окончания формирования 7-й танковый корпус в конце июня 1942 г. был погружен в эшелоны, переброшен на фронт под Елец. Корпус передавался в подчинение 5-й танковой армии. При выдвижении в заданный район танковый корпус сразу атаковал 11-ю немецкую танковую дивизию и разгромил ее. Затем корпус добился успеха в районе Землянска.

25 августа 1942 г. корпус из-под Землянска перебросили под Сталинград в подчинение 1-й гвардейской армии, в составе которой Ротмистров сражался до б-го октября 1942 г., когда был выведен в резерв Ставки Верховного главнокомандования. При контрнаступлении под Сталинградом 7-й танковый корпус отличился в районе хутора Рачковский. Затем корпус в составе 2-й гвардейской армии участвовал в разгроме Котельниковской группировки группы армий "Дон".

Под Тихорецком Ротмистров по совместительству был назначен командующим механизированной группой из трех корпусов, которая действовала в направлении Батайска. В середине февраля генерал-лейтенанта Ротмистрова назначили на должность командующего формируемой 5-й танковой армией, с этой армией Ротмистров участвовал в танковом сражении под Прохоровкой. Впервые в истории танковых войск армия своим ходом за двое суток преодолела 280 километров по пыльным дорогам, сосредоточилась под Прохоровкой, вошла в состав Воронежского фронта. После участия в танковом Прохоровском сражении, перегруппировав силы, 5-я танковая армия перешла в наступление и вместе с 1-й танковой армией составила подвижную группу Воронежского фронта, участвовала в освобождении Белгорода и Харькова. Затем 5-я танковая армия под командованием генерал-полковника танковых войск Ротмистрова участвовала в сражении при форсировании Днепра в составе Степного фронта. С октября 1943 г. наступала на Пятихатки, Кривой Рог, освобождала Кировоград.

В январе 1944г. Ротмистров с армией участвовал в Корсунь-Шевченковской операции. 21 февраля 1944 г. Ротмистрову присвоили воинское звание маршала бронетанковых войск, а в августе 1944 г. назначили на должность заместителя командующего бронетанковыми и механизированными войсками Красной армии. С окончанием Великой Отечественной войны маршал бронетанковых войск Ротмистров занимал должность командующего бронетанковыми и механизированными войсками в группе советских войск в Германии с 1945 по 1948 гг. В 1948 г. его назначили на должность командующего бронетанковыми и механизированными войсками на Дальнем Востоке.

В 1956 г. Ротмистрова переводят в Москву, назначают на должность начальника кафедры в Академии бронетанковых и механизированных войск. Он ведет большую научную работу, ему в 1956 г., после защиты диссертации, была присвоена степень доктора военных наук, а в 1958 г. присвоено звание профессора. С 1958 г. Ротмистров занимает должность заместителя министра обороны СССР по высшим военно-учебным заведениям. В 1962 г. Ротмистрову присвоили воинское звание Главный маршал бронетанковых войск. В 1968 г. Ротмистров по состоянию здоровья перешел в группу Генеральных инспекторов Министерства обороны СССР.

В 1965 г. Ротмистрову было присвоено звание Героя Советского Союза. Ротмистров награжден 5-ю орденами Ленина, орденом Октябрьской Революции, 4-мя орденами Красного Знамени, орденами Суворова и Кутузова 1-й степени, Красной Звезды, многими медалями и иностранными орденами. Ротмистров автор ряда научных работ и мемуарных изданий: "Время и танки", "Стальная гвардия" и др. Скончался Ротмистров в 1982 г., похоронен у Кремлевской стены на Красной площади Москвы.