Родился 6 ноября 1856 г. в Санкт-Петербурге. Отец - великий князь Николай Николаевич (старший), третий сын императора Николая I (таким образом приходился двоюродным дядей императору Николаю II); мать - германская принцесса Александра Петровна Ольденбургская. В пятнадцатилетнем возрасте был зачислен юнкером в Николаевское инженерное училище, из которого в следующем году был выпущен прапорщиком в учебный пехотный батальон. Еще через год был произведен в чин подпоручика и переведен в учебный кавалерийский эскадрон. В 1876 г. с серебряной медалью окончил Николаевскую академию Генерального штаба. За успехи в учебе был произведен в капитаны, причислен к Генеральному штабу и получил почетное звание флигель-адъютанта, т.е. причислен к свите Его Императорского Величества. Во время русско-турецкой войны 1877-1878 гг. занимал должность офицера для особых поручений при командующем Дунайской армией (во главе которой стоял его отец Николай Николаевич старший). За проявленную в боях храбрость и героизм награжден орденом св.Георгия 4-й степени. Принимал участие в штурме и захвате Шипкинского перевала, за что был награжден Золотым оружием с надписью "За храбрость" и произведен в чин полковника.

После окончания войны Николай Николаевич был направлен в Лейб-Гвардии Гусарский полк, где прослужил двенадцать лет, занимая должности от командира эскадрона до командира полка. В 1885 г. в возрасте 29 лет получил чин генерал-майора. В 1890 г. возглавил Гвардейскую кавалерийскую дивизию и вскоре получил чин генерал-лейтенанта. В 1895 г. назначен генерал-инспектором кавалерии. Эту должность занимал до августа 1914 г.

После начала первой мировой войны был назначен Верховным главнокомандующим российскими войсками. 23 сентября 1914 г. за победу над австро-венграми в Галицийской битве был награжден орденом св.Георгия 3-й степени. После падения крепости Перемышль (9 марта 1915 г.) был награжден орденом св.Георгия 2-й степени (во время войны всего 4 человека были удостоены этой высокой награды).

На фоне неудач на фронте в середине 1915 г. дворцовые интриги против Великого Князя стали принимать все более острый и опасный характер. В частности, императрица Александра Федоровна (нелюбившая Николай Николаевича из-за его резко отрицательного отношения к "старцу" Г.Распутину) постоянно стремилась представить Императору деятельность ставки и самого главнокомандующего исключительно в негативном свете. Кроме того, Николаю II доносили о честолюбивых планах, якобы имевшихся у Николай Николаевича, о том, что многие воспринимают его как будущего императора России и без всякой опаски открыто называют Николаем III. В такой ситуации появляется царский указ от 23 августа 1915 г., согласно которому Николай Николаевич был отстранен от должности верховного главнокомандующего российскими войсками. Великий Князь был отправлен командующим на Кавказский фронт, где он находился до февраля 1917 г.

Перед своим отречением Николай II решил вернуть Николай Николаевича на пост верховного главнокомандующего. Однако члены Временного правительства были категорически против возвращения популярного в войсках Великого Князя, в котором видели опасного конкурента. Сразу же по прибытии в Ставку, Великий Князь получил письмо, в котором Временное правительство, ссылаясь на настроения народа, просило его отказаться от нового назначения. Глубоко оскорбленный Николай Николаевич незамедлительно сдал дела генералу М.В.Алексееву и выехал из Могилева (город, где находилась ставка верховного главнокомандующего). Через некоторое время он вместе со своей семьей переехал в Крым, а в 1919 г. эмигрировал в Италию.

Умер верховный главнокомандующий Его Императорское Высочество Великий Князь генерал от кавалерии Николай Николаевич 5 марта 1929 г. в местечке Аниб. Похоронен в Каннах.

Николай Николаевич был женат на Стане, дочери черногорского короля Николая I.