Родился Михаил Николаевич 13 (25) октября 1832 года. Назван в честь младшего брата Николая I — великого князя Михаила Павловича. Получил образование под наблюдением родителей. В 1843 и 1844 годах Михаил Николаевич вместе со своими братьями Николаем и Константином проходил практику на люгере «Ораниенбаум», выходя в Финский залив. В службу Михаил Николаевич вступил в 1846 году; генерал-фельдцейхмейстер с 1852 года; с 26 ноября 1852 года по 20 мая 1855 года — командир гвардейской артиллерийской бригады.  

В 1862 году Михаил Николаевич назначен наместником Его Императорского Величества на Кавказе и командующим Кавказской армией. В мае 1864 года великий князь участвует в походе против мятежных горцев на Черноморское побережье Кавказа в район Адлера и Сочи. Его войска нанесли противнику серию чувствительных поражений, что знаменовало собой полное покорение Западного Кавказа и окончание Кавказской войны.

  Во время Русско-турецкой войны 1877—1878 годов Михаил Николаевич состоял главнокомандующим действующей армией на Кавказском ТВД. С его именем неразрывно связаны как успехи, так и неудачи той кампании. Неблагоприятный оборот дел встревожил великого князя; он лично прибыл на фронт со своим начальником штаба генералом Обручевым и взял на себя руководство операциями. 27 сентября великий князь стал готовить армию для нанесения сокрушительного удара по турецким войскам. В сражении 2 и 3 октября на Аладжинских высотах турецкая армия была полностью уничтожена, потеряв только убитыми 15 тысяч человек. Остатки армии Мухтара-паши бежали к Карсу и Зивину. Вся бывшая у турок артиллерия досталась русским. 9 октября 1877 года Михаил Николаевич был удостоен ордена св. Георгия 1-й степени «…за разбитие наголову кавказскими войсками под личным предводительством Его Высочества армии Мухтара-паши в кровопролитном бою 3 октября 1877 года на Аладжинских высотах и принуждение большей части оной сложить оружие». 9 октября отряд генерала Лазарева подошел к крепости Карс и 13-го числа начал осадные работы. Осадный корпус поступил под командование М. Т. Лорис-Меликова. Великий князь отбыл в Тифлис к исполнению обязанностей наместника. Между тем, блистательный штурм в ночь на 6 ноября закончился взятием Карса и фактически завершил кампанию на Кавказе. 16 апреля 1878 года великий князь Михаил Николаевич за отличия в Русско-турецкой войне был произведён в генерал-фельдмаршалы. В 1879 году из отвоёванных у Турции земель были сформированы Карсская и Батумская области.