En 1845, il intègre l’École d’Application de l’Artillerie et du Génie à Metz avec le grade de sous-lieutenant. Les contraintes de la discipline militaire lui pèsent au point d’en contester les excès (qu’il ne cessera de dénoncer par la suite). Il étudie sérieusement l’art militaire, les techniques d’attaque et de défense des places fortes et ambitionne de mettre ses talents au service du progrès de l’humanité.
Sorti premier de l’École d’Application, il est nommé lieutenant en 1846 et affecté au 2e régiment du Génie basé à Montpellier.
En 1864, il est affecté à sa demande à Belfort (ce qui le rapproche de sa famille) et assure les fonctions de chef du Génie. Il entreprend alors d’améliorer la défense de la place et construit en particulier le fort des Barres. Lorsqu’éclate la guerre de 1870, Denfert-Rochereau, Lieutenant-Colonel, est nommé par Gambetta Colonel à titre temporaire et Gouverneur de Belfort. Denfert-Rochereau dispose sous ses ordres d’environ seize mille hommes dont un quart seulement formé d’unités régulières de ligne. Le reste appartient à la garde nationale mobile (les « moblots »), à la garde nationale sédentaire ou à des francs-tireurs.
Denfert-Rochereau, conscient de cette garnison hétérogène, mal équipée et mal armée, met tout en œuvre pour en faire une troupe disciplinée et propre au combat. Il hâte les travaux de fortifications à Bellevue, aux Perches, à Danjoutin et à Pérouse. Il improvise l’installation d’une fonderie destinée à fabriquer des munitions et préconise l’utilisation d’une nouvelle méthode de tir qui allonge la portée des canons. Il s’assure également le concours actif de tous les officiers de la place (rompant dans cette initiative avec les traditions autoritaires du commandement) en sollicitant leur avis et leur conseil. Il adresse à la population belfortaine une proclamation aux accents fortement révolutionnaires.
La place est investie par un corps d’armée prussien sous le commandement du général Von Tresckow, à partir du 3 novembre 1870. Denfert-Rochereau refuse la sommation de capitulation que lui propose l’ennemi le 4 novembre et parvient à tenir à distance les assiégeants pendant près d’un mois. Le 3 décembre, l’artillerie prussienne commence le bombardement de la place qui devient rapidement insupportable. Aux souffrances succèdent la pénurie et la maladie. Denfert-Rochereau tente de soulager les blessés et organise la distribution des denrées.
Le 28 janvier 1871, l’Armistice est signé mais il exclut Belfort qui résiste toujours. La garnison cesse le feu le 13 février sur ordre du gouvernement français et quitte la ville le 17 février. La convention avait prévu les honneurs de la guerre mais Denfert-Rochereau les refusa, ne s’estimant pas vaincu et gagne Grenoble sous les ovations de la population.
Aux élections du 2 juillet 1871, quelques amis politiques incitent Denfert-Rochereau à se porter candidat dans quatre circonscriptions : à Belfort, dans le Doubs, dans l’Isère et en Charente inférieure. Il est battu de trois voix à Belfort par le conservateur Emile Keller mais élu dans les trois autres départements et opte pour la Charente inférieure. Il est réélu en 1876 dans le IVe arrondissement de Paris à la chambre des Députés où il devient questeur et, en 1877, il consacre l’essentiel de son activité aux questions militaires : il préconise un service militaire beaucoup plus court mais obligatoire pour tous, souhaite multiplier les champs de tir pour encourager l’exercice à la cible et recommande un plan de travaux de fortification pour la défense des frontières.
Le 11 mai 1878, le colonel Denfert-Rochereau meurt subitement d’une mauvaise bronchite à l’âge de 55 ans. Les obsèques ont lieu à Montbéliard.