De son côté, Brunet, empreint d'une éthique toute militaire, refuse de revenir afin de continuer à "servir la cause française en ce pays", car il estime qu'il en va de son honneur de ne pas abandonner le shogun et ses fidèles samouraïs, des frères d'armes qu'il avait instruits. "j'ai décidé que devant l'hospitalité généreuse du gouvernement shogunal, il fallait répondre dans le même esprit". Il démissionne le 4 octobre 1868, mais Chanoine refuse sa démission.

Brunet a, semble-t-il, bénéficié d'un esprit de solidarité de corps. D'ailleurs, Roches continue de plaider auprès de l'Empereur la cause du shogun et neuf officiers camarades de Brunet partiront le rejoindre : Cazeneuve, Fortant, Marlin, Bouffier, Collache, Nicol, Clateau, Pradier et Tribout.

Les forces impériales, en surnombre, ont maintenant, grâce à leur artillerie lourde, la mainmise sur l'île de Honshu. Les troupes du shogun, pour mieux résister, se retranchent à Hakodate, sur l'île de Hokkaido, et fondent le 25 décembre 1868, l'éphémère République indépendante d'Ezo dont Takeaki Enomoto est élu président. Brunet, conseiller militaire du ministère de la guerre, organise la défense et reprend l'instruction des soldats.

Le 30 mai, l'armée de l'empereur entreprend l'assaut de l'île par terre et par mer. Les quelque huit cents assiégés, très inférieurs en nombre, doivent capituler. Craignant des mauvais traitements de la part des vainqueurs, en particulier à l'égard des blessés (Cazeneuve souffrait d'une blessure profonde à la jambe), Brunet et les officiers français sont récupérés juste à temps par le navire français Coetlogon le 9 juin.