政治の場では峻厳なリーダーだった武市ですが、私生活では妻・富子(とみこ)を生涯一途に愛した愛妻家として知られています。
1854年に結婚した2人の間には子どもが生まれませんでした。当時の武家社会では跡継ぎを残すことが最重要任務であり、親族や周囲からは側室を持つことを強く勧められました。しかし武市は「自分には富子がいれば十分である」と断固として拒否し続けました。
武市が投獄されていた間、富子の取った行動もまた苛烈な愛の証でした。富子は夫が獄中で寒暑や板張りの過酷さに苦しんでいると知ると、自宅の畳を上げ、板の間に直に座り、冬も蒲団を使わずに夫と同じ苦しみを共有して祈り続けました。
武市の死後、富子は武市の妹の息子を養子(武市半馬)に迎え、武市家の血脈と名跡を守り抜きました。富子自身は大正6年(1917年)に75歳でこの世を去るまで、夫の名誉回復を見届けながら静かに暮らしました。現在も武市瑞山の子孫・親族筋は高知県を中心にその系譜を受け継いでおり、高知市仁井田にある旧宅や墓所は国指定史跡として大切に管理・顕彰されています。