物語の前半で観客の涙を誘うのが、薄幸の女性ファンティーヌの過酷な運命です。裕福な学生に捨てられ、私生児である娘のコゼットを育てるため、彼女はモンフェルメイユの宿屋を営むテナルディエ夫妻に幼いコゼットを預け、自らは故郷モントルイユ＝シュル＝メールの工場で働き始めます。
しかし、工場を不当解雇されたファンティーヌは、テナルディエ夫妻からの容赦ない金銭の要求に応えるため、自慢の美しい金髪を売り、前歯を抜き、最後には身体を売るまでに身を落とします。病魔に侵され息を引き取る間際、市長であったバルジャンが病床へ駆けつけ、「娘を必ず守る」と固く誓いました。
コゼットが預けられていたテナルディエ家では、自分たちの娘エポニーヌが甘やかされる一方で、コゼットは「小さなコゼット」として過酷な労働と虐待に耐える日々を送っていました。バルジャンは大金を支払ってコゼットを連れ出し、自らの娘として深い愛情を注ぎながら育て上げます。ファンティーヌの無念の祈りは、バルジャンという器を通じてコゼットの幸せへと昇華されていくのです。
なお、街角で機転を利かせて生きる浮浪児ガヴローシュは、ミュージカルでは独立した象徴的キャラクターとして描かれますが、原作小説ではテナルディエ夫妻の実の息子（エポニーヌの弟）という血縁関係にあります。親から育児放棄されたガヴローシュが、後にバリケードで散ることになる背景には、当時の過酷な貧困層の現実が色濃く反映されています。
