吉高由里子の人情味あふれる性格は、決して平坦ではなかった生い立ちと家族関係の中で育まれました。実家の家族構成は、父親、兄、祖母、そして吉高由里子の4人家族です。
両親は吉高由里子が中学生の頃に離婚しており、彼女は父親の手ひとつで育てられた父子家庭の環境で育ちました。父親は東京都世田谷区（桜新町・弦巻エリア）でセブン-イレブンのフランチャイズ店舗を経営しており、早朝から深夜まで多忙を極めながらも、子どもたちのために毎日手料理を作り、愛情深く育て上げました。
父親との間には心温まるエピソードが数多く残されています。料理上手な父親が作るお弁当を喜んで食べていたことや、芸能界に入ってからも父親の手料理を食べに実家へ頻繁に顔を出していたことなどが明かされています。また、2歳年上の兄とも非常に仲が良く、子どもの頃は喧嘩をしながらも、お互いを気遣い合う強い絆で結ばれていました。兄が結婚した際には心から祝福し、家族の団らんを何よりも大切にしている様子が伺えます。
