才賀紀左衛門の交際関係が常に物議を醸す最大の要因は、子供たちの存在とそれに伴う親権・監護権の問題だ。前妻であるあびる優との間に生まれた長女の親権を巡るトラブルは、法的な判断が出た後も依然として世間の強い関心事であり続けている。
もし彼に現在あるいは将来的に新しい彼女ができるとすれば、その女性は単なる「恋人」にとどまらず、複雑な家庭情勢と世間からの苛烈な批判の矢矢面に立たされる覚悟を求められることになる。歴代のパートナーたちが直面した苦悩を知る閲覧者からは、「次に付き合う女性も苦労するのではないか」という冷ややかな声が根強い。