生涯独身を貫く栗山氏ですが、決して浮いた話がなかったわけではありません。スポーツキャスターとして活躍していた1990年代半ば、球界や芸能界を大きく揺るがす熱愛と破局のドラマがありました。
最も広く知られているのが、当時TBSの人気アナウンサーだった福島弓子氏（現・イチロー氏の夫人）との交際です。1994年頃から交際がスタートし、栗山氏が福島氏の実家へ挨拶に訪れるなど、結婚秒読みと報じられていました。しかし、1995年に突如として婚約が破棄される事態となります。
この破局の背景として当時報じられたのが、世界的な女子プロテニスプレーヤーだった伊達公子氏の存在でした。一部の週刊誌報道によると、栗山氏が福島氏に対して「心の中に別の女性がいる」という趣旨の思いを伝えたことで婚約解消に至ったとされ、その後実際に栗山氏と伊達氏の交際がスクープされました。ただし、伊達氏との関係も長くは続かず、最終的に破局を迎えています。
この一連の騒動は当時ワイドショーなどで大々的に取り上げられ、誠実なイメージが強かった栗山氏にとっては苦い経験となりました。関係者の間では、このときの出来事が栗山氏の心に深い傷と強い自戒の念を残したと言われています。
