四白眼に対して「睨まれているように感じる」「感情が読めなくて怖い」という声が挙がるのには、認知心理学および進化生物学的な明確な根拠が存在します。人間は他者の表情を認識する際、眼球の強膜（白目）と角膜（黒目）のコントラストから瞬時に視線の方向と感情を読み取る特異な脳内ネットワーク（扁桃体を中心とする情動処理経路）を備えています。
通常の対面コミュニケーションにおいて、黒目の上下に白目が大きく露出する状態は、「驚愕」「激怒」「極度の恐怖」といった強烈な覚醒状態の表情と酷似します。そのため、本人が平常心であっても、対峙する側の無意識下では「警戒信号」として処理され、結果として威圧感や緊張感を抱かせる要因となります。
また、東洋の伝統的な人相学（観相学）において、四白眼は「直情型で情熱的」「自己主張が強く妥協を許さない」「波乱万丈の人生を切り拓く強い勝負運」の象徴とされてきました。かつての古典書では「凶相」として警戒を促す記述も見られますが、これは協調性を至上命題とした封建社会における解釈であり、現代においては「類まれなる決断力と独立心を持つリーダー気質」の現れとしてポジティブに読み替えるのが定説です。
