かつて日本の祝日カレンダーにおいて、祝祭日が存在しない月は「6月」と「8月」の二つだけでした。有給休暇の消化率が諸外国と比べて低調な日本社会において、経済界や労働界からは長年、まとまった休暇を創出するための祝日新設が求められていました。梅雨時である6月ではなく8月が選ばれた最大の要因は、古くから日本社会に根付いているお盆休み(8月13日〜16日頃)との親和性にありました。
祝日法第2条において、山の日は「山に親しむ機会を得て、山の恩恵に感謝する」日と規定されています。先行して1995年に制定された「海の日」と並び、日本の豊かな自然環境を再認識する対の祝日として位置づけられていますが、その運用には明確な相違点が存在します。
海の日が2003年の祝日法改正によって7月の第3月曜日に移されたのに対し、山の日はあえてハッピーマンデーの枠組みに入れられませんでした。もし山の日を「8月第2月曜日」などに変動させてしまうと、年によってはお盆休みの期間から大きく離れてしまい、企業が夏季休業を一括設定しにくくなるという産業界の実務上の要請が働いたからです。