女人禁制の神聖な山として尊ばれてきた飯豊の頂上にあります。飯豊山神社は喜多方側の登り口である一ノ木（麓宮）と頂上（奥宮）に所在します。山を神体とするため奥宮は本殿が無く拝殿のみです。所説ありますが社伝によると、役小角（役行者）が飯豊山に登り、五社権現を祀ったのがその始まりといわれています。麓宮にある銅造五大虚空蔵菩薩坐像5躯は県指定重要文化財です。