古くは10世紀はじめに記された、「延喜式」に名神大社として登場します。祭神は筑紫大明神または白日別神(しらきわけのかみ）。この神様は五十猛命と同一とされていますが、白日別神と素盞鳴尊（すさのをのみこと）が同一という説もあります。この地には麁猛神（あらくたけきかみ）という神様がいて、通行人の半分を殺したので「人の命尽くしの神」といわれたとか、そのとき死んだものを葬るために作った棺で山の木が尽きてしまったので「筑紫（つくし）の国」とこの地方を呼ぶようになった、とか言う逸話を持つ大変物騒な荒神です。それを筑紫君と肥君が「筑紫の神」として祭ったというのが由来です。もともと近くの城山の頂上にあったものが麓に移されたものです。ただ残念ながら度々兵火に見舞われていますので当時の建物がそのまま残っているわけではありません。それでも神殿は（1662年）拝殿は（1712年）に建造されたもので、300年の歴史があります。配神として神武天皇の生母玉依姫命、征夷大将軍の坂上田村麿が祭られています。もしかしてこっちの方が有名かもしれません。五十猛命も父親が素盞鳴尊ですのでこの神社の神格はなかなか高いです。

一番有名なのは3月15日に行われる「粥卜祭」で、読んで字のごとく御粥で占いをする祭です。正月に奉納されたお米で御粥をたき、それを1ヶ月神殿の中におき、できたカビの具合で吉兆を占うと言うものです。市の無形文化財にも指定されています。その他には7月19日に夏祭り、10月20に秋季大例祭が行われます。