遠野市附馬牛町にある。
遠野の中心から北へ早池峰方向へ向かう途中。
神遣峠を少し下った所。道の側に鎮座。

周囲は鬱蒼とした林。
当社の周りだけではなく、早池峰へ向かう道はずっとこんな感じ。

神の始 遠野の町は南北の川の落合に在り。 以前は七七十里とて、七つの渓谷各七十里の奥より売買の貨物を聚め、 其市の日は馬千匹、人千人の賑はしさなりき。 四方の山々の中に最も秀でたるを早地峰と云ふ、 北の方附馬牛の奥に在り。 東の方には六角牛山立てり。 石神と云ふ山は附馬牛と達曾部との間に在りて、 その高さ前の二つよりも劣れり。 大昔に女神あり、三人の娘を伴ひて此高原に来り、 今の来内村の伊豆権現の社ある処に宿りし夜、 今夜よき夢を見たらん娘によき山を与ふべしと母の神の語りて寝たりしに、 夜深く天より霊華降りて姉の姫の胸の上に止りしを、 末の姫眼覚めて窃に之を取り、我胸の上に載せたりしかば、 終に最も美しき早地峰の山を得、 姉たちは六角牛と石神とを得たり。 若き三人の女神各三の山に住し今も之を領したまふ故に、 遠野の女どもは其妬を畏れて今も此山に遊ばずと云へり。 −『遠野物語　第二話』より−

遠野三山の三女神が、それぞれの山へ向かう起点。
神々がここで別れたために、神遣（かみわかれ）と呼ばれている。

遠野物語では、伊豆神社で、三女神の山が決定する一夜を迎えるが、
他の伝説では、当社となっている。
伊豆神社の由緒では、伊豆神社で夢の話があり、
当社で別れたと記されていた。

社殿といっても簡素なものだが、中に、三女神の像が祀られている。
社殿の左後方には、大正１１年の石碑に、
「斉衡年中慈覚大師開基」「早池峰二十末社之上首」とある。