宇佐神宮に関する辛嶋氏伝承では、八幡神は、欽明天皇の御代、
宇佐郡辛国宇豆高島に天降り、大和国の膽吹嶺に移り、
紀伊名草海島、吉備神島と渡って、宇佐郡馬城嶺に現われ、
乙咩社、 酒井泉社、 瀬社、 鷹居社、 小山田社、 現社地へと移ったとする。

その「宇佐郡辛国宇豆高島」が、この稲積山ではないかと、
「八幡信仰」において中野幡能氏は指摘する。
山の北側に「スエ村」があり、古くから辛嶋氏が居住した地。
また、修験道とも関連の深い山である。
求菩提山で千日行を行う修験者は、高瀬村ヤハタ八幡宮の海岸で禊をし
ここ、稲積山権現参拝で峰入行を終了する。