南山寺創寺年代已不可考，根據今年七十七歲高齡的耆老趙阿六指稱：在他童年時代，南山寺已是附近村民的信仰中心；據此推測應有近百年的歷史，南山寺原稱觀音廟，屬道教廟宇，除供祀觀音菩薩外，尚供有五穀帝君、土地公等神祗，且有乩童。日據時代末期，推行「皇民化運動」，強迫本島人毀滅寺廟神像，觀音媽廟亦不例外，當時所有神像被集中燒毀，幸好有一篤信佛教的日本警官，以觀音菩薩為佛教信仰，暗中將觀音神像私藏，待光復後再由信徒迎回原廟供祀，觀音媽廟恢復舊觀，仍屬道教系統。

民國二十五年中日關係緊張，戰爭一觸即發，日本海軍大將小林躋造擔任台灣總督，台灣又恢復軍人統治，進行寺廟總整理，整個鹿野、關山、池上地區，僅存由原屬於道教系統的天后宮改名為佛教的關山寺。台灣光復後，關山鎮的民眾強烈要求恢復為天后宮，導致佛、道信徒爭產之糾紛，後來經過協議，關山寺再恢復為天后宮，原天后宮的佛像、僧侶轉移到觀音媽廟，觀音媽廟則改為南山寺，並聘請演音法師為首任主持。

改為佛教的南山寺佔地原來很小，經費也不很寬裕，後來鄉紳趙阿六等獻出臨寺的水田供作寺產，以水稻收入供寺使用，民國七十二年，由於信徒日眾，且舊寺已漸毀圮，信徒決定成立財團法人，並在舊寺前重建，新殿於七十六年落成。

南山寺的第二任住持宏一法師，有感於社會變遷急遽，破碎家庭日多，乃發心創辦「慈育園」，專門收容孤兒或受虐兒童、雛妓等，除供應食宿讓其接受正常教育外，晚間都有法師加以輔導。

南山寺年中最主要的法會有三：即農曆四月八日的浴佛節、七月二十四日盂蘭盆法會及元月一日至三日的新春開燈禮三千佛法會。此外，另有由婦女組成的關山觀音會，每日晨昏到寺誦經禮佛，南山寺的信徒，以關山鎮為主，是關山佛教徒的信仰中心，附近鹿野、海端等鄉鎮常來禮佛的信徒亦不少。