「三徳山」は、寺伝によると、慶雲三年（706年）、修験道の祖・役小角（役行者）が三弁の蓮花を散らしたところ、大和国吉野山、伊予国石鎚山、伯耆国三徳山に落ちたので、ここに堂宇を建てて修験の行場としたのが始まりとされる。
「三仏寺」は、これも寺伝によると、嘉祥二年（849年）、慈覚大師円仁によって伽藍が建立され、阿弥陀如来・釈迦如来・大日如来の三仏を祀ったのが、開基とされる。ただし、慈覚大師が来山したという明確な資料はない。この頃には、山陰にも天台密教が伝播され、三徳山に神宮寺的性格の強い天台寺等が建てられたものと推定される。
国宝「投入堂」は、寺伝では、慶雲三年、役行者が法力を持って岩窟に投げ入れて建立したと云われているが、近年、奈良文化財研究所が行った年輪年代測定法により、平安時代後期（11世紀後半～12世紀前半）の建立であることが判明。重文「納経堂」の建立も同時期であり、この頃には、山中には三所権現（蔵王、子守、勝手）等の社閣、山麓には三仏寺等の寺坊が建てられ、大伽藍が整備されていたと推測される。