灵芝的传说最早见于《山海经》。炎帝的小女儿名瑶姬，长得聪明伶俐，貌美如花，炎帝将其视为掌上明珠。然而这位美丽的姑娘却没有好的宿命，瑶姬刚到出嫁之年就意外夭折。据晋人习凿齿《襄阳耆旧传》和唐人余知古《渚宫旧事》记载，后来，玉帝哀怜瑶姬的早逝，封她为巫山云雨之神，也就是三峡上那位著名的巫山神女。

      神女美丽婀娜变幻莫测，每天清晨化作一片朝云，自由轻闲地徜徉在群峰之间，到了黄昏，又化作一阵暮雨，将她的一腔幽怨倾泻在长江之中。她的精魂散则为气，聚则为物。据《渚宫旧事》载：“精魂为草，实乃灵芝。”后来，人们便把瑶姬谐音为灵芝。