碧雲寺座落於山靈水秀的台南縣關仔嶺半山腰中，坐東向西，背倚秀麗的枕頭山，面迎廣闊的嘉南平原，附近林木茂盛；四周碧綠青翠，雲煙縹緲，「水火同源」與本寺同屬一脈源，地下蘊涵豐富之天然氣，故名「火山碧雲寺」。本寺在宗教的莊嚴氣氛中，並兼具賞心悅目的詩情畫意，是全台一處得天獨厚的靈山勝境，更是修行者參禪悟道的好地方。
清康熙四十年（ 一七○一），第一代開山祖師釋應祥，由福建省泉州府名剎開元寺奉請一尊觀音佛祖聖像，渡海來台，從竹仔港（ 今高雄縣永安鄉）登陸上岸，隨後寄居於阿公店（今高雄縣岡山鎮），數月後為了尋找更適合參禪悟道的環境，再奉迎觀音佛祖遍遊南部各大叢林，最後於枕頭山下（今台南縣白河鎮仙草埔）暫且落腳。時光荏冉，歲月如梭，如此過了數年，由於應祥師通徹孔孟之學及勘輿之術，發現於枕頭山南麓半山腰有一處「半壁吊燈火」之靈穴更適合靈修參禪；應祥師遂獨自帶著觀音佛祖上山，披荊斬棘，草建茅堂，即為為本寺
之前身。
嘉慶三年（西元一八○三），有安溪、土庫、番社（今東山鄉）儒生林啟邦等八位，因仰慕應祥師學養品德，而與一書僮前往拜師苦讀。嘉慶十一年（西元一八○六）前往福州趕考，連書僮九人皆應試登科，九人感佩觀音靈佑，於是合資大銀千兩，購買當時師徒所開墾的田地（俗稱九股仔，今碧雲公園），捐作寺產，並於嘉慶十三年（西元一八○八）正式興建寺廟，稱為碧雲寺。
碧雲寺範圍內有兩處靈穴，現今正殿是處「鳳穴」，後山南北兩側山脈是為鳳翅；「半壁吊燈火」靈穴即今三寶殿前香爐位置，兩穴互為文集；相互共構營造成三百餘年之靈山古剎。由於碧雲寺財力拮据歷經嘉慶、咸豐及光緒等年間次第興建完成，本寺右側豎立一塊嘉慶十六年（ 一八一一 ） 的「玉枕火山碧雲寺募為緣業碑記」，以資佐證，碑記內容大意如下：碧雲寺為嘉邑名勝，觀音大士英靈遠庇早已膾炙人口，然而寺無緣業，僧家難為無米之炊。嘉慶十六年，張士輝等二十善信，計鳩銀三百二十六圓，買糞箕湖山腳墾田，大武龍派社番目荒埔園，永為寺中香煙，以迓神庥。
由於早期台灣社會環境的關係，碧雲寺是座佛、道、台灣民間傳統信仰兼祀的佛剎，這在早期佛剎頗為常見，也因此碧雲寺的信眾涵蓋了佛教與道教，在親和力與善化人心方面有更大的作用。目前整個碧雲寺可分成四大部份，即「正殿」供奉觀音佛祖、「三寶殿」（大雄寶殿 ）、「清虛宮」（天公廟」、「地藏王寶殿」。正殿佛道兼祀、三寶殿純佛教、清虛宮純道教、地藏王寶殿奉民間神主牌。
本寺大部份建物構造仍保存閩南及日式混合風格，其洗石子的大量使用是一大特色，正殿及山門之剪粘、泥塑極具地方色彩，最引人注目的是山門外的一對笑獅。民國三十八年，住持霖淨法師、明淨法師率眾擴建清虛宮（天公廟 ），至四十三年完工；先總統 蔣公曾親臨獻香，並蒙賜匾額「凌霄寶殿」，為本寺帶來無限殊榮。眾信為維護本寺權益，且按照政府法律規定，於民國四十三年成立火山碧雲寺管理委員會，由陳澄沂先生膺選為首屈主任委員於民國五十五年興建地藏王寶殿，由各方檀信佈施捐獻大力支持，於民國五十六年竣工，民國五十九年間，又接著興建古宮殿式三寶殿，民國五十九年八月間宣佈撤銷原有組織，重新改組為財團法人火山碧雲寺董事會，並報請台南縣政府核備。
碧雲寺於民國八十六年 ( 一九九七 ) ，由內政部評定為三級古蹟。民國八十九年 ( 二○○○ ) 縣政府研擬修護碧雲寺計畫。碧雲寺之觀音殿、山門、寺埕列為古蹟範圍於民國九十年 ( 二○○一 ) 五月動工整修，於民國九十四年 ( 二○○五 ) 一月整修完竣。
