岳陽文廟歷史悠久，始建于北宋。據《巴陵縣志》記載：“宋慶歷六年（公元1046年），知府滕宗諒（滕子京）創建�！蹦菚r稱岳州學宮，為當年岳州“百廢俱興” 之一。文廟建成后，滕子京請好友、文學家尹洙為其撰寫了《岳州學宮記》，詳細地記述了滕子京建文廟的經過：“滕公凡為郡，必興學，見諸生，以為政先。慶歷四年守巴陵，以郡學府為通道，地迫制單，講肄無所容，乃度牙城之東，得形勝以遷焉。會京師倡學，詔諸郡置學宮，廣生員。公承詔忭曰：天子有意三代之治，守臣述上德，廣鳳教，宜無大於此，庸敢不虔於是？”“慶歷六年（1046年）遷建岳州文廟，興其官學……”“大其制度以償之，廟儀既成，乃建閣以聚書，辟室以授經，兩序列齋，以休諸生。掌事司儀，差以等制；繕爨浣沐，悉嚴其所；小學賓次，皆列于外……”。
岳陽文廟今存大成至圣殿，“系磚木混合結構。面闊五間，寬28.17米，進深三間，長19.74米，占地面積548.5平方米。殿高約16米，帶前廓。用大墻石柱23根支撐上部建筑，三面磚墻起間隔作用。殿內有18根金柱，其中最大的兩根，直徑達66厘米，其余略次。大柱立在石墩上，石墩為須彌坐式，上呈仿唐制的樟木墊墩以防潮。柱為梭形，下大上小，前后施明木伏 ，其下置枋，兩者之間，加如意形木‘撐拱’，其彩繪圖案，保持了宋、明、清三代藝術特色�！睆恼⒚婵吹畹耐饷�，殿的上檐置一斗三升拱，下檐則出抱頭梁承托。屋頂為重檐歇山式，翹首飾鳳，蓋琉璃瓦，黃綠相間。脊上飾二龍戲珠的主體陶制裝飾，外形莊重。為江南罕有的最古老的文廟，展示了古代勞動人民在建筑藝術上的卓越智慧和創造才能。
文化大革命時期，文廟作為“四舊”遭到破壞�！�1985年岳陽市人民政府撥�？钜蝗f元，重建1974年批孔運動中拆除的泮湖及狀元橋，并全部采用條石砌筑，便于游人參觀游覽”�！�1990年國家文物局撥�？�180萬元，遵循‘整舊如舊’的原則，組織高水平的技術力量，對大成殿進行保架大修。1994年‘國際儒家文化與當代世界文化走向學術討論會’在新落成開放不久的文廟舉行了盛大的祭孔儀式，20多位專家學者和市黨政領導參加盛會�！痹乐菸膹R重現了昔日的風采。
文廟于每年春秋時兩次祭祀孔子，群儒官宦屆時聚集。廟宇極其尊嚴，稍有缺損，就必修繕。宋治平年間（1064—1076年），知州趙尚奉旨重建。修葺竣工后，由大理學家胡寅撰寫了《岳州府儒學記》。明隆慶《岳州府志》載修葺后規模是：主殿五舍，有殿庭，左右為兩院，各七舍，前為戟門，七舍。這樣，在滕子京修建的基礎上，極大地豐富了文廟的內容，擴大了其規模。爾后，屢有興廢。從北宋慶歷六年始建，至清同治十一年最后一次補修，共歷時826年，其重建和修葺的次數近30次，文廟才具有相當宏偉的規模。據光緒《巴陵縣志》記載：“岳州府學，在縣治南高阜，中為大成殿，殿之旁為東西廡，前為大成門，門左為名宦祠，右為鄉賢祠，外為欞星門，欞星門外為泮池，周以紅檣，左右門書‘德配天地，道冠古今’。殿后為崇圣祠，祠東為明倫堂�！币陨辖ㄖO施，從清代末期到民國以來又逐漸廢建，今除大成殿外，其余均不存在，有的房屋早已改建為學校教室。
2001年，岳州文廟公布為國家重點文物保護單位。