岳陽樓不在湖上，岳陽樓地處岳陽古城西門城牆之上，緊靠洞庭湖畔，下瞰洞庭，前望君山。自古有洞庭天下水，岳陽天下樓之美譽，岳陽樓主樓為長方形體，為三層、四柱、飛檐、盔頂、純木結構。
岳陽樓始建於東漢建安二十年（215年），歷代屢加重修，現存建築沿襲清光緒六年（1880年）重建時的形制與格局。因北宋滕宗諒重修岳陽樓，邀好友范仲淹作《岳陽樓記》使得岳陽樓著稱於世。
清光緒初年，岳陽樓有損無修，一片衰敗。光緒三年（1877年），嶽州知府黃河青主持小修岳陽樓；光緒六年（1880年），嶽州知府張德容重建岳陽樓，為穩固樓基將樓址東移六丈有餘，樓頂的玻璃筒瓦全用桐油石灰調拌，隔瓦則以鐵鉚連結，樓前石砌泊岸和城牆雉堞，以糯米粉調細瓷灰修砌，刀斧不能入。
1950年4月，岳陽縣人民政府在岳陽樓南側地坪建設有革命烈士紀念亭，撥款對岳陽樓及其輔亭進行維修，補葺、更換殘損、腐朽的小型構件，加固主樑，以桐油油刷樓體，清除樓、亭周圍的雜草荊棘，修整通往樓台的道路。岳陽樓一帶被闢為觀覽風景、憑弔革命烈士的地方。
