海神廟的興建是沈葆楨來台處理日本入侵牡丹社事件,他有感於海神協助而奏請朝廷興建,後又陸續增建蓬壺書院、文昌閣、五子祠等建築。日據時期,赤嵌樓充當陸軍衛戍病院,蓬壺書院因地震多半倒塌僅剩大門,五子祠也因颱風的侵襲而損毀,只留下文昌閣與海神廟。