日治初期，台南地方缺乏及繪設宴的寬廣場所，

日人每有集會設宴皆向吳繼顯(吳尚新之孫)洽借吳家，

或商借位於幸町一丁目(昔日之龍王廟街)的「兩廣會館」

作為開會設宴之場所。鑒於吳園庭院景色優雅，

地方官民遂於明治４１年（１９０８）集資成立民間組織

「社團法人台南公館」，並選定此地為籌建現代化公共聚會場所知地點。

吳氏子孫迫於政治壓力，終於變賣吳園土地一甲（三千多坪）

予該社團法人闢建「台南公館」。

建館工程於明治４３年９月正式展開，４４年（１９１１）２月初

落成啟用，台灣最早創見的一座公共集會功能之現代建築物自此誕生。