現為台灣土地銀行臺南分行的前身是日本勸業銀行臺南支店，勸業銀行臺南支店剛成立的時候，設立在臺南火車站前。昭和十二年勸業銀行臺南支店重新設計新建，由勸業銀行的建築單位負責設計，戰後改為土地銀行沿用至今日。建築形式為非正統的西方古典建築設計，整棟建築延著街面由一根根高聳的廊柱構成，有如古埃及神廟；樑柱本身與希臘多利克柱樣式相近，有二十個尖銳的凹槽，但無明顯的基座；外觀厚實穩重，在細部裝飾上，融合印度、美洲、日本風格；入口十分特別的設計隱身在廊柱後，整體具有濃厚的異國風情，日本人自稱這種式樣為「日本趣味加近世式」。 造型特殊的勸業銀行臺南分支建築風格形式與台北分行(現為台灣土地銀行)相似。勸業銀行的「勸業」在日文中是提倡實業獎勵產業之意。其設立之初，在日本的各地方層級是依照農工銀行法設立各縣的農工銀行；後來日本國會通過日本勸業銀行與農工銀行合併法，遂將原本單獨成立的農工銀行合併為勸業銀行分支。勸業銀行在台最先設立在台北，臺南為在台第二分支，台灣業務逐漸擴大後，陸續在高雄、新竹、台中設點，讓當時台灣五個州廳都有勸業銀行分支。
