西港城的前身是舊街市及海事處舊址北座大樓的擴充部分,當年海事處因地方狹窄,不足應付日益增多的船政管理,因而搬往中環新填海區,舊建築物拆卸,改建成上環街市北座。大樓建於1906年,採用英國愛德華式建築風格,以紅磚砌成,花崗石作地基,底層入口有大型圓拱,具有歷史價值。大樓最初是海事處總部舊址,後來才改建為街市。1983年上半年,街市南座因興建地鐵港島綫第2期建築工程而拆卸,原址興建上環市政大廈。自從上環市政大廈在1989年啟用後,街市便停止使用,街市北座於1989年1月起空置。
在1990年,大樓被香港政府的古物古蹟辦事處列為香港法定古蹟。1991年,由土地發展公司(今市區重建局)把大樓進行全面修葺,並容許當年10多個於中環永安街(即花布街)商戶遷入西港城2樓,部分搬遷的商舖原為附近一帶的老字號,當中包括古玩、特色手工藝品店及數間食肆。2樓的布匹專賣店。