西港城的前身是舊街市及海事處舊址北座大樓的擴充部分，當年海事處因地方狹窄，不足應付日益增多的船政管理，因而搬往中環新填海區，舊建築物拆卸，改建成上環街市北座。大樓建於1906年，採用英國愛德華式建築風格，以紅磚砌成，花崗石作地基，底層入口有大型圓拱，具有歷史價值。大樓最初是海事處總部舊址，後來才改建為街市。1983年上半年，街市南座因興建地鐵港島綫第2期建築工程而拆卸，原址興建上環市政大廈。自從上環市政大廈在1989年啟用後，街市便停止使用，街市北座於1989年1月起空置。
在1990年，大樓被香港政府的古物古蹟辦事處列為香港法定古蹟。1991年，由土地發展公司（今市區重建局）把大樓進行全面修葺，並容許當年10多個於中環永安街（即花布街）商戶遷入西港城2樓，部分搬遷的商舖原為附近一帶的老字號，當中包括古玩、特色手工藝品店及數間食肆。2樓的布匹專賣店。