南宋時，臨安城裡有“南湖園”，時至明代，建了水星閣，始有此地名。《咸淳臨安志》載：在艮山門裡白洋池，宋循王張俊之孫（張鎡）舍宅為寺。紹熙元年（1190）賜今額。”
臨安都城的張家府第，聲勢顯赫，祖上張俊在宋室南渡時，卓有戰功，與韓世忠、岳飛、劉光世並列為“中興四名將”之一，獲得恩寵，授封清河郡王。高宗帝賜給一幢富麗堂皇的府第，處在吳山腳下，今“清河坊”地名，源于張俊封號（清河郡王）。
除了清河王府外，高宗又贈送艮山門內白洋池畔一幢別業，地處宅院南邊，也因張俊別業易名南湖，湖中有六座仿西湖的拱橋。《嘉靖仁和志》載：“宋循王張俊寵盛時，其別宅富麗，內有千步廊、花園等。今有留雲寺、白蓮池，其前有白洋池，號南湖，擬西湖為六橋。”

“滿城無此好風光”張氏後人深受皇上恩澤，世代相傳，京城內外，可謂呼風喚雨，惠及子孫。
南湖園傳到張俊第四代世孫張鎡（字公甫，號約齋）時，更是修葺拓展，崇飾治理。《南湖集》記載，孝熙十二年（1185），張鎡（1153-1221）在白洋池畔購得荒圃百畝，辟建亭臺樓閣。荒圃原有古梅數十株，張鎡“輟地十畝，移種成列，增取別圃梅樹三百本，前為軒楹，築堂數緣以臨之，又夾以兩室，東植湘梅，西植紅梅，前為軒楹。盛花時，（張鎡）居宿其中，夜如對月，其名曰‘玉照堂’。”精緻典雅，極富詩情畫意。丞相周必大到訪南湖園，面對宏麗的庭院，驚歎道：“一棹徑穿花十裡，滿城無此好風光！”
淳熙十四年（1187），張鎡捐出東宅為禪寺。
紹熙元年（1190）光宗皇帝賜額，曰慧雲寺。
此後，張鎡“一意崇飾，徹堂為殿，凡佛屋之未備者，悉力經營，土木堅好，金碧煥發，隱然叢林，為寓都壯觀矣！”《桂隱紀詠》稱“既歸桂隱，遂捐故廬為東寺，新舍為西客，南湖經其前，北園奠其後”，“余舍所居為梵刹，歷時十四年，匠生於心，指隨景變，移徙更葺，規模始全。”南湖園建造歷時十四年竣工，大致有東寺、西宅、南湖、北園、亦庵、約齋、眾妙峰七大園區，包羅萬象，幽曠雅致，移步景換，園內有軒、堂、亭、橋、泉、池、瀑、庵、館、樓、台、榭等多達百餘處，洋洋大觀（《南湖集》）。
“天上人間”南湖園傍湖環水，花木扶疏，環境幽深。張鎡家世顯赫，交遊廣闊。帝都內外的名人學士莫不趨之若鶩，皆成座上之賓。一時間，成為臨安一個交遊集會場所，史浩、周必大、樓鑰、陸游、楊萬里、范成大、辛棄疾、朱熹、陳亮、葉適等皆有題詠。清風明月之夜，賓客雲集，詩文相酬，雜以宴樂歌舞，吹奏彈唱，聲色奢華，宛若天上人間。
《齊東野語》有，清風月夜，眾賓既集，坐一虛堂，郁然滿席，群妓以酒肴絲竹，次第而至。別有名姬十輩皆衣白，首帶照殿紅一枝，執板奏歌侑觴，歌罷樂作乃退。酒竟、歌者、樂者，無慮數百十人，列隊送客，燭光香霧、歌吹雜作，賓客恍然如仙遊也。
文人官員之多，歌妓舞姬之盛，歎為觀止！既是張鎡的社交場所，也是京城名人雅集之地，展示了南宋都城的奢華場面。楊萬里《約齋南湖集序》寫道：“初予因裡中浮屠德璘談循王之曾孫約齋子有能詩聲，餘固心慕之，然猶以為貴公子，未敢即也。既而訪陸務觀於西湖之上，適約齋子在焉。則深目顰蹙，寒肩臞膝，坐於一草堂之下，而其意若在岩嶽雲月之外者，蓋非貴公子也，始恨識之之晚。”
南湖園擴建於淳熙十二年（1185），築成于慶元六年（1200），正是南宋中興時期，南湖園承載了中興的浮華繁榮。《齊東野語》載；“其園池聲妓服玩之麗甲天下，尤以牡丹盛會聞名於世。”

誤殺元使時至鹹淳十年（1274），元世祖撕毀和議，揮軍南侵，襄樊一役，宋軍兵敗，元兵勢如破竹。宋軍節節敗退，諸郡守將無不望風敗降。世主聞訊，大喜道：“朕兵到江南，宋之君臣必知畏恐。今遣使議和，邀索歲幣，想無不從者。”
於是，派出禮部尚書廉希賢、侍郎嚴忠范等奉國書出使臨安。廉希賢等人行至獨松關，守將正是浙西安撫司張濡（張俊四代世孫）。守軍見到北兵叩關，以為敵軍來犯。
張濡率部出關掩擊，殺了嚴忠范，俘獲廉希賢。未久，廉希賢患病創死。
世祖聞訊，勃然大怒，蒙軍壓境，攻佔臨安。後人歎道：“宋之亡，實非大逆不道，只因獨松關守將張濡誤殺元使，激怒世皇之故。如果當年希賢不死，宋之存亡，未可知也！”

感歎世道滄桑張炎（1248-1319），張俊第六代世孫（張濡孫子），自幼享盡了祖上庇蔭的尊榮富貴。元軍破城時，年僅二十九歲，突遭滅頂之災：祖父張濡被磔殺，家道中落，南湖園被查抄，財產藉沒。自此，張炎漂泊大江南北，靠賣卜為生。
張炎與蔣捷、王沂孫、周密並稱“宋末四大家”
一日，張炎路過南湖園，故園依舊，人事全非，觸景生情，寫道：“記凝妝倚扇，笑眼窺簾，曾款芳尊。步屟交枝徑，引生香不斷，流水中分。忘了牡丹名字，和露撥花根。甚杜牧重來，買栽無地，都是消魂。空存斷腸草，伴幾折眉痕，幾點啼痕。鏡裡芙蓉老，問如今何處，綰綠梳雲。怕有舊時歸燕，猶自識黃昏。待說與羈愁，遙知路隔楊柳門（《過故園有感》）。
十年後，張炎再次途徑南湖舊居，百感交集，又寫了首詞《長亭怨·舊居有感》：
“望花外，小橋流水，門巷愔愔，玉簫聲絕。鶴去台空，佩環何處弄明月？十年前事，愁千折、心情頓別。露粉風香誰為主？都成消歇。淒咽，曉窗分訣處，同把帶鴛親結。江空歲晚，便忘了、尊前曾說。恨西風不庇寒蟬，便掃盡、一林殘葉。謝楊柳多情，還有綠陰時節。”
 入元後，轉眼十年，舊地重遊，愁腸千結“露粉風香誰為主？都成消歇”，既寫了昔日之花，也借花喻人，全都玉殞香消。“淒咽，曉窗分訣處，同把帶鴛親結。”
張炎筆下，人生遭劫，愛妻生死訣別。“江空岸晚，便忘了、尊前曾說。”昔日情懷，江空岸晚，仍未能忘懷，“便忘了”，實際上是實話反說。“恨西風不庇寒蟬，便掃盡一林殘葉”，水邊故居（南湖園）的楊柳，隨風起舞，依依不捨，頓生惻隱之心。
楊柳還有逢春時，而浪跡天涯的遊子，再也不能重聚了！
抒發追憶往昔之情，令人淆然涕下，南湖園，道盡了人生的盛衰興亡，寫盡了帝都的浮華滄桑、夢魂牽繞。至今讀來，依然慨然有感，意猶未盡！