一说起苏州桃花坞，便有人会提到明代的唐伯虎。其实，早在元代《烬余录·乙编》中就这样记载："入阊门河而东，循能仁寺、章家巷河而北，过石塘桥，出齐门，古皆称桃花河。河西北皆桃坞地，广袤所至，赅大云乡全境，……杜荀鹤有桃花河诗，邦人皆能诵之。"可见苏州桃花坞，不仅成名在唐伯虎于该地筑别墅之前，地块也较今日之桃花坞广大。《烬余录·乙编》多记唐宋时苏州城内桃花坞事，作者徐大焯，宋末元初吴县人，宋亡后，自称"城北遗民"，居桃花坞庆云里（今桃花坞大街官厍巷），时去唐宋不远，其言当有所据。唐诗人杜荀鹤对吴地很熟悉，他的《桃花河》诗虽已亡佚，但其《送人游吴》诗却流传下来，历千余年而至今，"人家尽枕河"、"水巷小桥多"，依然是桃花坞大街沿河一带的主景风光。不虚。 五亩园中还有双荷花池（非今日之双荷花池）、梅坞、桃林与竹林（直至上世纪50年代，园内尚有成片的紫竹、方竹、圆竹三种竹），著名的亭台建筑有更好轩、碧藻轩、寄茅庐、拜石台等。清叶昌炽后购得五亩园旧址，一仍宋、明时故事，修复"梅坞"、"更好轩"、"桃花坞"、"双荷花池"、"碧藻轩"、"寄茅庐"、"拜石台"等，并加建采石矶（叶氏就掘取碑石处浚池筑矶，因名采石矶）等。叶氏子好结客，日游宴其中，园名又复大振，人称"叶家花园"。咸丰初，叶氏家道中落，卖予潘姓。太平天国时五亩园又遭兵燹，后稍修复。光绪八年，吴中名士管礼昌、朱世德、徐钺、胡三桥、张玉笙（森）等，于五亩园成立了"五亩园谜社"，这是苏州第一个民间灯谜社团，谜社成员每逢望日，集中园内，酒阑茶罢，各张旗鼓，互斗机锋，悬谜遣兴。 "五亩园谜社"一直活动到清光绪十四年（1888），因谜社重要成员俞吟香、何维棅、胡三桥、江长卿等相继过世而偃旗息鼓。 光绪十五年（1889）五亩园捐归文昌宫轮香义塾，自此五亩园残园并轮香义塾事务统归慈善机构管理。著名社会活动家、学者、慈善家谢家福（1847－1896）在主持五亩园残园时，五亩园残存亭台楼榭及相关屋宇、设施，多予修复。 谢氏在五亩园南面改建了一些房屋，以作接义公所、轮香局、义塾（儒孤学舍）及丙房之用（所谓丙房，实际上就是存放灵柩之舍，旧时丧家灵柩不直接入土安葬，暂时安厝之舍称作丙房或丙舍，连同殡仪馆，常属慈善机构安排与管理）。光绪十八年（1892），谢氏利用儒孤学舍创建苏州电报传习所（苏堂），它是我国早期培养电信人才的三大学校之一，三年间一共为国家培养和输送了报务人才800余人，影响极为深远。 1921年，张紫东、贝晋眉、徐镜清、孙咏雩等，又假五亩园"中丙房"，创办了在我国戏剧史上具有重大意义的"昆曲传习所"。 五亩园南部作为慈善机构使用的房屋，上世纪40年代末至50年代初，正式移用作"城北殡仪馆"，谢家福嗣孙谢安生成为最后一位殡仪馆馆长，殡仪馆撤销后，原址大部分改建为民居。五亩园园址1961年被林业机械厂占用（其前，西部部分土地即蔡家河东段北部曾为东风焦炭厂所有），园内残存楼亭等景如更好轩、碧藻轩、碑廊及古木、亭、池等，最后消失于1974年。 2005年9月，林业机械厂搬迁完毕，土地被拍卖，今已在建别墅区。