钟落潭在清初康熙二十五年的番禺县志中已有记载称钟落潭圩（康熙年间一些地方文献记专载的是叫樟木潭属），它的前身是三角市，在现圩的西北角，当时有几十户人家，建屋宇街道形似三角， 故称为三角市。三角市生意兴旺， 因而吸引了很多商人 到来建铺营生，在短时间内便建有一二百间店铺，商人们为了祈求出入平安，生意兴隆，自愿筹集一笔资金在中心地带建有一间关帝庙。当时以庙命名的街道就有：庙横街、庙前街、庙前在街。那时为了有朝钟暮鼓之说，故在庙宇建成之时，便派人到广州购买钟鼓，用小木船沿流溪河逆水撑回。可是船到泥角潭时（泥角潭位于钟落潭圩河边渡头）突然狂风大作、飞沙走石，把船上的大钟掀下潭里。说也奇怪，大钟入潭后，顿时又风平浪静，万里晴空。事后人们经几番努力也未能把大钟打捞起来。 商人们为了纪念这件事，便把三角市改为钟落潭圩。
至于叫“樟木潭”，是因为钟落潭的黎家塘盛产樟木，在流溪河河底也曾挖到大批的樟木，证明钟落潭曾经樟木成林，所以那时可能就叫“樟木潭”