传说,很久很久以前,三色潭这个地方,原来是住着一户豪华人家,这家主人,拥有家财万贯,奴仆成群,好马跑不尽他的田地!好鸟飞不过他的房栏,这家主人对丫环奴仆十分苛刻、厉害，丫环挑的水，只要前面桶，不要后面桶，说是后面桶不卫生，因为放屁和屁股对后面桶有影响卫生，丫环挑的水桶是一个“尖”底形，防止丫环们在途中休息偷懒。有一天，一位天上的仙人下了凡，变作一个叫花子，丫环们热情地招待了仙人，此时，仙人告诉丫环们说：“明天一早，你们打扫堂屋，把主人香火下的两根竹笋敲断，然后逃出这户人家”。
因为这家主人，横行四乡八里，欺压百姓，刻薄丫环，老天爷是不会饶恕他的，仙人又告诉丫环说：竹笋敲断之时，就是主人灭顶之灾之日“。果然第二天凌晨，两根竹笋在主人的香火下长了出来，丫环们按照仙人的吩咐行动，把两根竹笋敲断，传说，这两根笋子是龙的一对角，龙角被敲断，龙一翻身，一瞬间，天昏地暗，闪电雷鸣，地动山摇，把这户人家陷入了十八层地狱，成了现在的“三色潭”。
此时，主人的女婿从方作官回来看望妻子和岳父大人，只见妻子坐在一条没有陷下的大门坎上大哭大叫，夫妻二人还未来得及对话，大门坎连同妻子一齐陷入十八层地狱。这时，仙人又变成一只小鸟在树上叫了几声："留公不留婆，拉马转回头......"，主人的女婿垂头丧气地拉马回头朝远方而去。所以，这个山村从那时起就叫“留公”。
三色潭成“品”字形，各潭相距不超过20米，但奇怪的是，各潭湖水颜色不同，一潭呈黄色(传说是主人的马房)，一潭呈绿色(传说是主人的正屋)，另一潭呈白色(传说是主人的厨房)。所以世代相传叫“三色潭”。
三色潭还有一个古怪，天旱得久，潭中会出现锣鼓声，吹笛声，水面上有彩旗飘动影象，这种怪现象可持续20分钟之久，这些怪现象有待科学家们去研究，三色潭是一个无底的深潭，当地老百姓叫它“天井”。
