栗树山村位于尚湖镇西南部。磐新线没有开通之前，栗树山村是安文到尚湖方向的必经之路，来来往往的车辆喧嚣而过，给整个村子增添了无限生机。而如今，过路的车子越来越少，年轻人也出了远门，村中蜿蜒的石头小道长满了野草，整个村子显得有些荒凉。走进村里，沿着悠长曲折的小道，路过白墙黑瓦的四合院，拂过岁月剥落的白墙，细细品味属于栗树山村的历史渊源。

　　宋朝嘉定年间，有一姓王的人来到栗树九十塘里壁小坟山坟庄屋居住。当时小坟山长满野生栗树，附近的人不知道如何命名这一块区域，于是就以“栗树山”为王姓一家人的村名。
　　从宋代一直到清朝康熙中期，栗树山村陆陆续续有了七八户人家。当时有一户王姓人家，家中有些田地山场，家底相对比较殷实。王太翁只有一个女儿，嫁给一个木匠，叔伯兄弟非议不断，认为不同姓不是一家人，导致王太翁对女婿有所忌惮，害怕他惦记家中财产，于是他将女婿邦龙赶出了家门，让其另寻他出。王夫人心疼女儿，于是给邦龙支招，让他在家门口哭，博取王太翁的同情，同时自己去说服王太翁，让王太翁明白老来还需要有个依靠。想清楚后，王太翁叫回了邦龙，这一次回来，邦龙侍奉太翁如同己父，太翁对其视如己出，还将家产巧妙地转移到女儿女婿名下，避免了其他叔伯的争抢。之后为了避免出现不同姓氏带来的种种问题，于是整个村子不管男婚女嫁，所有人都姓吴，邦龙也成了栗树山吴姓始祖，这个习惯也一直延续到了现在。
　　在栗树山，还有这样一个故事。吴姓始祖邦龙的幼子忠忎，年轻时候喜欢打猎，是打猎的好手。每次外出打猎，从不会空手回家。他的妻子信佛，每次忠忎打猎回来，妻子总是对他说：“打猎残害生命，还是戒掉为好。”可是忠忎打猎已成嗜好，实在戒不掉。
　　有一天，忠忎去村后梨树坞打猎，坞口爬上去没多少路，就看见一只母猴正抱着两只小猴吃奶，忠忎瞄准母猴的时候，母猴讫哑哑地叫了起来，放下两只小猴流着眼泪拜求饶命。忠忎看到这个场景，整个人呆住了。等母猴带着两只小猴离开后，忠忎想了很多，猴子和人一样，都有生命，生命何其珍贵，而人类竟然凭借着手上有枪就这样残害动物的生命，实在是不应该。回家后，妻子看到忠忎空手而回，表示很震惊。他把所见告诉了妻子，并把枪砸成了两段，表示日后再也不打猎了，要和妻子一起吃素，再也不杀生。
　　对生命的悲悯之情也让忠忎变得越发善良，他专行善事，村里村外都奉他为“饮宾”，也就是称他为绅士。道光丁酉举人何秉谦对忠忎的评价是：“得天者厚寿而康，惟公野德炽以昌庭前窦桂眹芳，以三锡子孙曾绕膝，萃四代于一堂……”。忠忎享年91岁，在那个时候，能有这样的高寿实属少见。