榉溪孔氏家庙始建于南宋宝祐二年（1254），清代重建。榉溪孔氏始祖孔端躬原籍山东曲阜阙里，系孔子四十八代孙，自幼聪颖好学，登进士第，宣和三年（1121）授承事郎，任大理寺评事，持身洁白，谳狱恕平，吏畏其威，人怀其惠。宋建炎间，端躬及世袭衍圣公端友遭金乱扈驾南渡，后端友寓居衢州，端躬安家于婺之榉川。宋宝祐二年，理宗追端躬功德，按衢州孔氏家庙恩例，在榉川南岸杏坛园前建孔氏家庙，赐“万世师表”金匾一块。据《榉川孔氏家谱》载：“惟婺祖端躬公，官居大理事评事，乃由台抵婺至永之榉川，见其山高水长，泉香土沃，弃华衮之荣而优游自乐，屋于钟山之下而居焉，此南北之所由分而三派之所自始也。”

　　因孔氏家庙前厅明间木梁上雕着“双龙抢珠”图案，原国家文物局局长吕济民等专家一锤定音，认定：“此乃孔子第三圣地”。2006年5月25日，国务院批准孔氏家庙为全国重点文物保护单位。
　　孔氏家庙与其它建筑追求的“坐北朝南”不同，坐南朝北，意为“面朝着山东祖先”。孔氏家庙占地836.22平方米，整座建筑以中轴线贯穿，由门楼、戏台、天井、前厅、穿堂及两个小天井、后堂等组成，平面呈长方形，是榉溪村民祭祀孔子、祭祖及家族活动的中心。孔氏家庙建造后，在元、明时期由官府负责进行过较大维修，清初家庙毁于兵燹，现存建筑为清代重修，但也保留了宋、元、明不同时期的建筑风格。
　　门楼五开间，通面阔21米，进深4.87米。梁架穿斗式结构，五檩前后用三柱。正门入口呈八字形，正门上方书“孔氏家庙”。正门两边檐柱牛腿雕有人物故事、花篮、狮子等图案，额枋下方雕花草。屋檐下方墙体有人物、动物、花草等壁画。

　　戏台，正方形。长、宽各4.6米，歇山顶，内设天花，牛腿雕封神榜人物故事，雕工精细。顶部天花板画有人物故事图案，还依稀可辨。台上洞门上方曾书“金声”“玉振”字样，洞门隔板画“天官”。戏台檐柱刻有对联“三字经人物备考，一夕话今古奇观”。正脊用花砖叠砌，中间插定风叉。
　　天井平面呈“凹”字形，毛石铺砌，两边置旗杆石座，边上有排水沟。
　　前厅高出门楼0.15米，五开间，通面阔21米，进深8.4米。抬梁式和穿斗式相结合，七檩前后用四柱。明间柱头置栌斗，边缝柱头无斗拱。檐柱牛腿雕有狮子、大象图案，横梁雕有龙、狮、花草等。
　　穿堂，抬梁结构，牛腿雕花草、动物、云纹等图案。两边小天井平面呈长方形，用毛石铺砌。
　　后堂高出前厅0.63米，五开间。通面阔21米，进深8.85米。抬梁式和穿斗式相结合，七檩前后用四柱。造型朴实，柱头无斗拱。明间后部用2米多高木板封顶，作为悬挂孔子及历代祖先画像的场所，上方挂有“如在”匾额一块，两边金柱上刻有对联一副，内容为：“脉有真传尼山发祥燕山育秀，支无异派泗水源深桂水长流”。
　　门楼、前厅、穿堂、后堂地面全用石板铺砌，柱础为鼓形、方形、礩形等，个别柱础是宋、元、明时代的遗物。屋面垫木编，盖阴阳合瓦，硬山顶。

　　家庙附近尚有保存完好的孔若均、孔端躬墓，墓旁有当时从山东孔林带来种植的一株巨大桧木，是浙江省“十大古树”之一。整个孔氏家庙与榉溪村落及周围的山川环境融为一体，很好地体现了中国古代天人合一的哲学思想。对于研究婺州南孔及孔子后裔在南宋以来的迁徙及儒家文化传播具有很高的历史、艺术、科学价值。
　　家庙所在地榉溪村始建于宋建炎年间，现有人口1300多人，是江南最大的孔氏后裔聚居村落。榉溪山川秀雅，风光优美，有著名的“榉溪八景”——燕尖松雪、金钟竹林、山亭夏凉、莲花佳城、岩桥春水、杏园书塾、高望晴云、龙山书社。榉溪村的古民居建筑特色明显，大都为清、民国时期建筑，婺州山地风格。毗邻房舍的山水、田、古塘、古树等自然景观和孔氏家庙、余庆堂、九思堂、白鹤庙、军七公庙等人文景观构成具有儒学特色的榉溪古村落。村内拥有数量众多，能集中反映地方建筑特色的宅院、祠堂、书院、戏台等古建筑；有体现孔子儒家学说的非物质文化遗产——祭孔大典。2013年9月，榉溪村被公布为第二批中国传统村落；2014年3月，被公布为第六批中国历史文化名村。