大夫第是明代万历举人蔡立爱故宅，蔡立爱官至奉直大夫，故名大夫第。后作西巷五房小宗祠，坐北朝南，建筑面积563平米。穿斗式兼抬梁式木结构，木料粗大，花式古朴，檐柱用多层斗拱承托，出挑深远，大厅高大宽敞，颇有官邸气派。

隔壁即是布政衙，是明代官邸（明朝进士、浙江布政司左参政蔡立敬故宅），建筑面积498平米。室内布局四方四正，视野开阔，老式四合院的画面感极强。