荷亭书院明弘治十五年(1502)，江西道监察御史卢格，谢病还乡，于卢宅居室东（今肃雍堂前甬道两边）凿池引水植荷，筑亭三间，创荷亭书院，设帐收徒讲学，教族内子弟。卢格去世后，书院不再设帐受徒，但荷亭书院之名一直保留。
现存荷亭书院是 1999年按原状重修，其建筑为四合院布局，前三进，中堂前有水池一方，为初创时遗迹。
创办人卢格（1450—1516） ，字正夫，号荷亭，东阳卢宅人。明成化辛丑年 （1481） 进士。历任贵溪知卢宅东荷亭书院内景钩沉县、监察御史，按部广海，以母病辞归，开荷亭书院，闭户数十年，自成一家之言。时枫山章懋、南山潘府、齐山王汶常做客卢宅，卢格与其讨论经学，覃思极研孔孟之道，久而成集，集为《荷亭辩论》 ，收入《四库全书》 。
卢格邃学卓识，空所依傍，五经全史、诸子百氏，莫不覃思极研 ，得其精奥。卢格认为，不论是圣贤先哲，还是被人奉为圭臬的经典，后人本着求真务实的原则，大胆地摆脱传统束缚，对学术思想、内容、真伪、价值可重新评估，不能唯古是从。这样，才能“建功立业于当时” “明理学于来世” ，真正发扬光大圣贤先哲的嘉言懿行。为了纠偏理正，卢格用一问一答的形式，将自己探究义理的心得，编撰成《荷亭辨论》八卷。卢格特别对当时占统治地位的朱熹学术思想，无所畏惧地提出自己的新见解，大胆指出宋元理学的不足，击中程朱理学空疏迂阔的要害，启明代学者怀疑程朱理学、非议程朱理学之先河，为继之而起的王阳明心学奠定了理论准备。
文学家朱彝尊称赞道，虽然卢格的思想与程朱理学有所不同，但其阐述的学术见解，却是“朱子也无不心服” 。阮元则推崇卢格“不倚傍注疏，不崇尚陆（九渊）王（阳明）” ，自己反复推敲后折中其是非， “多发前人所未发” 。