在归隐期间，严嵩还广结名流，跟李梦阳、王守仁、何景明、王廷相等人都有交往。这些人不仅学问渊博，而且还都曾是敢与阉党作斗争的仁人志士，颇有名望。严嵩与他们把酒论诗，剖经析义，既提高了自身的文学声望，也扩大了社会影响。正德七年（1512），严嵩还应袁州府太守之请，修《袁州府志》。严嵩经过三年努力，于正德九年（1514）将《袁州府志》纂修完毕。该志体例颇有独到之处，严嵩因之声望日隆。