华林胡氏在胡直孺手里经历了由最鼎盛而致离散的时期。胡直孺曾将聚居山下的家族搬到浮云山上的华林书院，并在那里建立了一座“迢遥半市”的宅第。在此聚成的胡氏子孙达五百余口。为便于管理，吃饭分为男、女餐厅。一日三餐，以击鼓为号，鼓声一响，吃饭的人都云集各自的餐厅，一点都不会混乱。华林胡氏自此达到了最辉煌的鼎盛时期。此后，随着胡氏子孙仕途各异，家族逐渐分散开来，最后不得不将山上的财产交给浮云宫管理。
　　整个宋朝，华林胡氏曾走出了五十五名进士。宋端拱二年（989），胡克顺、胡用之叔侄同榜进士及第，成为当时的美谈。有诗赞曰：“四海二雄今绝少，一门双第古无多。”宋景德二年（1005），胡用时、胡顺之、胡用礼兄弟三人又同榜及第。看来胡家的应试教育做得不错，科举佳话自此享誉天下。
　　在胡氏家族众多人物中，载入《宋史》的人物有胡仲尧、胡仲容、胡克顺、胡用庄、胡用舟、胡直孺等。这里面最有才能、最受朝廷器重的人物是胡直孺。▲