郑大仕的祖先，是荥阳郑氏七房中，第六房郑连山的后代。连山以骁勇而闻名天下，长孙郑先护也是当时闻人。郑先护的儿子郑伟，在北魏时投降了梁朝，而后在魏末回还。北魏分裂，郑伟起兵响应西魏，郑氏族人纷纷跟随，其中有族人郑顶和郑荣业两人，祖上本是连山的奴仆，因功勋而被纳入族谱，成为郑氏族人。