秦朝将灭亡时，由南海郡尉赵佗起兵兼并桂林郡和象郡，赵佗向西汉皇帝刘邦称臣，南越国成为西汉的一个“外臣”。后来，南越国与西汉交恶，赵佗开始称帝，其后，闽越、夜郎、同师等国皆臣属于南越国，南越国的势力影响范围扩张至顶峰。再后来，南越国与西汉修好，赵佗再次向西汉皇帝汉文帝称臣。到了第四代的时候，南越国第四代君主赵兴因向西汉请求“内属”，而和丞相吕嘉发生争议。吕嘉杀死赵兴，立其兄赵建德为新君主，并与西汉对峙。