元鼎五年(前112)秋，武帝令卫尉路博德为伏波将军，出桂阳，下湟水；主爵都尉杨仆为楼船将军，出豫章(今江西南昌市一带),下横浦(今广东北江东源浈水);归义越侯二人为戈船、下濑将军出零陵，下离水、抵苍梧；驰义侯率巴蜀罪人、发夜郎兵，下群柯江；各路军都在番禹集会。
元鼎六年(前111)冬，楼船将军带领数万精兵与伏波将军所带千余人会合，至番禺。南越王建德和丞相吕嘉守城。楼船将军居东南面，伏彼居西北面。楼船攻破越人，纵火烧城；伏波将军遗使招降者，赐印，复令相抬，到天明，城中皆降伏波。
建德、吕嘉逃亡入海。伏波将军遣人追赶，校尉司马苏弘得南越王建德被封为海常侯；南越郎官都稽得南越相吕嘉封为临蔡侯；苍梧王赵光与南越王同姓听说汉兵至，降，封随桃侯；越揭阳令史定降汉，封为安道侯；越将毕取率军降，为瞭侯；越桂林部监居翁谕告瓯骆四十万口降，封湘城侯。戈船、下濑将军及驰义侯等所统军未到，而南越已平。伏波将军增加了封户；楼船将军因攻克坚固防守被封为将梁侯。