单雄信有勇力，擅长使用马槊（一说能马上用枪）。大业九年（613年），韦城翟让亡命瓦岗，聚众起义，单雄信与徐世勣前往归附，翟让在徐世勣的建议下攻取荥阳、梁郡二郡，瓦岗势力达到万余人。同年，李密助杨玄感反隋失败，投奔瓦岗。 大业十三年（617年），翟让在王伯当与徐世勣的建议下将瓦岗之主的位置让给李密， 李密自称魏公，封翟让为司徒，单雄信为左武候大将军，徐世勣为右武候大将军。 同年七月，李密率军与王世充会战，双方互有胜负。此时翟让部下王儒信劝翟让夺李密之权，但翟让拒绝，李密听到这个消息后，打算除掉翟让。 逢王世充率军进攻，翟让率军出战被王世充击败，李密与单雄信率领精兵前往救援翟让，打退王世充军。 第二天，翟让到李密处摆宴，李密拿一张好弓给翟让，派人趁翟让看弓时将翟让砍杀。徐世勣被乱兵砍伤，单雄信无奈，向李密叩头求饶。 房彦藻以单雄信轻易屈就，劝李密杀了他，但李密爱惜单雄信才能，拒绝这个建议。 李密宽慰单雄信、徐世勣等，让他们分统翟让部众。