开皇元年（581年），隋文帝建立隋朝，命贺若弼出镇广陵（一作寿州）。来护儿便投奔隋军，经常渡江侦察，积功升任大都督。后来，来护儿又击破陈朝将领曾永，加授仪同三司。 开皇九年（589年），来护儿随军平定陈朝，因功进位上开府。 开皇十年（590年），江南豪强高智慧起兵反隋。杨素出任行军总管，率军赴江南平叛。当时，叛军屯据浙江（今钱塘江）东岸，营垒连绵百余里，战船布满江面。来护儿时为子总管，向杨素献前后夹击之计。 他亲率数百艘轻船偷渡浙江，以奇兵突袭敌后，火烧叛军营垒。杨素则趁机从正面进攻，大破叛军。高智慧兵败逃入海中，被来护儿一直追击到闽中一带，最终被彻底镇压。战后，来护儿因功进位大将军，升任泉州刺史，封襄阳县公。 后来，来护儿讨平高智慧的余党盛道延，改任建州总管。他又与蒲山公李宽讨平婺州汪文进叛乱，进位柱国，封永宁郡公。隋文帝为了嘉奖来护儿的功劳，特派画工绘下他的画像。