崇祯七年，他在宣府击杀了满清（后金）图鲁什，崇祯十四年在锦州，斩杀了清军巴图鲁穆克谭。

但在松锦之战明军败没后，随同弟弟祖大寿降了清。

也正是他作战勇猛，被多尔衮看上了，隶属汉军镶黄旗。

顺治二年（1645）六月，多尔衮命祖大弼领八千人，进攻浙江湖州，当时湖州守将魏耕，率将士守城十余日，最终不敌祖大弼。

立下战功之后，多尔衮就加授了祖大弼为散秩内大臣。