1917年在其父张作霖军中服役。

1919年就读于东三省陆军讲武堂，在校内结识战术教官郭松龄，两人成为忘年之交。

1920年后以炮兵科第一名毕业，初任东北军第三混成旅第二团团长，负责保卫张作霖人身安全，以及奉天维持治安，他将郭松龄一同带至奉军。