1920年，哈工大建校，校名为“哈尔滨中俄工业学校”。

哈尔滨工业大学的创建，与帝俄在中国建设中东铁路（抗日战争胜利后，改称“中长铁路”）有直接关系，建校的宗旨是为中东铁路培养工程技术人才，学校按俄国的教育模式办学。

1920年10月17日，学校举行开学典礼。当时设铁路建设和电气机械工程两个科。首届三个班共招收103名学生，实行学分制，学制四年，一律用俄语教学。 直至一九三五年，日本用物资换取了中东铁路苏联一方的产权，学校的教学活动开始向日本教育模式过渡。

1922年4月2日，学校改名“中俄工业大学校”。学校由四年改为五年，原设铁路建设和电气机械工程两个科分别改为铁路建筑系和机电工程系。毕业生经考试委员会答辩合格，授予工程师称号。

1924年10月，哈尔滨中俄工业大学校有了首届毕业生。这一年，铁路建筑系22名毕业生都顺利毕业，获得了工程师称号。次年，机电工程系有了第一期毕业生，共25人，获得工程师称号。

1928年2月4日，学校校名改为“东省特区工业大学校”。学校隶属关系在这一年发生了变化，改由中华民国东省特区领导，校名改为东省特区工业大学校，东省特区行政长官张寰湘将军担任校理事会主席，东北政府国民教育部总长刘哲任校长，为学校历史上第一位中国校长。

1928年10月20日，学校校名正式定名为“哈尔滨工业大学”。学校正式定名为哈尔滨工业大学后，由中苏双方共同管理，双方按对等原则，共同派人组成理事会，双方各派5名代表。中方由张学良将军任校理事会主席。法政学院和商学院此时同时并入哈尔滨工业大学。