出国留学最怕的部门通常是教育行政部门。这是因为教育行政部门负责监管教育机构、留学中介以及其他教育机构的行为，确保它们遵守国家的教育法规和政策。留学中介在提供留学服务时，必须符合教育行政部门的规定，包括但不限于留学项目的合法性、教育质量保障、收费透明度等方面。

如果留学中介未能遵守相关规定，可能会面临教育行政部门的调查、处罚或者被吊销营业执照等后果。因此，对于留学生和留学中介来说，与教育行政部门的沟通和合规性是非常重要的。