公派留学的管理和组织实施主要由以下几个部门和机构负责：

1. 教育部：作为国家公派留学的主要主管机关，教育部负责国家公派留学政策的制定以及相关项目的组织和管理工作。

教育部还会委托相应的机构，如国家留学基金管理委员会（CSC），来实际操作国家公派留学的具体事务。

2. 国家留学基金管理委员会（CSC）：这是直属于教育部的非盈利性事业法人单位，负责国家公派留学工作的具体实施。CSC会根据国家的法律法规和相关方针政策，负责中国公民出国留学和外国公民来华留学的组织、资助和管理。

3. 其他相关部门：除了教育部和国家留学基金管理委员会之外，还有其他一些官方机构和事业单位参与到公派留学的管理和服务工作中。例如，人事教育局可能负责特定单位的公派出国留学工作，而中国科学院的人事教育局则是中国科学院各类在职人员公派出国留学工作的主管部门。综上所述，公派留学的归口管理部门主要是教育部和国家留学基金管理委员会，他们共同负责国家层面的公派留学政策和项目的组织和管理工作。同时，各个高校和研究机构也会根据自己的情况设立相应的工作机制和服务体系来支持本单位人才的公派留学需求。