如果您想要退回香港大学的留位费，需要遵循学校的退款政策和流程。

首先，您需要联系学校负责留学生事务的部门或者国际学生办公室，向他们咨询关于留位费退款的具体流程和要求。通常情况下，您可能需要填写退款申请表格，并提供相关的证明文件。一旦学校审核通过，他们会将留位费退还给您。请务必按照学校的要求和时间表进行操作，以确保顺利退款。