根据香港劳工法例，雇主不可以随便辞退外劳。

雇主在解雇外劳时必须遵守合同条款和劳工法例的规定。雇主需要提供合理的解雇理由，并且过程中需要进行公平和合理的处理，包括提前通知外劳、支付相应的解雇补偿和提供法定的通知期。任何违法的解雇行为都将受到法律制裁。因此，香港外劳雇主不可以随便辞退外劳，必须依法进行解雇程序。