根据中国政府相关规定，持有香港特别行政区临时身份证的公民出国需根据目的地国家或地区的签证政策办理签证。

具体情况视目的地国家或地区的签证政策而定，一般来说，持有临时身份证的香港公民需要根据目的地国家或地区的要求，可能需要办理相应的签证。因此，并非所有国家或地区对持有临时身份证的香港公民免签证，需要根据具体情况进行办理。