Puede agrupar condiciones con paréntesis. Cuando está verificando si un campo es igual a otro, desea usar OR . Por ejemplo WHERE a='1' AND (b='123' OR b='234') .
SELECT u.*
FROM rooms AS u
JOIN facilities_r AS fu
ON fu.id_uc = u.id_uc AND (fu.id_fu='4' OR fu.id_fu='3')
WHERE vizibility='1'
GROUP BY id_uc
ORDER BY u_premium desc, id_uc desc
