Estás haciendo un GROUP BY parcial que no funciona de la manera que esperas. Aquí hay una consulta que produce los resultados deseados:
SELECT MAX(id) AS MAXID, user_id
FROM `table`
GROUP BY user_id
ORDER BY MAXID DESC
LIMIT 4
El comportamiento es explicado aquí :
