Tienes algunas opciones:
SELECT * FROM table WHERE id != 4;
SELECT * FROM table WHERE NOT id = 4;
SELECT * FROM table WHERE id <> 4;
Además, teniendo en cuenta que quizás en el futuro desee agregar/eliminar identificaciones de esta lista, tal vez sería una buena idea otra tabla que enumere las identificaciones que no desea que se puedan seleccionar.
En cuyo caso tendrías:
SELECT * FROM table
WHERE id NOT IN (SELECT id FROM exempt_items_table);