Sí. Debe usar el formulario "Buscado" en lugar del formulario "Simple" del CASE
expresión
SELECT CASE
WHEN c.Number IN ( '1121231', '31242323' ) THEN 1
WHEN c.Number IN ( '234523', '2342423' ) THEN 2
END AS Test
FROM tblClient c