No necesita comodines en REPLACE - simplemente encuentra la cadena que ingresaste para el segundo argumento, por lo que lo siguiente debería funcionar:
UPDATE dbo.xxx
SET Value = REPLACE(Value, '123', '')
WHERE ID <=4
Si la columna a reemplazar es tipo text o ntext necesitas enviarlo a nvarchar
UPDATE dbo.xxx
SET Value = REPLACE(CAST(Value as nVarchar(4000)), '123', '')
WHERE ID <=4
