Puede lograr esto ordenando por posición de columna en lugar de nombre de columna .
Para tu caso ORDER BY 1
debería funcionar.
SELECT
things.id
,group_concat(DISTINCT
CASE
WHEN things.name <> 'United States' THEN 'Non-US'
WHEN things.name IS NULL THEN 'Unknown'
ELSE things.name
END
ORDER BY 1 SEPARATOR ', ')
FROM things
GROUP BY things.id