Ordenar por no trabajar en columnas calculadas si el orden se aplica en varias columnas

Elimina esos paréntesis alrededor de las columnas para el group by :

Select *, CASE WHEN age>18 then 'Adult' ELSE 'MINOR' end  as category 
from student 
order by category, name;

Ejemplo en línea:https://rextester.com/BHQ36816