Primero, agregue una cláusula order by al final:
ORDER BY category_id
Si category_id es una cadena, debe tratarla como un número entero. Hay algunas maneras de hacer esto. Yo suelo añadir un cero. También puedes lanzarlo.
ORDER BY category_id + 0