Tienes que usar el #>>
operador en lugar de ->>
cuando el operando correcto es una ruta json. Prueba esto:
SELECT json_agg(content) as content FROM test GROUP BY content #>> '{a,b}';
Rendimientos:
content
------------------------------------
[{"a": {"c": 1}}]
[{"a": {"b": 2}}]
[{"a": {"b": 1}}, {"a": {"b": 1}}]
(3 rows)