Error de sintaxis de PostgreSQL en o cerca de 'unión'

Veo lo que estaba mal. Tienes que hacer el pedido al final de la consulta, y solo al final. Me dio error porque pensaba que la consulta había terminado.

Select <column1>
      ,<column2>
      ,<aggregate column3>
From <Table1> 
<Some joins in there>
Where <conditions>
group by <column2>, <column1>

union

select <column2>
      ,<column3>
      ,<aggregate column4>
From <Table2>
<Some more joins here>
Where <conditions>
group by <column2>, <column3>
order by <column2>

Eso hizo el truco.