Resulta que CUALQUIER palabra clave de Postgres tiene un lado y no se puede usar simétricamente.
Por lo tanto, el código de trabajo es:
SELECT items.id, items.title, ARRAY_AGG(tags.tag_id)
FROM items
INNER JOIN tags ON (tag.tag_id=items.id)
GROUP BY items.id
HAVING 27 = ANY(ARRAY_AGG(tags.tag_id))