No puede tener una combinación en una declaración de actualización. debería ser
update articles
set num_comments =
(select count (*) from comments
where comments.article_id = articles.id)
Esto actualizará toda la tabla de artículos, que puede no ser lo que desea. Si tiene la intención de actualizar solo un artículo, agregue una cláusula 'dónde' después de la subconsulta.