Lo más probable es que su problema de rendimiento se deba a la combinación con la tabla 'term_taxonomy'.
Todas las demás uniones parecen usar la clave principal (donde probablemente tenga índices de trabajo).
Así que mi sugerencia es agregar un índice compuesto en term_taxonomy_id y term_id (o si es necesario:taxonomía ). Así:
CREATE UNIQUE INDEX idx_term_taxonomy_id_taxonomy
ON term_taxonomy( term_taxonomy_id, taxonomy);
Espero que esto te ayude.