Ejemplo de hacer una combinación basada en FIND_IN_SET
SELECT *
FROM imap_emails
INNER JOIN customers
ON FIND_IN_SET(customers.email, imap_emails.to) > 0
No dices cómo quieres reducir esto (es decir, si un correo electrónico usa 2 direcciones de correo electrónico, quieres recuperar ambos correos electrónicos), por lo que no puedes agregar mucho en esta etapa.