No, una conexión MySQL no utilizada no consumirá mucho (si lo hay) tiempo de CPU, aunque ocupará un poco de memoria para manejar los diversos bits de 'estado' que deben mantenerse por conexión.
Sin embargo, tenga en cuenta que el protocolo de conexión de MySQL es bastante "ligero". Mantener un grupo de conexiones persistentes suena atractivo, pero el costo de establecer una nueva conexión ya es muy bajo de todos modos.
Las conexiones persistentes son una solución rápida para resolver la sobrecarga de conexión, pero traen problemas. El peor de los casos es que las conexiones abandonadas pueden dejar las conexiones en un estado indeterminado (transacciones en curso, variables/configuraciones de servidor modificadas, etc.) y es muy fácil crear interbloqueos involuntarios a menos que tenga mucho cuidado.