Supongo que está usando ODBC aquí porque no lo ha indicado exactamente y normalmente se usa...
No, debe usar una nueva conexión cada vez, esta es la práctica estándar que Microsoft recomienda. Si está utilizando ODBC, etc., entonces Windows administra estas conexiones, las almacena en caché para su reutilización y facilita la administración de la vida útil de las cosas.
Si usa una conexión estática, es posible que la deseche antes de tiempo o que la haya cerrado sin saberlo. En general, es un poco más incómodo y una optimización prematura.
Consulte OdbcConnection para más información.