Debería considerar crear un grupo de conexiones y obtener una conexión de este grupo para su trabajo relacionado con la base de datos.
Los siguientes dos enlaces pueden ser de su interés:
Agrupación de conexiones
Apache Commons DBCP
Editar Gracias a @MJB por señalar esto :
c3p0
es otro que es bastante bueno.
BoneCP
es otro
Pero al final del día, el punto simple es este:debe implementar la agrupación de conexiones. Cuál elija es totalmente su decisión y se basa en sus requisitos.