La forma más sencilla de hacerlo, si no está atado a un marco en particular, es con un archivo de propiedades. Eche un vistazo a la última parte de la respuesta aceptada para esta pregunta (no el bit XML para su caso).
Dependiendo de si está utilizando un contenedor de servlet o similar (por ejemplo, Tomcat, Glassfish, etc.), también puede considerar usar la configuración de conexión de ese contenedor y la agrupación de conexiones, que puede ser más simple que reciclar sus propias conexiones.
Pero si solo está tratando de abrirse camino en Java y esto es para que aprenda sobre JDBC, manténgalo simple inicialmente y simplemente lea sus propiedades desde un archivo db.properties en su classpath.
