El paso 4 del asistente de configuración de RDS ("Configuración adicional") le permite seleccionar si la base de datos es de acceso público o no (si no lo es, el acceso está limitado a su VPC, independientemente de la configuración de su grupo de seguridad). Me imagino que eso determina si el nombre de host se resuelve en 54.* frente a 172.* .
Es posible que su primera instancia se haya configurado como privada; por lo que sé, esto no se puede cambiar después de la inicialización. Tuve un problema similar y la creación de un nuevo conjunto de instancias para que sea de acceso público me lo resolvió.