Cómo importar un archivo XML grande (~10 GB) en PostgreSQL

1. Convierta un archivo XML en un archivo CSV. Además, al convertirlo, divídalo en partes de 100 Mb-1 Gb para facilitar el procesamiento por lotes.

2. Cree la tabla con las columnas que definió en el archivo CSV.

3. Cargue los archivos en Postgres con COPY comando. Es la forma más rápida de cargar una gran cantidad de datos que conozco. Por cierto, también podría hacerse desde Java, con CopyManager clase.

Dependiendo del tipo de consultas que realice, le gustará crear índices:

1. Será la parte que más tiempo consuma. Sin embargo, puede usar CREAR ÍNDICE CONCURRENTEMENTE . Le permitirá trabajar con su tabla mientras se crea el índice en segundo plano.

2. Si repite el proceso de importación y ya ha creado la tabla y los índices, elimine los índices antes de ejecutar el comando COPY y vuelva a crearlos más tarde. Te ahorrará mucho tiempo.

3. Si aún no está satisfecho con la velocidad de sus consultas o la velocidad de creación de índices, tal vez sea una buena idea usar Clickhouse en cambio. Sin embargo, depende del tipo de consultas que realice.