La pregunta es realmente sobre cómo normalizar los datos cuando espera que haya duplicados. Y luego evite las identificaciones "quemadas".
Paso 1 INSERTs
cualquier nuevo filas, creando nuevas identificaciones auto_inc.
El paso 2 retira los id en masa.
Tenga en cuenta que el trabajo se realiza mejor con autocommit=ON y fuera de la transacción principal que está cargando los datos. Esto evita una causa adicional para quemar identificaciones, a saber, posibles reversiones.