sql >> Base de Datos >  >> RDS >> Mysql

Configuración de conexión de Kafka para enviar registros desde Aurora usando AWS MSK

No. Puede habilitar esquemas en registros json. La fuente JDBC puede crearlos por usted basado en la información de la tabla

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Si desea utilizar el registro de esquemas, debe utilizar kafkastore.bootstrap.servers .con la dirección de Kafka, no de Zookeeper. Así que elimine kafkastore.connection.url

lea los documentos para explicaciones de todas las propiedades

No importa El tema de esquemas se crea cuando el Registro se inicia por primera vez

Sí (ignorando el espacio de almacenamiento dinámico de JVM disponible). Nuevamente, esto se detalla en la documentación de Kafka Connect.

Usando el modo independiente, primero pasa la configuración del trabajador de conexión, luego hasta N propiedades del conector en un comando

Al usar el modo distribuido, usa la API REST de Kafka Connect

https://docs.confluent.io/current/connect/managing/configuring .html

En primer lugar, eso es para Sqlite, no para Mysql/Postgres. No necesita usar los archivos de inicio rápido, solo están ahí como referencia

De nuevo, todas las propiedades están bien documentadas

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Aquí hay más información sobre cómo puede depurar eso

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-conector/

Como se indicó anteriormente, personalmente sugeriría usar Debezium/CDC cuando sea posible

Conector Debezium para RDS Aurora