He estado buscando una solución en la web, pero no pude encontrar ninguna, así que esto es lo que se nos ocurrió (puede haber mejores formas, pero al menos este es un comienzo si alguien más se encuentra con esto).
Especifique el dtype parámetro en to_sql .
Pasamos de:df.to_sql(table_name, analytics_db) a df.to_sql(table_name, analytics_db, dtype={'name_of_json_column_in_source_table': sqlalchemy.types.JSON}) y simplemente funciona.
