Debe configurar la codificación del cliente de Psycopg2. Consulte la documentación de SQLAlchemy :
El client_encoding
El parámetro se puede especificar como una cadena de consulta en la URL del motor:
postgresql://user:[email protected]/dbname?client_encoding=utf8