TypeError:no se puede escapar de psycopg2.extensions.Binary to binary

Transmitir los bytes del archivo a psycopg2.Binary es innecesario Ocurrirá automáticamente cuando SQLAlchemy envíe la declaración y los valores a la base de datos (usando el conector DBAPI, que sería psycopg2 en este caso).

Algo como

with open(fn, 'rb') as f:
    bytes_ = f.read()
    instance = MyModel(document1=bytes_)
    session.add(instance)
    session.commit() 

funciona tanto en Python2 como en Python3, SQLAlchemy 1.3.x, generando esta salida del motor:

2020-09-06 10:39:27,775 INFO sqlalchemy.engine.base.Engine INSERT INTO mytable (document1) VALUES (%(document1)s) RETURNING mytable.id
2020-09-06 10:39:27,775 INFO sqlalchemy.engine.base.Engine {'document1': <psycopg2.extensions.Binary object at 0x7f8ea012ff60>}