Si desea que los datos se conviertan automáticamente, debe especificar el juego de caracteres cuando creas el motor:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Configuración de use_unicode
solo no le dirá a sqlalchemy qué juego de caracteres usar.