Puede usar SQL literal en su filtro, vea aquí:http://www.sqlalchemy.org/docs/05/ormtutorial.html?highlight=text#using-literal-sql
Por ejemplo:
clause = "SQRT(POW(69.1 * (latitude - :lat),2) + POW(53.0 * (longitude - :long),2)) < 5"
query = meta.Session.query(User).filter(clause).params(lat=my_latitude, long=my_longitude)
