No usa SQLAlchemy en lugar de MySQLdb; usa SQLAlchemy para acceder a algo como MySQLdb, oursql (otro controlador de MySQL que escuché es mejor y tiene mejor rendimiento), el módulo sqlite3, psycopg2 o cualquier otro controlador de base de datos que esté usando.
Un ORM (como SQLAlchemy) ayuda a abstraer los detalles de la base de datos que está utilizando. Esto le permite mantenerse alejado de los detalles fangosos del sistema de base de datos que está utilizando, evitando la posibilidad de errores algunas veces (e introduciendo la posibilidad de otras) y haciendo que la portabilidad sea trivial (al menos en teoría).