En Ubuntu se recomienda utilizar el repositorio de distribuciones. Así que instalar python-mysqldb debería ser sencillo:
sudo apt-get install python-mysqldb
Si realmente desea usar pip para instalar, que es como se mencionó anteriormente, no es la ruta sugerida pero es posible, eche un vistazo a esta pregunta y respuesta anteriores:pip install mysql-python falla con EnvironmentError:mysql_config not found
Aquí hay una guía muy completa del desarrollador:http://mysql-python.blogspot.no/2012/11/es-mysqldb-difícil-de-instalar.html
Para obtener todos los requisitos previos para que python-mysqld lo instale usando pip (que querrá hacer si está usando virtualenv), ejecute esto:
sudo apt-get install build-essential python-dev libmysqlclient-dev