Me encontré con este problema con un contenedor de Debian. Lo que solucionó fue instalar cada paquete con comandos separados. Así que en lugar de
RUN apt-get install -y python-pip libmysqlclient-dev
hacer
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev
