Los sistemas de archivos están destinados a los archivos, ¿por qué no? ¿Lo guardas allí?
En MySQL será mucho más lento; estás diciendo 'no ha sido terriblemente rápido'. Esto crecerá exponencialmente si aumenta la carga. También es probable que deba cargar todo el BLOB en la memoria en PHP (si ese es el lenguaje de interfaz que está utilizando), lo que también causa problemas.
Una vez que haya hecho esto, notará especialmente que aumenta el uso de la memoria y el tiempo que tarda antes de que el mp3 comience a descargarse/reproducirse.