Utilice la función UNIX_TIMESTAMP.
SELECT (UNIX_TIMESTAMP(mydate)*1000) FROM...
UNIX_TIMESTAMP le dará segundos y necesita multiplicar por 1000 para obtener milisegundos.
Para volver a convertir, use la función FROM_UNIXTIME().
SELECT FROM_UNIXTIME(date_in_milliseconds/1000) FROM ...
Nuevamente, debe dividir por 1000 para llegar a segundos antes de usar la función.