MySQL simplemente está convirtiendo cadenas en números lo mejor que puede, para que pueda hacer la operación matemática en ellos. En este caso, solo se eliminan todos los dos puntos, guiones y espacios no numéricos.
Prueba esto:
SELECT (20110413155959 - 20110413160000) AS dates;
Tus fechas, sin todas las cosas que impiden que sean números:el resultado es -4041
