¿Cómo se convierten segundos (o milisegundos) en una marca de tiempo (o simplemente una cadena que parece una fecha) en mySql?

Si está trabajando con segundos desde 1970 (es decir, marcas de tiempo de Unix, entonces FROM_UNIXTIME() ) bien podría ser lo que quieres.

FROM_UNIXTIME Devuelve una representación de unix_timestamp argumento como valor en 'YYYY-MM-DD HH:MM:SS' o YYYYMMDDHHMMSS.uuuuuu formato, dependiendo de si la función se usa en un contexto de cadena o numérico.
El valor se expresa en la zona horaria actual. unix_timestamp es un valor de marca de tiempo interno como el producido por UNIX_TIMESTAMP() función.