No hay opción para esto en MariaDB y MySQL. Me encontré con el mismo problema que usted hace algunos meses, busqué mucho y finalmente lo resolví parcialmente creando un área de almacenamiento especial en el NAS para los conjuntos de datos temporales.
Cree una carpeta en su NAS o una partición en un HDD interno, por definición tendrá un tamaño limitado, luego móntela y en mysql ini, asigne el almacenamiento temporal a esta unidad:(elija Windows/Linux)
tmpdir="mnt/DBtmp/"
tmpdir="T:\"
El servicio mysql debe reiniciarse después de este cambio.
Con este enfoque, una vez que la unidad está llena, aún tiene "problemas extraños" con las consultas en el disco, pero los demás problemas desaparecen.
