¡Acabo de encontrar una manera! ¡Era más simple de lo que pensaba! Sin escribir TestRunners personalizados, etc.
La respuesta está en pytest-django docs en el Capítulo 5 -> Ejemplos -> Usar una base de datos de solo lectura.
Echa un vistazo a otros ejemplos, que son realmente útiles en tales situaciones.
¡Gracias!