Desafortunadamente, lo que pide hacer no es posible con Eloquent.
La consulta de carga ansiosa está completamente separada de la consulta inicial, por lo que los valores recuperados ya no están disponibles.
Sus opciones son hacer una unión en su restricción (que indicó que podría no tener un buen rendimiento), o cargar todos los modelos relacionados y luego ordenarlos/filtrarlos usando PHP en su lugar.