SQL Query continúa ejecutándose durante mucho tiempo si no se encuentra el término de búsqueda

Ya puedes simplificar tu consulta así;) :

int start=page * recordsInPage;

var inner = (from user in db.Users
            where user.Name.Contains(name) && !user.Deleted && user.AppearInSearch
            orderby user.Verified descending
            select  new
                   {
                     Name = user.Name,
                     Verified = user.Verified,
                     PhotoURL = user.PhotoURL,
                     UserID = user.Id,
                     Subdomain = user.Subdomain,
                     Deleted=user.Deleted,
                     AppearInSearch = user.AppearInSearch
                   }
             ).Skip(start).Take(recordsInPage);

return await inner.ToListAsync();

Si tiene un problema de rendimiento, intente crear un procedimiento almacenado con su SQL y utilícelo con la entidad Framework.