laravel pertenece a muchos filtro

Deberías usar whereDoesntHave() para seleccionar modelos que no tienen un modelo relacionado que cumpla ciertos criterios:

$users = User::whereDoesntHave('roles', function($q){
    $q->where('role_id', 5);
})->get();