Para mostrar productos por categoría y excluir productos específicos de la colección relacionada, puede consultar la categoría del producto y cargar productos relacionados usando with
pero elimine su producto deseado de la colección usando un método de cierre
$product = 10;
$category = Category::with(['products'=> function($query) use($product) {
$query->where('id','!=', $prodcut);
}])
->whereHas('products', function (Builder $query) use($product) {
$query->where('id', $product);
})->get();