Mysql group_concat limita las filas en la agrupación

MySQL no hace que este tipo de consulta sea fácil, pero una solución (ciertamente no muy bonita) es usar una variable para dar a cada fila un número de secuencia por destino y simplemente agrupar por el número entero de la fila dividido por 2 para obtener dos números en cada grupo;

SELECT dest, GROUP_CONCAT(port ORDER BY rank) ports
FROM (
  SELECT dest, port, ( 
      CASE dest WHEN @curDest 
                THEN @curRow := @curRow + 1 
                ELSE @curRow := 1 AND @curDest := dest END) rank
  FROM tb_port a
  JOIN tb_rule c ON a.id = c.id_port
  JOIN tb_dest b ON b.id = c.id_dest, 
    (SELECT @curRow := 0, @curDest := '') r
  ORDER BY dest
) z
GROUP BY FLOOR(rank/2),dest
ORDER BY dest, MIN(rank)

Un SQLfiddle para probar .