Tabla de clasificación SQL basada en dos campos intercambiables

Tu pregunta es un poco vaga. Supongo que quieres esto:

SELECT *
FROM   tbl
ORDER  BY (GREATEST(source, recipient), LEAST(source, recipient), "time";

El manual sobre GREATEST y LEAST .