MySQL Group By con el número N superior de cada tipo

SELECT  mo.Letter, md.Rank
FROM    (
        SELECT  DISTINCT letter
        FROM    mytable
        ) mo
JOIN    mytable md
ON      md.Letter >= mo.Letter
        AND md.Letter <= mo.Letter
        AND Rank <=
        COALESCE
                (
                (
                SELECT  Rank
                FROM    mytable mi
                WHERE   mi.letter = mo.letter
                ORDER BY
                        Rank
                LIMIT 1, 1
                ),
                0xFFFFFFFF
                )

Debe tener un índice compuesto en (Letter, Rank) (en este orden)

Tenga en cuenta esta construcción:

md.Letter >= mo.Letter
AND md.Letter <= mo.Letter

en lugar de meramente md.Letter = mo.Letter

Obliga a Range checked for each record que es más eficiente.

Ver este artículo en mi blog:

• Muestreo avanzado de filas

para más detalles sobre esto.