Creo que necesita enumerar los valores, y las variables son la forma más sencilla. Luego, una combinación adicional le brinda la información que necesita para ordenar por los nombres más frecuentes en la tabla:
select t.*
from (select t.*,
(@rn := if(@n = name, @rn + 1,
if(@rn := name, 1, 1)
)
) as rn
from t cross join
(select @n := '', @rn := 0
order by name
) t join
(select name, count(*) as cnt
from t
group by name
) tn
on t.name = tn.name
where rn <= 4
order by cnt desc, name;