MySQL:seleccione 5 filas antes y después de una fila específica

Usando union all y las subconsultas para limitar los registros deberían hacerlo:

select * from  users where id = 5
union all (
  select * from users 
  where score <  (select score from users where id = 5) 
  order by score desc limit 2
) 
union all (
  select * from users 
  where score > (select score from users where id = 5) 
  order by score asc limit 2
) 
order by score

Fiddle SQL de muestra

Editar:creo que un mejor método es numerar las filas según el puntaje y luego seleccionar las filas con el número -2 y +2 de las filas de id 5:

select id, name, score 
from (select 
      t.*, @rownum1 := @rownum1 + 1 as rank
      from users t, (select @rownum1 := 0) r
      order by score
     ) a,
     (select rank from (
        select t.*, 
        @rownum := @rownum + 1 as rank
        from users t, (select @rownum := 0) r
        order by score
     ) t
      where id = 5
   ) b
where b.rank between a.rank -2 and a.rank+2
order by score;    

Fiddle SQL de ejemplo