He tenido este problema al instalar mysql gem antes, y una solución rápida es simplemente copiar libmysql.dll en su carpeta ruby bin. Hace poco obtuve rieles que se ejecutaban en un servidor WAMP MySQL sin ningún problema, por lo que si esto no lo resuelve, publique un mensaje de error más específico una vez que haya solucionado el problema de dependencia y veré mi configuración.
EDITAR:solo para ser específicos, estoy ejecutando XAMPP.
