Instale MySQL primero, ya sea usando binario o Homebrew .
Entonces:
gem install mysql2
O:
gem install ruby-mysql
Solo elige uno y listo.
Editar
En caso de que actualice a MySQL versión 5.6.12 en OS X, mysql2 no podrá compilar. La solución es degradar MySQL como se describe aquí:https://stackoverflow.com/a/17252887/45254
Editar2
En caso de que no quiera tener mysql instalado (tal vez use docker para administrar sus servicios) pero quiera usar mysql2 gem, puede instalar mysql-connector-c
(usando homebrew).