por alguna razón (tal vez porque estoy usando rubygems 1.3.7 o instalando mysql-2.8.1)
sudo gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
no funcionó para mí, así que después de echar un vistazo a gems/mysql-2.8.1/ext/mysql_api/extconf.rb, descubrí que extconf.rb busca mysql_config en la RUTA, así que lo intenté
export PATH=$PATH:/usr/local/mysql/bin
sudo gem install mysql
e hizo el trabajo