El mensaje que estás recibiendo es un claro indicio de que te falta algo para la correcta instalación de esa gema:
No se pudo crear el Makefile debido a alguna razón, probablemente falta de bibliotecas y/o encabezados necesarios. Consulte el archivo mkmf.log para obtener más detalles. Es posible que necesite opciones de configuración.
No hay una versión nativa de Windows de la última versión de pg (0.10.0) lanzada ayer, pero si instala 0.9.0, debería instalar los archivos binarios sin problemas.
De todos modos, si desea instalar la gema, necesita un entorno de compilación instalado. Si está utilizando RubyInstaller, entonces necesita el DevKit
La instalación de la gema solo requerirá que proporcione opciones adicionales para la instalación de la gema (como --with-pg-dir )
subst X: "C:\Program Files (x86)\PostgreSQL\8.3"
gem install pg -- --with-pg-dir=X:
subst X: /D
