No tiene instalados los controladores MS SQL. Puede verificar esto con phpinfo();
En Linux necesita mssql.so o sybase.so Con debian es apt-get install php5-sybase
Para ventanas echa un vistazo aquí:http:// msdn.microsoft.com/en-US/library/cc793139%28v=SQL.90%29.aspx
Los controladores deben configurarse para que PHP encuentre la función mssql_...
También puede ver las clases de PDO DB, ya que pueden conectarse a cualquier DBS, aunque necesita los controladores instalados.