Esto es lo que hace Management Studio para cambiar el modo de autenticación de mixto a solo Windows:
EXEC xp_instance_regwrite
N'HKEY_LOCAL_MACHINE',
N'Software\Microsoft\MSSQLServer\MSSQLServer',
N'LoginMode',
REG_DWORD,
1;
Y de Windows solo de vuelta a mixto:
EXEC xp_instance_regwrite
N'HKEY_LOCAL_MACHINE',
N'Software\Microsoft\MSSQLServer\MSSQLServer',
N'LoginMode',
REG_DWORD,
2; -- only difference is right here
Puede llamar al mismo comando desde varias fuentes que pueden conectarse a SQL Server, como SQLCMD, PowerShell, VBScript, C#, etc. O puede iniciar sesión directamente en el servidor, navegar hasta esa clave de registro y cambiar el valor manualmente (como @ marc_s sugirió).
Tenga en cuenta que en todos los casos debe reiniciar SQL Server para que los cambios surtan efecto. Puede ver las primeras entradas en el nuevo registro de errores al reiniciar para validar que el modo de autenticación es correcto. Dirá (para mixto):
date/time Server Authentication Mode is MIXED.