Sí, su cadena de conexión debe definirse en <connectionStrings>
de web.config precisamente por este motivo:para que pueda cambiar fácilmente la configuración para que apunte a un entorno de base de datos diferente al implementar su aplicación en un entorno diferente, sin necesidad de volver a compilar su código.