Me he encontrado con una situación similar. Parece que el tamaño mínimo y máximo del grupo no funciona cuando se usan instancias ec2 con equilibrio de carga que ejecutan .net core. En mi caso, está accediendo a aurora mysql.
El problema parece estar asociado con tener diferentes cadenas de conexión con diferentes configuraciones mínimas y máximas en diferentes instancias ec2. Parece confundir el mínimo y el máximo del grupo.
La solución alternativa (o tal vez la solución) es asegurarse de que la configuración mínima y máxima del grupo sea la misma en todas las instancias de ec2. que están llegando al clúster de base de datos.