Me temo que no hay crtdbg.h en la distribución de MinGW. Creo que en Windows, este encabezado viene con el compilador de Microsoft. Creo que también podría usar Cygwin en lugar del compilador de Micrsoft, ya que compilar MySql en Windows solo es posible con Cygwin o el compilador de Microsoft (MinGW no es compatible), por lo que, en teoría, Cygwin debería poder compilar su programa.
También puede obtener el compilador de Microsoft de forma gratuita instalando Windows SDK.
mysqlclient.lib debe ser una biblioteca estática y libmysql.lib/libmysql.dll es una biblioteca dinámica.
ACTUALIZAR :Usando el compilador de Microsoft, puede compilar su código usando el siguiente comando:
cl mysource.c /IC:\Path\To\MySql\Include\Directory /link /LIBPATH:C:\Path\To\MySql\Lib\Directory /DEFAULTLIB:libmysql