En el sitio web de OpenSSL, hay una página para paquetes binarios:http://www.openssl. org/related/binaries.html
Creo que eso es lo que quieres para Windows.
No puedo decir lo bien que funcionará. También aclare lo que quiere hacer. No puede "crear SSL para MySQL en Windows". ¿Quieres que MySQL tenga conexiones encriptadas SSL quizás?