BadImageFormat significa que la dll no es compatible con el tiempo de ejecución.
El problema es que Oracle aún no ha lanzado un controlador compatible con .NET Core.
Todavía puede usar el controlador actualmente disponible en ASP.NET Core, pero solo cuando lo ejecuta en el marco de .NET de escritorio completo, no en .NET Core Framework.
Lo que debería poder hacer para resolver esto es simplemente eliminar el objetivo dnxcore50 de su archivo project.json para que solo tenga como objetivo el marco de escritorio.
Hacer eso significa que solo puede ejecutar Windows por ahora, pero más adelante, cuando Oracle lance un controlador compatible, podría tener la opción de apuntar a .NET Core framework.