En EF, la primera consulta que se ejecuta tiene que compilarse aunque el programa ya esté compilado.
Sugeriría leer esto http://www.codeproject.com/Articles/38174/How-to-improve-your-LINQ-query-performance-by-X y este https://msdn .microsoft.com/en-us/library/vstudio/bb896297%28v=vs.100%29.aspx e intentándolo de nuevo para ver si esto ayuda.
¡Buena suerte!