Sé que probablemente te hayas dado por vencido con una respuesta, pero...
Creo que encontrará que la mayor parte del tiempo extra está cargando y compilando el script PHP. si su aplicación anterior era un módulo de apache, entonces está precompilado y siempre cargado, probablemente escrito en c muy rápido en comparación con PHP.
Intente usar un acelerador de php como eaccelerator. que usa memoria compartida y scripts precompilados para, a veces, mejorar drásticamente el rendimiento de las aplicaciones PHP.
CC