Hay algunos complementos de forma modal como este en Apex-Plugin.com . No los he usado yo mismo, así que no puedo responder por ellos.
Alternativamente, use la función "Ver fuente" de su navegador en la página de Apex que desee y verá todas las definiciones de función y dónde se llaman. Parece que solo usa las bibliotecas estándar de JQuery que vienen con Apex 4.0
Actualización 10/04/2011:
Recientemente he usado este Complemento de página modal , y puedo recomendarlo. Hay muchas instrucciones, incluido un video de YouTube de media hora que muestra cómo usarlo.