Esto parece un problema desde el principio. Cualquier tipo de búsqueda que hagas requerirá un escaneo de la tabla y todos sabemos que eso es malo.
¿Qué tal agregar una columna con un hash de los números de teléfono actuales después de eliminar todos los caracteres de formato? Entonces, al menos puede indexar los valores hash y evitar un análisis completo de la tabla.
¿O la cantidad de datos es pequeña y no se espera que crezca mucho? Entonces, tal vez solo absorba todos los números en el cliente y realice una búsqueda allí.