Tuve exactamente este problema con mysql/mariadb, y obtuve una GRAN pista de esta pregunta
Entonces su comando pyspark debería ser:
pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
También esté atento a los errores cuando pyspark comience como "Advertencia:Local jar... no existe, omitiendo". y "ERROR SparkContext:Jar no encontrado en...", esto probablemente signifique que escribiste mal la ruta.
