MySQL LOAD DATA INFILE y faltan comillas dobles

Debe ejecutar la sentencia LOAD DATA INFILE con la opción adicional

FIELDS OPTIONALLY ENCLOSED BY '"'

Por lo tanto, toda la declaración se convierte

    LOAD DATA INFILE '<FILENAME>' INTO TABLE <TABLENAME>
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
(col1, col2, col3, ...)

Para leer más, consulte el excelente Manual de referencia de MySQL p.ej. para MySQL 5.1 GA.