¿Te das cuenta de cuál es el formato de un archivo CSV, verdad? ¿Que las cadenas deben estar entre comillas si contienen caracteres no alfabéticos? Y la función fputcsv() de PHP hace esto, exactamente como se supone que debe
Aunque puede establecer el argumento del recinto para fputcsv() para indicarle qué carácter se debe usar para comillas o anexos.
por ejemplo
fputcsv($fp, $row, ",", "'");
Para usar comillas simples en lugar de comillas dobles, o
fputcsv($fp, $row, ",", " ");
usar un espacio