Este comando casi te da lo que quieres, e incluso funciona con un servidor remoto. La única salvedad es que genera un archivo TSV (los campos están separados por una pestaña).
mysql mydb -e "select * from mytable" -B > mytable.tsv
Pero podría convertirlo a CSV usando sed, como se sugiere en esta respuesta :
mysql mydb -e "select * from mytable" -B | sed "s/'/\'/;s/\t/\",\"/g;s/^/\"/;s/$/\"/;s/\n//g" > mytable.csv
