La unión interna y la eliminación no funcionan en mysql

Debe especificar la tabla de la que está eliminando:

DELETE table1
    FROM table1 INNER JOIN
         table2
         USING (col1) 
    WHERE table2.col2 = '1';