Dos cosas:
Primero, su formato str_to_date() debe coincidir con el formato de la cadena de entrada. Si su cadena de entrada es 10/21/2016 15:02 , entonces su formato es %m/%d/%Y %H:%i .
Vea una referencia para los códigos de formato aquí:https://dev.mysql.com/doc/refman/5.7/en/date-and-time-functions.html#function_date-format
En segundo lugar, el uso de ACTUALIZAR no cambia el tipo de datos de la columna, solo cambia el contenido de la cadena varchar.
mysql> create table t (v varchar(50));
mysql> insert into t values ('10/21/2016 15:02');
mysql> update t set v = str_to_date(v, '%m/%d/%Y %H:%i');
mysql> select * from t;
+---------------------+
| v |
+---------------------+
| 2016-10-21 15:02:00 |
+---------------------+
Ahora tiene el formato correcto, pero sigue siendo un varchar.
mysql> alter table t modify v datetime;
mysql> select * from t;
+---------------------+
| v |
+---------------------+
| 2016-10-21 15:02:00 |
+---------------------+
Ahora el tipo de datos ha sido cambiado.
mysql> show create table t\G
CREATE TABLE `t` (
`v` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
