Usamos binarios para una tonelada de identificaciones diferentes en nuestra base de datos para ahorrar espacio, ya que la mayoría de nuestros datos consistían en estas identificaciones. Dado que no parece que necesite ahorrar espacio (ya que son solo contraseñas, no algún otro elemento de gran escala), no veo ninguna razón para usar binario aquí.
El mayor problema con el que nos encontramos fue que constantemente, de forma molesta, aparecían datos binarios en la consola (cada vez que escribes select * escuchas un millón de pitidos), y siempre tienes que seleccionar HEX() o insertar UNHEX(), que es un dolor.
Por último, si mezcla y combina (por error) binario y HEX/UNHEX y se une a este valor, podría hacer coincidir registros que nunca tuvo la intención de hacer.