Usa el BINARY palabra clave, que obliga a REGEXP para hacer coincidir la cadena como una cadena binaria, lo que distingue entre mayúsculas y minúsculas.
SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Aunque esto no está explícitamente indicado en los documentos (que puedes hacerlo con una cadena regular), en mi experiencia funciona como se esperaba.
