¿Cómo combinar funciones agregadas en MySQL?

Tienes que usar subconsultas:

  SELECT x.user, 
         AVG(x.cnt)
    FROM (SELECT user, COUNT(answer) AS cnt
            FROM surveyValues 
           WHERE study='a1' 
        GROUP BY user) x
GROUP BY x.user

No puede envolver un agregado con otro agregado. Podría envolver un análisis en un agregado, si MySQL admitiera funciones de análisis/clasificación/ventanas...