El método más simple no usa una subconsulta:
SELECT DISTINCT response_set_id
FROM responses
GROUP BY response_set_id, question_id
HAVING COUNT(*) > 1;
Este es uno de los muy, muy pocos casos en los que select distinct
se usa (apropiadamente) con group by
.