Puede unirse a la izquierda en la misma tabla o usar una subconsulta para buscar duplicados. Esto debería ser más fácil para el servidor SQL, ya que no contaría todos los duplicados. Algo como esto:
SELECT
t1.column_name
FROM
table_name AS t1
WHERE
NOT EXISTS (
SELECT
*
FROM
table_name AS t2
WHERE
t2.column_name = t1.column_name
AND t2.id != t1.id
)
O
SELECT
t1.column_name
FROM
table_name AS t1
LEFT JOIN table_name t2 ON (
t2.column_name = t1.column_name
t2.id != t1.id
)
WHERE
t2.column.name IS NULL