La intercalación se usa para clasificar cadenas (texto), por ejemplo, por orden alfabético, si importan o no las mayúsculas y minúsculas, cómo tratar las letras que tienen acentos, etc. COLLATE "C" le dice a la base de datos que no use la intercalación en absoluto. Uno podría usar esto si estuviera diseñando una base de datos para contener datos en diferentes idiomas. Técnicamente, COLLATE "C" utilizará el orden de los bytes para generar comparaciones de texto.
La primera respuesta en https://dba.stackexchange.com/questions/94887/cuál-es-el-impacto-de-lc-ctype-en-una-base-de-datos-postgresql proporciona un buen ejemplo de las diferencias entre el uso de COLLATE "C" frente a COLLATE "fr_FR", que utiliza la localización en francés.