cambiar el tipo de datos de la columna de matriz a entero

Debe señalar qué elemento de la matriz debe usarse en la conversión, por ejemplo,

alter table x alter column y set data type int4 using (y[1]::int)

db<>fiddle.