El punto de Martin Smith es excelente --> Si solo ingresan datos numéricos y siempre va a realizar operaciones como esta, le ahorrará tiempo y molestias al no tener que hacer este trabajo de conversión.
Dicho esto, puedes hacer -
update Fields
set ColumnName = cast( (cast(ColumnName as int) - 1) as varchar(nn))
from Fields f, FTypes ft
where ft.Name = 'Field Count'
and ft.ID = f.ID_FT
and f.ID_Project = 186
donde nn es la definición original de su columna varchar
