La columna hashbytes se crea como VARBINARY(MAX) a menos que le digas específicamente que 20 bytes son suficientes:
alter table dbo.Softs
add TitleHash AS CAST(hashbytes('SHA1', [Title]) AS VARBINARY(20)) PERSISTED
Una vez que haya hecho eso, puede crear su índice (único o no) en esa columna:
CREATE UNIQUE NONCLUSTERED INDEX [UIX_TitleHash]
ON [dbo].[Softs]([TitleHash] ASC)
Ahora esto debería funcionar bien.
