¿Cómo reemplazar el primer y último carácter de la columna en el servidor sql?

Puede usar SUBSTRING por eso:

SELECT
    SUBSTRING(col, 2, LEN(col)-2)
FROM ...

Obviamente, un enfoque aún mejor sería no poner comas iniciales y finales allí en primer lugar, si esta es una opción.

La expresión se vuelve un poco más compleja, pero la idea sigue siendo la misma:

SELECT SUBSTRING(
    col
,  CASE LEFT(@col,1) WHEN ',' THEN 2 ELSE 1 END
,  LEN(@col) -- Start with the full length
             -- Subtract 1 for comma on the left
      - CASE LEFT(@col,1) WHEN ',' THEN 1 ELSE 0 END 
             -- Subtract 1 for comma on the right
      - CASE RIGHT(@col,1) WHEN ',' THEN 1 ELSE 0 END
)
FROM ...