Aparentemente, no es necesario escapar de los paréntesis de cierre:
SELECT
PATINDEX('%[[]SQLSERV].DBNAME.DBO.[[][0-9a-zA-Z _-]%','ert[SQLSERV].DBNAME.DBO.[Table name]asdadsf')
lo anterior devuelve 4.
Además, no podemos personalizar un carácter de escape junto con PATINDEX como podemos hacer con LIKE.