Recuperar la última fila insertada con Uniqueidentifier que no es IDENTIDAD

Es un poco más de trabajo, pero para sus inserciones, aunque ya tiene un valor DEFAULT en ApplicationID, puede hacer esto:

DECLARE @MyIdentity uniqueidentifier;
SET @MyIdentity = NewID();
INSERT INTO dbo.aspnet_Applications
(
    ApplicationName,
    LoweredApplicationName,
    ApplicationId, 
    Description
)
VALUES
(
    'x',
    'x',
    @MyIdentity,
    'Dummy text'
);

SELECT @MyIdentity

Esencialmente, configura el GUID de antemano, por lo que ya sabe lo que insertará.