No es necesario consultar el objeto primero, puede adjuntarlo al contexto por su id. Así:
var employer = new Employ { Id = 1 };
ctx.Employ.Attach(employer);
ctx.Employ.Remove(employer);
ctx.SaveChanges();
Alternativamente, puede establecer el estado de la entrada adjunta como eliminado:
var employer = new Employ { Id = 1 };
ctx.Entry(employer).State = EntityState.Deleted;
ctx.SaveChanges();