Botón Atrás para un sitio web de una sola página

Eche un vistazo a la biblioteca History.js, maneja navegadores modernos y tiene respaldos para navegadores HTML4 más antiguos

https://github.com/browserstate/history.js/

En su controlador de eventos dentro de $(".mLink").click(function(){...

Cada vez que active un desplazamiento, puede agregar algo como esto

case "mL0":
    $("html, body").stop().animate({ scrollTop: 0}, 1000, 'easeInOutExpo');
    History.pushState(null, null, "?home"); 
    break;
case "mL1":
    $("html, body").stop().animate({ scrollTop: ($('#filter').offset().top-72) }, 1000, 'easeInOutExpo');
    History.pushState(null, null, "?portfolio"); 
    break;
...

Hermoso sitio de cartera, por cierto.