¿Cómo puedo usar una consulta con marcador de posición dentro de comillas? (perl/postgresql)

No puede usar marcadores de posición dentro de comillas. Puede usar la concatenación de cadenas SQL, pero en este caso, es más fácil hacerlo usando la multiplicación:

my $query = $dbh->prepare (q{SELECT
                   arrival_date - ? * INTERVAL '1 MINUTE'
                   FROM emails LIMIT 1});
$query->execute(60);

De esa manera, no tienes que agregar ' minutes' al número cuando ejecuta la consulta.