Agregue el botón Eliminar a la tabla de resultados de PHP

Tienes que pasar la variable en el enlace de eliminación. Debes pasar <?php echo $contact['name']; ?> valor de nombre en campo oculto o pasar este valor en URL

Reemplazar

<td class="contact-delete">
      <form action='delete.php' method="post">
      <input type="hidden" name="name" value="">
      <input type="submit" name="submit" value="Delete">
      </form>
</td>

Con

<td class="contact-delete">
    <form action='delete.php?name="<?php echo $contact['name']; ?>"' method="post">
        <input type="hidden" name="name" value="<?php echo $contact['name']; ?>">
        <input type="submit" name="submit" value="Delete">
    </form>
</td>