DELETE
Posts,
Comments
FROM Posts
INNER JOIN Comments ON
Posts.PostID = Comments.PostID
WHERE Posts.PostID = $post_id;
Suponiendo que su tabla de comentarios tiene un campo PostID, que designa la publicación a la que pertenece un comentario.