Su consulta actual es contradictoria ya que una sola fila nunca puede coincidir con la cláusula WHERE. Supongo que quieres algo como esto.
SELECT product_id
FROM table
WHERE (key='free_shipping' and value='yes') or (key='price' and value='5')
GROUP BY product_id
HAVING COUNT(DISTINCT key) = 2
