Si no está utilizando ORDER BY, entonces no está ordenando sus registros, por lo que definitivamente hará que su recuperación de datos sea más rápida. Entonces, si simplemente usa LIMIT, sería más rápido en comparación con los datos recuperados a través de ORDER BY. Pero tenga en cuenta que, en ese caso, los datos no estarán en ningún orden.
En lo que respecta a la seguridad, no estoy seguro de en qué seguridad está pensando, ya que no hay daño potencial en una consulta que usa solo LIMIT y no usa una cláusula ORDER BY.
También puedes consultar el artículo: ORDENAR POR... Optimización del rendimiento LÍMITE