No tiene que preocuparse.
Bases de datos diseñadas para eso.
La mayoría de los sitios en el mundo se ejecutan exactamente de la misma manera:el servidor MySQL se ejecuta y se consulta regularmente a través de un front-end php. Nada malo con eso.
Un servidor SQL bien ajustado y una consulta correctamente diseñada servirán mucho más de lo que cree. Necesitará un tráfico excepcionalmente alto para empezar a preocuparse por estas cosas.
No olvide que MysQL tiene su propio caché de consultas .
También tenga en cuenta que no hay usuarios "conectados" a la página web. Se conectan, obtienen el contenido de la página y se desconectan.