Los índices ocupan espacio en la memoria (RAM); Demasiados índices o demasiado grandes y la base de datos tendrá que intercambiarlos hacia y desde el disco. También aumentan el tiempo de inserción y eliminación (cada índice debe actualizarse para cada dato insertado/eliminado/actualizado).
No tienes memoria infinita. Haciendo que todos los índices quepan en RAM =bien.
No tienes tiempo infinito. Indexar solo las columnas que necesita indexar minimiza el impacto en el rendimiento de inserción/eliminación/actualización.