Odio sonar como un viejo académico gruñón, pero la teoría es realmente lo que necesita estudiar, si está decidido a construir su propio RDBMS. Los detalles de implementación son realmente solo, erh, detalles de implementación. Además de los libros de texto, es posible que también desee estudiar trabajos de investigación, que tienden a cubrir el tema con mayor detalle.
Cuando comience a implementar su motor de base de datos, podría buscar implementaciones de código abierto existentes, pero espere que la curva de aprendizaje sea pronunciada. Como ya habrás descubierto, estos proyectos tienden a ser bastante complejos. Cuando tenga preguntas concretas sobre esos proyectos, intente publicarlas en las listas de correo relevantes. Cuando tenga preguntas concretas sobre su propia implementación, publíquelas aquí :)