Naja, Items und ähnliches sind ja jetzt nicht irgendwie groß. Solange du nicht Millionen oder Milliarden von denen hast, wirst du kaum irgendeinen Geschwindigkeitsunterschied messen können.
Es gibt ja neben XML noch andere hübsche Textbasierte Formate. Ich mag ja Textdateien, weil man die zur Not von Hand editieren kann und weil man sie viel besser debuggen kann (z.b. gucken ob man beim Speichern keinen Blödsinn schreibt). Schneller sind natürlich Binärdateien, wenn es richtig schnell gehen soll gibt es nix besseres, als große Datenblöcke als ganzes zu schreiben oder zu lesen.
XML ist von der Syntax her halt hässlich, weil man so unglaublich viel Platz für die Nodes verschwendet. Aber es gibt ne Menge Tools, mit denen man es schön verarbeiten kann. Schau dir aber mal JSON oder YAML an, die haben ähnliche Features wie XML sind aber nicht so aufgebläht.
Einen Einsatzort für eine komplette Datenbank sehe ich hier nicht. Und Datenbanken sind auch nur schnell für die Dinge, für die sie auch gedacht sind. Solange du nicht Dinge wie komplexe Queries auch wirklich benutzt, bist du trotzdem mit XML Dateien schneller, einfach weil so viel Verwaltungsaufwand entfällt.