spieleprogrammierer.de - Forum und Wiki zur Spieleprogrammierung und Spieleentwicklung

Zitat

Wie viele Daten darf ich in den Speicher legen - und ab wann muss ich anfangen, in Dateien/Datenbanken zu schreiben?

Du kannst so lange rein schreiben bis er voll ist Dann fängst du (oder dein OS) an die Daten auszulagern.

Was genau hast du denn vor?
Wenn die floats schon in xml Dateien vor liegen (was übrigens recht langsam zu parsen ist), musst du wirklich alles im Speicher haben? Oder kannst du nach und nach laden?
Dann würde sich das Problem eigentlich nicht ergeben.

In so gut wie allen Fällen nie. Seit 1994 hat sich da sehr sehr viel getan.
Wieviele Float-Variablen in den Speicher passen, kannst du dir ja selbst ausrechnen.
Angenommen deinem Programm stehen 12GB von 16 zur Verfügung stehen: 12GB / sizeof(float) = 12GB / 4B = 3*10⁹
Unter der Bedinung würden also gut 3 Milliarden Stück. Theoretisch.
Tatsächlich, auf einem 64Bit Betriebssystem wenn mehr Speicher angefordert wird, als RAM zur Verfügung steht, lagert das Betriebssystem selbständig Daten auf die Festplatte aus. Auf einem 32 Bit Betriebsystem kann eher der virtuelle Adressraum der limitierende Faktor sein, der verhindert, das deine Anwendung mehr als 2- 3GB(Je nach Betriebssystem) direkt zugreifen kann. Und da hilft auch Auslagern seitens des OS nichts, schließlich mangelt es an Adressierungsmöglichkeiten innerhalb einer Anwendung, nicht am physischen Speicher. Insbesondere auf 64Bit Betriebssystemen können auch Memory Mapped Files interessant sein.

XML Daten werden, dadurch das sie textbasiert arbeiten oder auch als DOM Repräsentation, selbst aber wesentlich um ein Vielfaches größer ausfallen, als die enthaltenen ausgelesenen Roh-Fließkommadaten. Ich frage mich, worauf du hinaus willst.

Was dann auch bedeutet, wenn der Speicher wirklich ein Problem darstellen könnte, ist XML in diesem Fall als Format wirklich nicht angebracht.

Noch mal mit anderen Worten: Damit die Werte nicht in den RAM passen, muss das XML schon viele viele Gigabyte groß sein und dann wäre XML ohnehin das falsche Format.

Die floats binär aneinander reihen wäre das schnellste und dafür platzsparendste.
Wenn das lesen eher unwichtig ist könnte man sicher noch komprimieren.

5*10^8 sind etwa 2GB an reinen Float-Daten bei bis zu 9GB XML File Größe. Das ist schon wirklich allerhand. Woher stammt diese beeindruckende Menge Daten?

Zitat

Was gibt es denn da an alternativen modernen, schnellen und effizienten Einlese-Verfahren für C++?

Nicht XML? Einfache binär am Besten.
Das sprengt jedenfalls eindeutig weit den meiner Meinung nach sinnvollen Rahmen eines solchen Formates.
Wegen effizienten "Einleseverfahren" kann ich vielleicht nochmal auf die Memory Mapped Files verweisen.

Am Besten schreibst du mal, was du eigentlich genau machen willst und um welche Daten es sich handelt.
Vielleicht gäbe es auch die Möglichkeit einfach ein kleineres Datenformat zu wählen.

Naja, mit nem SAX-Parser kann man davon schon so schnell lesen, wie die Festplatte die Daten hergibt. Ein DOM-Parser wär natürlich doof :-)

Aber vom Lesen abgesehen sind 2 Milliarden floats kein Problem. Das sind 8 GB Speicher. Mach ne 64Bit-Exe draus und lad das Zeug, wie's kommt.