spieleprogrammierer.de - Forum und Wiki zur Spieleprogrammierung und Spieleentwicklung

Ich habe bei meinem Nebenjob die tolle Aufgabe bekommen, Dateien miteinander vergleichen. Bzw. wir müssen es, da wir bei Abrufen bei Drittanbietern ggf. die gleiche Datei mehrere Male bekommen können. Das i-Tüpfelchen dabei ist, dass es sich dabei meistens um nicht gerade kleine PDF's handelt. Hat jemand damit Erfahrung und weiß vllt. einen effizienten Weg? Ich dachte daran, die Dateien Chunk-Weise einzulesen und dann Byte-Weise zu vergleichen. Dann spare ich mir zumindest einen Riesen-Batzen Speicher, da ich immer nur einen Chunk von, sagen wir, 4096 Bytes habe, dessen Speicher ich ja auch wiederverwenden kann.
Allerdings haben wir festgestellt, dass PDF's mindestens zwei Stellen haben, an denen sie sich immer unterscheiden: Die Meta-Informationen von \Creation-Date und \ID die noch dazu (meines Erachtens jedenfalls) irgendwie mitten in der Datei stehen. Deswegen ist der Quick-and-Dirty Weg zur Zeit, die komplette Datei einzulesen, die besagten Stellen mittels eine Regex zu ermitteln und zu eliminieren und dann den Rest zu vergleichen. Leider fällt mir derzeit auch keine wirklich bessere Idee ein. Hat jemand einen klugen Ansatz?

Richtig. Ich kann mich leider auch nicht auf Dateinamen oder sonstiges verlassen. Deswegen war die Chunk-Idee die einzige die mir in den Sinn kam, das ganze halbwegs effizient gestalten zu können.

Zitat von »dot«

Ich würde mir für jede Datei einen Hash ausrechnen, erstmal nur die Hashes vergleichen und nur wenn die Hashes gleich sind die Dateien byteweise vergleichen...

Verstehe nicht ganz, warum nur wenn die Hashes gleich sind? Nicht eher wenn sie ungleich sind?

Zielplattform ist Ubuntu, bei der Größe reden wir von 100 KB bis 10 MB. Es kommen bis zu 100 Dateien als Attachement in einem Abruf, welcher nur wenige Sekunden dauert (1 - 3 sec. ca). Das Verarbeiten und abspeichern wird automatisch vollzogen, der gesamte Abruf wird per Cronjob angestoßen. Momentan werden alle 60 min. Anfragen getätigt, wobei pro Anfrage zwischen 0 .. 100 Abrufe geliefert werden, jeder Abruf mit bis zu 100 Dateien als Attachement. Bald soll as Zeitinvertval auf 10 min. runtergesetzt werden. Dopplungen sind soweit es möglich ist zu vermeiden.
Das mit dem Git-Diff-Tool ist eig. 'ne gute Idee, danke. Das werde ich mal antesten.