Thema: [VB.NET] große XML-Datei auslesen (10gb)

Hallo,

ich kenne mich mit VB nicht aus und werde dir vermutlich nicht helfen können, aber ich bin mir relativ sicher, dass wir dir besser helfen können, wenn du uns deinen bisherigen Quelltext zeigst.

Gruß

Wobei das Problem darin bestehen dürfte, dass die 10 GB einfach eine Nummer zu heftig sind. Das hängt auch von der Implementierung des Parsers ab.

Um zu verdeutlichen, was ich meine, hier aus einem Thread für PHP:

There's only two php APIs that's really suited for processing such large files. The first is the old expat api, and the second is the newer XMLreader functions. These apis read continous streams rather than loading the entire tree into memory (which is what simplexml and DOM does).

- Parsing Huge XML Files in PHP - Stack Overflow

Dein Suchbegriff wäre analog: „vb.net parse large xml“

Erstmal würde ich das in eine Datenabnk importieren, denn eine 10GB große Datei ist für einen kleinen PC die hölle.... dann da auch noch zu Parsen.
Eine Datenbank macht sowas eher mit.

Da bliebe die Frage, wie du das importierst. Selbes Problem.

Zitat von mermshaus

Da bliebe die Frage, wie du das importierst. Selbes Problem.

Mit einem Bash Script bzw. batch (in Windows) Script, einfach ein algorythmus schreiben, der das für dich macht.
Linux wäre hier vielleicht eleganter, da Linux viele Funktionen wie grep ect. mitbringt.

Warum den Algorithmus dann nicht gleich in .NET schreiben? Irgendwie sehe ich nicht, wo bei deinem Vorschlag der konkrete Gewinn ist.