glucke: daten einlesen

Beitrag lesen

Guten Abend,

mit PHP lese ich eine Datei ein, die folgende (hier stark vereinfachte) Struktur hat:

ere,cer,23d,ad23,332;dde,343,234,2343,lldo;wert1,wert2,wert3,wert4,wert5; etc

Das heisst, im Prinzip eine kommaseparierte Datei (im Prinzip deshalb, weil die Trenner variieren können).

Durch einen implode am Semikolon werden die einzelnen Werte in einen Array verfrachtet, dessen Elemente wiederum aufspaltet, ausgewertet und schlussendlich in anderer, modifizierter Form in eine MySQL-Datenbank geschrieben werden.

Von der grundsätzlichen Vorgehensweise ein triviales Problem. Die Modifikationen bzw. Berechnungen sollen an dieser Stelle nicht erwähnt werden, da sie für die weiter unten beschriebene Problemstellung unbedeutend sind.

Das Problem:

Diese Datei kann sehr groß werden, d.h. ich rechne mit einer Dateigröße von > 1GB, kann gut auch das zehnfache sein. Diese Datei kann ich natürlich in der Größe nicht einlesen und dann weiter verarbeiten. Ich muss wohl entweder eine Art Stream nutzen oder den Dateizeiger entsprechend setzen (falls das mit PHP überhaupt möglich sein sollte).

Die Frage:

Wie würde ein Programmierer dieses Problem am sinnvollsten lösen?