Verarbeiten großer Dateien mit PHP ohne Speichererschöpfung

Das Lesen und Verarbeiten großer Dateien in PHP kann aufgrund von Speicherbeschränkungen eine Herausforderung sein. Die Funktion file_get_contents() kann einen Fehler „Speicher erschöpft“ auslösen, wenn sie mit großen Dateien arbeitet, die mehr Speicher verbrauchen als zulässig.

Informationen zur Speicherzuordnung

Bei Verwendung von file_get_contents( ), wird die gesamte Datei gelesen und als String im Speicher abgelegt. Bei großen Dateien kann dies den zugewiesenen Speicher überschreiten und zu dem Fehler führen.

Alternativer Ansatz: Lesen von Chunked-Dateien

Um dieses Problem zu vermeiden, sollten Sie alternative Methoden verwenden, z B. fopen() und fread(), um die Datei in Blöcken zu lesen. Dadurch können Sie kleinere Abschnitte der Datei gleichzeitig verarbeiten und so die Speichernutzung effektiv verwalten. Hier ist eine Funktion, die diesen Ansatz implementiert:

function file_get_contents_chunked($file, $chunk_size, $callback)
{
    try {
        $handle = fopen($file, "r");
        $i = 0;
        while (!feof($handle)) {
            call_user_func_array($callback, [fread($handle, $chunk_size), &$handle, $i]);
            $i  ;
        }
        fclose($handle);
        return true;
    } catch (Exception $e) {
        trigger_error("file_get_contents_chunked::" . $e->getMessage(), E_USER_NOTICE);
        return false;
    }
}

Beispielverwendung

Um diese Funktion zu verwenden, definieren Sie einen Rückruf, der den Block verarbeitet, und stellen Sie die erforderlichen Parameter bereit:

$success = file_get_contents_chunked("my/large/file", 4096, function ($chunk, &$handle, $iteration) {
    /* Do something with the chunk */
});

Zusätzliche Überlegungen

Eine weitere Optimierung besteht darin, die Verwendung komplexer regulärer Ausdrücke zu vermeiden, die bei der Anwendung auf große Eingaben viel Speicher verbrauchen können. Erwägen Sie stattdessen die Verwendung nativer String-Funktionen wie strpos, substr und explosion.