Einführung

Als Python-Entwickler konzentrieren wir uns oft darauf, unseren Code zum Laufen zu bringen, bevor wir uns um die Optimierung kümmern. Wenn es jedoch um umfangreiche Anwendungen oder leistungskritischen Code geht, ist die Optimierung von entscheidender Bedeutung. In diesem Beitrag stellen wir zwei leistungsstarke Tools vor, mit denen Sie Ihren Python-Code optimieren können: das cProfile-Modul und den PyPy-Interpreter.

Am Ende dieses Beitrags erfahren Sie:

1. So identifizieren Sie Leistungsengpässe mithilfe des cProfile-Moduls.
2. So optimieren Sie Ihren Code auf Geschwindigkeit.
3. So verwenden Sie PyPy, um Ihre Python-Programme mit Just-in-Time (JIT)-Kompilierung weiter zu beschleunigen.

Warum Leistungsoptimierung wichtig ist

Python ist bekannt für seine Benutzerfreundlichkeit, Lesbarkeit und sein umfangreiches Ökosystem an Bibliotheken. Allerdings ist es aufgrund seiner interpretierten Natur auch langsamer als einige andere Sprachen wie C oder Java. Daher kann es bei leistungsempfindlichen Anwendungen wie maschinellen Lernmodellen, Echtzeitsystemen oder Hochfrequenzhandelssystemen von entscheidender Bedeutung sein, zu wissen, wie Sie Ihren Python-Code optimieren.

Die Optimierung folgt normalerweise diesen Schritten:

1. Profilieren Sie Ihren Code, um zu verstehen, wo die Engpässe liegen.
2. Optimieren Sie den Code in Bereichen, die ineffizient sind.
3. Führen Sie den optimierten Code aus in einem schnelleren Interpreter wie PyPy, um maximale Leistung zu erzielen.

Jetzt beginnen wir mit der Profilierung Ihres Codes.

Schritt 1: Profilierung Ihres Codes mit cProfile

Was ist cProfile?

cProfile ist ein integriertes Python-Modul für die Leistungsprofilerstellung. Es verfolgt, wie viel Zeit jede Funktion in Ihrem Code zur Ausführung benötigt, was Ihnen dabei helfen kann, die Funktionen oder Codeabschnitte zu identifizieren, die zu Verlangsamungen führen.

Verwenden von cProfile über die Befehlszeile

Die einfachste Möglichkeit, ein Skript zu profilieren, besteht darin, cProfile über die Befehlszeile auszuführen. Nehmen wir zum Beispiel an, Sie haben ein Skript namens my_script.py:

python -m cProfile -s cumulative my_script.py

Erläuterung:

• -m cProfile: Führt das cProfile-Modul als Teil der Standardbibliothek von Python aus.
• -s kumulativ: Sortiert die Profilerstellungsergebnisse nach der kumulierten Zeit, die in jeder Funktion verbracht wurde.
• my_script.py: Ihr Python-Skript.

Dadurch wird eine detaillierte Aufschlüsselung darüber erstellt, wo Ihr Code seine Zeit verbringt.

Beispiel: Profilerstellung für ein Python-Skript

Sehen wir uns ein einfaches Python-Skript an, das Fibonacci-Zahlen rekursiv berechnet:

def fibonacci(n):
    if n 



Dieses Skript mit cProfile ausführen:


python -m cProfile -s cumulative fibonacci_script.py





  
  
  Grundlegendes zur cProfile-Ausgabe


Sobald Sie cProfile ausführen, sehen Sie etwa Folgendes:


   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     8320    0.050    0.000    0.124    0.000 fibonacci_script.py:3(fibonacci)




Jede Spalte enthält wichtige Leistungsdaten:

• ncalls: Anzahl der Aufrufe der Funktion.
• tottime: Gesamtzeit, die in der Funktion verbracht wurde (ohne Unterfunktionen).
• cumtime: Kumulierte Zeit, die in der Funktion verbracht wurde (einschließlich Unterfunktionen).
• percall: Zeit pro Anruf.

Wenn Ihre Fibonacci-Funktion zu viel Zeit in Anspruch nimmt, zeigt Ihnen diese Ausgabe, worauf Sie Ihre Optimierungsbemühungen konzentrieren sollten.

Profilierung bestimmter Teile Ihres Codes

Sie können cProfile auch programmgesteuert in Ihrem Code verwenden, wenn Sie nur bestimmte Abschnitte profilieren möchten.

import cProfile

def fibonacci(n):
    if n 




  
  
  Schritt 2: Optimieren Sie Ihren Python-Code


Sobald Sie mit cProfile die Engpässe in Ihrem Code identifiziert haben, ist es Zeit für die Optimierung.


  
  
  Gängige Python-Optimierungstechniken



Eingebaute Funktionen verwenden: Integrierte Funktionen wie sum(), min() und max() sind in Python stark optimiert und normalerweise schneller als manuell implementierte Schleifen.
Beispiel:


   # Before: Custom sum loop
   total = 0
   for i in range(1000000):
       total  = i

   # After: Using built-in sum
   total = sum(range(1000000))





Unnötige Funktionsaufrufe vermeiden: Funktionsaufrufe verursachen Overhead, insbesondere innerhalb von Schleifen. Versuchen Sie, redundante Anrufe zu reduzieren.
Beispiel:


   # Before: Unnecessary repeated calculations
   for i in range(1000):
       print(len(my_list))  # len() is called 1000 times

   # After: Compute once and reuse
   list_len = len(my_list)
   for i in range(1000):
       print(list_len)





Memoisierung: Bei rekursiven Funktionen können Sie die Memoisierung verwenden, um Ergebnisse teurer Berechnungen zu speichern und so wiederholte Arbeit zu vermeiden.
Beispiel:


   from functools import lru_cache

   @lru_cache(maxsize=None)
   def fibonacci(n):
       if n 



Dies beschleunigt die Fibonacci-Berechnung erheblich, indem die Ergebnisse jedes rekursiven Aufrufs gespeichert werden.


  
  
  Schritt 3: Verwenden von PyPy für die Just-in-Time-Kompilierung



  
  
  Was ist PyPy?


PyPy ist ein alternativer Python-Interpreter, der die Just-in-Time-Kompilierung (JIT) verwendet, um Ihren Python-Code zu beschleunigen. PyPy kompiliert häufig ausgeführte Codepfade in Maschinencode und ist damit für bestimmte Aufgaben viel schneller als der Standard-CPython-Interpreter.


  
  
  PyPy installieren


Sie können PyPy mit einem Paketmanager wie apt unter Linux oder brew unter macOS installieren:


# On Ubuntu
sudo apt-get install pypy3

# On macOS (using Homebrew)
brew install pypy3





  
  
  Ausführen von Python-Code mit PyPy


Sobald PyPy installiert ist, können Sie Ihr Skript damit anstelle von CPython ausführen:


pypy3 my_script.py





  
  
  Warum PyPy verwenden?

• PyPy ist ideal für CPU-gebundene Aufgaben, bei denen das Programm die meiste Zeit mit Berechnungen verbringt (z. B. Schleifen, rekursive Funktionen, Zahlenverarbeitung).
• Der JIT-Compiler von PyPy optimiert die Codepfade, die am häufigsten ausgeführt werden, was zu erheblichen Beschleunigungen ohne Codeänderungen führen kann.

Schritt 4: Kombination von cProfile und PyPy für maximale Optimierung

Kombinieren wir nun diese Tools, um Ihren Python-Code vollständig zu optimieren.

Beispiel-Workflow

1. Profilieren Sie Ihren Code mit cProfile, um Engpässe zu identifizieren.
2. Optimieren Sie Ihren Code mithilfe der von uns besprochenen Techniken (integrierte Funktionen, Memoisierung, Vermeidung unnötiger Funktionsaufrufe).
3. Führen Sie Ihren optimierten Code mit PyPy aus, um zusätzliche Leistungsverbesserungen zu erzielen.

Lassen Sie uns unser Fibonacci-Beispiel noch einmal betrachten und alles zusammenfügen.

from functools import lru_cache

@lru_cache(maxsize=None)
def fibonacci(n):
    if n 



Nachdem Sie den Code durch Memoisierung optimiert haben, führen Sie ihn mit PyPy aus, um weitere Leistungsverbesserungen zu erzielen:


pypy3 fibonacci_script.py





  
  
  Abschluss


Durch die Nutzung von cProfile und PyPy können Sie Ihren Python-Code erheblich optimieren. Verwenden Sie cProfile, um Leistungsengpässe in Ihrem Code zu identifizieren und zu beheben. Verwenden Sie dann PyPy, um die Ausführungsgeschwindigkeit Ihres Programms durch JIT-Kompilierung weiter zu steigern.

Zusammenfassung:

Profilieren Sie Ihren Code mit cProfile, um Leistungsengpässe zu verstehen.
Wenden Sie Python-Optimierungstechniken an, z. B. die Verwendung von integrierten Funktionen und Memoisierung.
Führen Sie den optimierten Code auf PyPy aus, um eine noch bessere Leistung zu erzielen.
Mit diesem Ansatz können Sie Ihre Python-Programme schneller und effizienter laufen lassen, insbesondere bei CPU-gebundenen Aufgaben.

Verbinden Sie sich mit mir:

Github

Linkedin