Einführung

Befanden Sie sich jemals in einer Situation, in der Sie eine große Menge an Dummy-Daten zum Testen benötigten, aber nicht stundenlang Skripte schreiben oder Datensätze manuell einfügen wollten? Oder waren Sie vielleicht neugierig, wie Sie die neuen Funktionen in MySQL 8.0 nutzen können, um Ihre Datenbankaufgaben zu optimieren? Dann werden Sie sich freuen! In diesem Beitrag erfahren Sie, wie Sie mithilfe von Common Table Expressions (CTEs) mühelos große Mengen an Dummy-Daten generieren und in Ihre MySQL-Datenbank einfügen können.

Stellen Sie sich vor, Sie müssten eine Tabelle mit einer Million Hash-Werten für Lasttests oder Leistungsbenchmarking füllen. Klingt nach einem Albtraum, oder? Nicht länger! Mit der Einführung von CTEs in MySQL 8.0 können Sie dies in Sekundenschnelle erreichen. Sehen wir uns an, wie das funktioniert und wie Sie diese leistungsstarke Funktion nutzen können, um Ihre Datengenerierungsanforderungen zu vereinfachen.

TL; DR

Common Table Expressions (CTEs), eine neue Funktion, die in MySQL 8.0 hinzugefügt wurde, kann zur einfachen Eingabe einer großen Menge einfacher Dummy-Daten verwendet werden. Wenn Sie beispielsweise 1 Million Dummy-Daten in eine Tabelle namens Hashes eingeben möchten, in der Hashwerte gespeichert sind, können Sie dies mit den folgenden Schritten erreichen:

Tabellendefinitionen

Erstellen Sie zunächst die Tabelle:

CREATE TABLE hashes (
  id INT PRIMARY KEY AUTO_INCREMENT,
  hash CHAR(64)
);

Abfrageausführung

Legen Sie die Sitzungsvariable fest, um eine höhere Rekursionstiefe zu ermöglichen:

SET SESSION cte_max_recursion_depth = 1000000;

Führen Sie dann den CTE aus, um 1 Million Zeilen einzufügen:

INSERT INTO hashes(hash)
WITH RECURSIVE cte (n) AS
(
  SELECT 1
  UNION ALL
  SELECT n   1 FROM cte WHERE n 



Diese Methode nutzt einen rekursiven allgemeinen Tabellenausdruck, um die Dummy-Daten zu generieren.


  
  
  CTEs verstehen


Ein Common Table Expression (CTE) ist eine benannte temporäre Ergebnismenge, auf die innerhalb einer einzelnen Anweisung mehrmals verwiesen werden kann. CTEs sind besonders nützlich, um komplexe Abfragen zu vereinfachen und die Lesbarkeit zu verbessern.


  
  
  Syntaxaufschlüsselung



  
  
  Rekursionstiefe festlegen




SET SESSION cte_max_recursion_depth = 1000000;




Die Systemvariable cte_max_recursion_ Depth legt die Obergrenze für die Rekursion fest. Standardmäßig ist es 1000. Um mehr zu rekursieren, müssen Sie es anpassen. Hier legen wir den Wert auf 1 Million fest.


  
  
  Die CTE-Abfrage




INSERT INTO hashes(hash)
WITH RECURSIVE cte (n) AS
(
  SELECT 1
  UNION ALL
  SELECT n   1 FROM cte WHERE n 



Lassen Sie uns diese Abfrage aufschlüsseln:

• WITH RECURSIVE cte (n): Dies startet die CTE-Definition. cte ist der Name des temporären Ergebnissatzes und n ist die Spalte.

• SELECT 1: Dies ist der nicht rekursive Teil des CTE, der als Ausgangspunkt (Anfangswert) dient.

• UNION ALL SELECT n 1 FROM cte WHERE n

• SELECT SHA2(n, 256) FROM cte: Dieser letzte Teil der Abfrage wählt den SHA-256-Hash jedes n-Werts aus und generiert die Dummy-Daten zum Einfügen.

Wie es funktioniert

Der CTE generiert rekursiv Zahlen von 1 bis 1.000.000. Für jede Zahl berechnet es den SHA-256-Hash und fügt ihn in die Hash-Tabelle ein. Dieser Ansatz ist effizient und nutzt die rekursiven Fähigkeiten von MySQL, um große Datenmengen nahtlos zu verarbeiten.

Verarbeitungsgeschwindigkeit

Verifizierungsumgebung

Um die Auswirkungen dieser Funktion zu verstehen, habe ich einen Gitpod Enterprise-Arbeitsbereich verwendet und die leistungsstarke und kurzlebige Umgebung genutzt, um den Aufwand für Einrichtung und Installation zu vermeiden. Hier ist ein Blick auf das Setup:

• Maschine: Gitpod Enterprise XXLarge-Arbeitsbereich
• Betriebssystem: Ubuntu 22.04.4 LTS (Jammy Jellyfish)
• Containerisierung: Docker-Version 26.0.1
• MySQL-Version: Offizielles MySQL 8.0 Docker-Image

Ergebnisse

Für 1 Million Zeilen beträgt die Abfrageausführungszeit ungefähr 4,46 Sekunden:

mysql> INSERT INTO hashes(hash)
    -> WITH RECURSIVE cte (n) AS
    -> (
    ->   SELECT 1
    ->   UNION ALL
    ->   SELECT n   1 FROM cte WHERE n  )
    -> SELECT SHA2(n, 256) FROM cte;
Query OK, 1000000 rows affected (4.43 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

Leistungskennzahlen

Abschluss

Die Verwendung von CTEs in MySQL 8.0 ist ein entscheidender Faktor für die schnelle Generierung großer Mengen von Dummy-Daten. Es ist besonders praktisch für Lasttests und Leistungsbenchmarking. Mit nur wenigen Codezeilen können Sie Ihre Tabellen mühelos füllen und dann zu den anderen wichtigen Teilen Ihres Projekts zurückkehren.

Zögern Sie nicht, mit verschiedenen Datengenerierungsstrategien und Rekursionstiefen herumzuspielen, um herauszufinden, was für Sie am besten funktioniert. Für weitere Tipps und Erkenntnisse zu Sicherheit und Protokollanalyse folgen Sie mir auf Twitter @Siddhant_K_code und bleiben Sie mit den neuesten und detaillierten technischen Inhalten wie diesem auf dem Laufenden. Viel Spaß beim Codieren!