In diesem Beitrag teile ich detaillierte Schritte zum Migrieren von Daten in Ihrer lokalen MySQL-Datenbank zu neu erstellten Instanzen auf AWS RDS mit MySQL.

Hintergrund

Ich habe 2023 an einem Full-Stack-Projekt gearbeitet, bei dem ich die Produktionsbereitstellungen meiner Datenbank und meines Backends für AWS manuell verwaltet habe. Anfang dieses Jahres habe ich die gesamte Infrastruktur abgeschaltet, weil ich mit der Datenbank zu hohe monatliche Kosten anhäufte (nein, dank meiner Überbereitstellung).

Jetzt spulen wir zu diesem Monat vor und ich hatte immer noch viele AWS-Credits (Vorteile als Community Builder), die bis Ende des Jahres ablaufen sollten. Ich habe versucht, mein Projekt wieder in Gang zu bringen, musste aber feststellen, dass es nicht so einfach sein würde, wie ich dachte.

Erstens hatte ich keinen ordnungsgemäßen Snapshot erstellt, den ich zur Wiederherstellung der Produktionsdaten verwenden konnte, und bekam ständig Zugriffsfehler. Ich wurde auch daran erinnert, wie quälend manuell die gesamte Bereitstellung gewesen war und dass ich keinen meiner Schritte dokumentiert hatte (ich konnte mich auch nicht daran erinnern).

Das war eine Lektion, die ich gelernt habe, deshalb dokumentiere ich dieses Mal den gesamten Prozess. In Übereinstimmung mit einem der Sprüche in einem Udemy-Kurs, den ich nie abgeschlossen habe:

„Sie müssen wissen, wie man eine Aufgabe manuell ausführt, bevor Sie mit der Automatisierung fortfahren.“

Daher werde ich zunächst die Schritte teilen, die ich unternommen habe, um die Migration manuell durchzuführen, und in einem folgenden Beitrag werde ich Skripte schreiben, um die Infrastruktur mit Terraform bereitzustellen und nach Erfolg auch die lokalen Daten in die Remote-Datenbank zu übertragen Start.

Dies ist auch Teil meines selbst zugewiesenen laufenden Projekts, mehr über CI/CD zu erfahren, indem ich eine Pipeline aufbaue, um die gesamte Bereitstellung des Projekts zu automatisieren.

A) Manuelle Schritte

1. Erstellen Sie eine neue DB-Instance auf Amazon RDS

Dieses Mal ging ich bei der Konfiguration bewusster und praktischer vor. Obwohl es sich um eine „Produktionsbereitstellung“ handelte, habe ich mich dennoch für die wahrscheinlich günstigsten Betriebskosten entschieden, da es sich nicht um ein echtes Live-Produkt handelt (dies wirkte sich auch auf einige Sicherheitsoptionen aus, die ich nicht hinzufügen wollte).

Ich habe die Optionen, die ich im Assistenten „Datenbank erstellen“ ausgewählt habe, unten zusammengefasst:

AWS Region: eu-west-2
Database creation method: Standard Create
Engine type/edition/version: MySQL/MySQL Community/MySQL 8.0.35
Use case template: Free Tier
Credential settings: define these as you'd prefer
DB instance class: db.t3.micro
Storage: gp2, 20GB, auto-scaling enabled up to 100GB
Connectivity: 
    - define these for your specific use-case; I chose not to use an EC2
    - Public access: Yes, because I wanted to connect to the database locally via MySQL Workbench
Database authentication: Password auth
Additional configuration:
    - I created one database from here; but you can also leave it blank and create one when you get access via Workbench
Others: 
    - use default options or modify for your use-case
Deletion protection:
    - enabled (to dissuade myself from deleting easily like the last time)

Geschätzte monatliche Kosten:

2. Stellen Sie lokal eine Verbindung zur RDS-Instanz her

Nachdem die Instanz erfolgreich gestartet wurde, verwenden Sie den MySQL-Client, um eine Verbindung zur Instanz herzustellen. Dies setzt voraus, dass Ihr MySQL-Server installiert ist und läuft.

Erste Schritte mit MySQL
MySQL-Client

Sie benötigen außerdem den Instanzendpunkt sowie den Benutzernamen und das Passwort, die Sie in den Anmeldeinformationseinstellungen definiert haben, um diesen Befehl auszuführen:

mysql -h sample_endpoint.rds.amazonaws.com -u username_sample -p

Hinweis: Ihre Instanz wurde mit den richtigen eingehenden und ausgehenden Regeln für die ausgewählten VPC-Sicherheitsgruppen erstellt.

Wenn beim Verbindungsaufbau jedoch Fehler auftreten, vergewissern Sie sich, dass Ihre IP-Adresse in der zulässigen Quelle für die eingehenden Regeln enthalten ist. Ich bin auf ein ähnliches Problem gestoßen, als ich die Instanz an einem bestimmten Standort mit ihrer IP-Adresse erstellt habe und als ich versuchte, eine Verbindung mit einer anderen IP-Adresse an einem anderen Standort herzustellen, kam es zu einer Zeitüberschreitung der Verbindung.

[Optional] Erstellen Sie Ihre Datenbank Wenn Sie den Schritt „Zusätzliche Konfiguration“ während der Instanzerstellung übersprungen haben, können Sie in diesem Schritt eine erstellen:

CREATE DATABASE sample_db;

CREATE DATABASE sample_db;

3. Importieren Sie Daten aus Ihrer lokalen Datenbank

Dazu müssen Sie zunächst den Befehl mysqldump verwenden, um das Schema und die Daten in Ihrer lokalen Datenbank in eine .sql-Dump-Datei zu exportieren:

mysqldump -u root -p lokaler_Datenbankname > sample_dump.sql

CREATE DATABASE sample_db;

Hinweis: Wenn beim Exportieren Fehler auftreten, lesen Sie meine Frage zu Stack Overflow und auch eine Antwort, die einige mögliche Probleme lösen könnte.

Verwenden Sie anschließend den MySQL-Befehl, um die Dump-Datei in Ihre RDS-Instanz zu importieren:

mysql -h sample_endpoint.rds.amazonaws.com -u username_sample -p sample_db CREATE DATABASE sample_db; 4. [Optional] Stellen Sie über MySQL Workbench eine Verbindung zu Ihrer RDS-Instanz her

Bestätigen Sie, dass Sie ohne Probleme eine Verbindung zur Instanz herstellen können, und überprüfen Sie das Schema und die Daten in der Datenbank, um sicherzustellen, dass sie auch korrekt importiert wurden.

Keine Verbindung möglich?

Stellen Sie sicher, dass Sie die Einstellungen für den öffentlichen Zugriff korrekt konfiguriert haben, oder
Verwenden Sie eine EC2-Instanz, um eine sichere Verbindung zur Datenbank herzustellen und Ihre SQL-Befehle über die Instanz auszuführen. Stellen Sie sicher, dass sich die EC2-Instanz auch innerhalb der VPC befindet, in der sich die RDS-Instanz befindet.

---

Als nächstes kommt:

Bereitstellung für App Runner mit den erforderlichen Datenbankanmeldeinformationen aus diesem Beitrag (und dem erforderlichen Infrastrukturzugriff),
Scripting stattdessen mit Terraform und
Erstellen einer CI/CD-Pipeline zur Aktualisierung zukünftiger Backend- und Frontend-Updates.