Feature Engineering
Feature Engineering wird als Vorverarbeitungsschritt beim maschinellen Lernen beschrieben, der Rohdaten in einen effektiveren Satz von Eingaben umwandelt, die mehrere Attribute haben, die als Features bekannt sind.

Der Erfolg von Modellen für maschinelles Lernen hängt stark von der Qualität der Funktionen ab, mit denen sie trainiert werden. Beim Feature Engineering handelt es sich um eine Reihe von Techniken, die es uns ermöglichen, neue Features zu erstellen, indem wir die vorhandenen kombinieren oder transformieren. Diese Techniken helfen dabei, die wichtigsten Muster und Beziehungen in den Daten hervorzuheben, was wiederum dazu beiträgt, dass das Modell des maschinellen Lernens effektiver aus den Daten lernt.

Schlüsseltechniken im Feature Engineering
Feature Engineering kann in zwei Schlüsselschritte eingeteilt werden, nämlich:

1. Datenvorverarbeitung

2. Geschäftsverständnis (Domänenwissen)

Datenvorverarbeitung
Dies ist normalerweise ein Schritt im Feature Engineering und umfasst die Vorbereitung und Bearbeitung der Daten entsprechend den aktuellen Anforderungen der Maschinensprache. Hier kommen verschiedene Techniken zum Einsatz, darunter:

• Umgang mit fehlenden Werten, wobei Techniken wie Imputation (Mittelwert, Median, Modus) oder die Verwendung von Algorithmen, die fehlende Werte nativ verarbeiten, eingesetzt werden können.

• Kategoriale Variablen kodieren, bei denen kategoriale Daten für die meisten Algorithmen mithilfe gängiger Methoden wie One-Hot-Kodierung, Label-Kodierung und Zielkodierung in numerische Form umgewandelt werden müssen.

• Skalierung und Normalisierung, wobei Skalierungsfunktionen sicherstellen, dass sie gleichermaßen zum Modell beitragen. Zu den Techniken gehört die Standardisierung (Z-Score)

• Feature-Interaktion und Feature-Erstellung, bei der vorhandene Features kombiniert werden, um neue Features zu erstellen, wodurch komplexe Beziehungen mit den Daten entstehen

• Dimensionalitätsreduktion, bei der Techniken wie PCA (Hauptkomponentenanalyse) oder t-SNE die Anzahl der Features reduzieren und gleichzeitig die wichtigsten Informationen beibehalten.

• EDA kann auch im Feature Engineering eingesetzt werden und ist normalerweise ein Vorläufer des Feature Engineering.

Domänenwissen
Unter Domänenwissen versteht man das Verständnis und die Fachkompetenz in einem bestimmten Bereich oder einer bestimmten Branche. Beim Feature Engineering geht es um die Anwendung von Erkenntnissen und das Verständnis des Kontexts und der Beziehungen der Daten, um aussagekräftige Features zu erstellen, die die Modellleistung verbessern können.

Es hilft dabei, zu identifizieren, welche Funktionen für das vorliegende Problem relevant sind, und Datenbeziehungen zu verstehen.