Einführung
Basierend auf dem Endziel, das Sie in Bezug auf Ihre Daten als Ergebnis eines maschinellen Lernmodells, der Entwicklung von Visualisierungen und der Integration benutzerfreundlicher Anwendungen haben, wird die Entwicklung einer flüssigen Beherrschung der Daten zu Beginn des Projekts den endgültigen Erfolg unterstützen.
Grundlagen von EDA
Hier erfahren wir, welchen Nutzen die Notwendigkeit der Datenvorverarbeitung für Datenanalysten hat.
Aufgrund des Umfangs und der unterschiedlichen Quellen ist es wahrscheinlicher, dass die heutigen Daten abnormal sind. Die Vorverarbeitung von Daten ist zur Grundstufe im Bereich der Datenwissenschaft geworden, da qualitativ hochwertige Daten zu robusteren Modellen und Vorhersagen führen.
Die explorative Datenanalyse ist das Werkzeug eines Datenwissenschaftlers, um zu sehen, welche Daten außerhalb der formalen Modellierungs- oder Annahmetestaufgabe offengelegt werden können.
Datenwissenschaftler müssen immer eine EDA durchführen, um zuverlässige Ergebnisse sicherzustellen und auf alle erzielten Ergebnisse und Ziele anwendbar zu sein. Es hilft Wissenschaftlern und Analysten auch dabei, zu bestätigen, dass sie auf dem richtigen Weg sind, um die gewünschten Ergebnisse zu erzielen.
Einige Beispiele für Forschungsfragen, die die Studie leiten, sind:
1.Gibt es einen signifikanten Effekt der Vorverarbeitung von Daten?
Analyseansätze – fehlende Werte, Aggregation von Werten, Datenfilterung, Ausreißer, Variablentransformation und Variablenreduktion – auf genaue Ergebnisse der Datenanalyse?
2. Auf welcher wichtigen Ebene ist eine vorverarbeitende Datenanalyse in Forschungsstudien erforderlich?
Metriken der explorativen Datenanalyse und ihre Bedeutung
1.Datenfilterung
Hierbei handelt es sich um die Vorgehensweise, einen kleineren Abschnitt eines Datensatzes auszuwählen und diesen Teilsatz zur Anzeige oder Analyse zu verwenden. Der vollständige Datensatz bleibt erhalten, es wird jedoch nur eine Teilmenge davon für die Berechnung verwendet. Das Filtern ist in der Regel ein vorübergehender Vorgang. Mithilfe von Filtern lassen sich ungenaue, falsche oder minderwertige Beobachtungen aus der Studie entdecken, Daten für eine bestimmte Interessengruppe extrahieren oder nach Informationen für einen bestimmten Zeitraum suchen. Der Datenwissenschaftler muss beim Filtern eine Regel oder Logik angeben, um Fälle für die Studie zu extrahieren.

2.Datenaggregation
Bei der Datenaggregation müssen unverarbeitete Daten an einem einzigen Ort gesammelt und zur Analyse zusammengefasst werden. Die Datenaggregation erhöht den informativen, praktischen und nutzbaren Wert von Daten. Zur Definition des Ausdrucks wird häufig die Perspektive eines technischen Benutzers herangezogen. Bei der Datenaggregation handelt es sich um den Prozess der Integration unverarbeiteter Daten aus vielen Datenbanken oder Datenquellen in eine zentrale Datenbank im Auftrag eines Analysten oder Ingenieurs. Die aggregierten Zahlen werden dann durch die Kombination der Rohdaten erstellt. Eine Summe oder ein Durchschnitt ist eine einfache Darstellung eines Gesamtwerts. Aggregierte Daten werden für Analysen, Berichte, Dashboards und andere Datenprodukte verwendet. Die Datenaggregation kann die Produktivität, die Entscheidungsfindung und die Zeit bis zur Erkenntnissteigerung steigern.

3.Fehlende Daten
In der Datenanalyse sind fehlende Werte eine andere Bezeichnung für fehlende
Daten. Dies geschieht, wenn bestimmte Variablen oder Befragte weggelassen oder übersprungen werden. Auslassungen können aufgrund falscher Dateneingabe, verlorener Dateien oder defekter Technologie auftreten. Fehlende Daten können je nach Art zeitweise zu einer Modellverzerrung führen, was sie problematisch macht. Fehlende Daten bedeuten, dass die Ergebnisse möglicherweise nur innerhalb der Parameter der Studie verallgemeinerbar sind, da die Daten zeitweise aus irreführenden Stichproben stammen können. Um die Konsistenz im gesamten Datensatz sicherzustellen, ist es notwendig, alle fehlenden Werte mit der Bezeichnung „N/A“ (kurz für „nicht zutreffend“) neu zu kodieren.

4.Datentransformation
Daten werden mithilfe einer Funktion oder einer anderen mathematischen Methode neu skaliert
Operation für jede Beobachtung während einer Transformation. Wir
Ändern Sie gelegentlich die Daten, um die Modellierung zu erleichtern, wenn
ist sehr stark verzerrt (entweder positiv oder negativ).
Mit anderen Worten: Man sollte eine Datentransformation versuchen, die der Annahme entspricht, einen parametrischen statistischen Test anzuwenden, wenn
Die Variable(n) passt(en) nicht zu einer Normalverteilung. Die beliebteste Datentransformation ist die Protokollierung (oder natürliche Protokollierung), die häufig verwendet wird, wenn alle Beobachtungen positiv sind und die meisten Datenwerte in Bezug auf die signifikanteren Werte im Datensatz um Null liegen.

Diagrammillustration

Visualisierungstechniken in EDA
Visualisierungstechniken spielen in der EDA eine wesentliche Rolle und ermöglichen es uns, komplexe Datenstrukturen und Zusammenhänge visuell zu erkunden und zu verstehen. Einige gängige Visualisierungstechniken, die in EDA verwendet werden, sind:
1.Histogramme:
Histogramme sind grafische Darstellungen, die die Verteilung numerischer Variablen zeigen. Sie helfen, die zentrale Tendenz und Verbreitung der Daten zu verstehen, indem sie die Häufigkeitsverteilung visualisieren.

2.Boxplots: Ein Boxplot ist ein Diagramm, das die Verteilung einer numerischen Variablen zeigt. Diese Visualisierungstechnik hilft, Ausreißer zu identifizieren und die Verteilung der Daten zu verstehen, indem ihre Quartile visualisiert werden.

3.Heatmaps: Es handelt sich um grafische Darstellungen von Daten, in denen Farben Werte darstellen. Sie werden häufig zur Darstellung komplexer Datensätze verwendet und bieten eine schnelle und einfache Möglichkeit, Muster und Trends in großen Datenmengen zu visualisieren.

4.Balkendiagramme: Ein Balkendiagramm ist ein Diagramm, das die Verteilung einer kategorialen Variablen zeigt. Es wird verwendet, um die Häufigkeitsverteilung der Daten zu visualisieren, was hilft, die relative Häufigkeit jeder Kategorie zu verstehen.

5.Liniendiagramme: Ein Liniendiagramm ist ein Diagramm, das den Trend einer numerischen Variablen über die Zeit zeigt. Es wird verwendet, um die Änderungen der Daten im Laufe der Zeit zu visualisieren und etwaige Muster oder Trends zu erkennen.

5.Kreisdiagramme: Kreisdiagramme sind Diagramme, die den Anteil einer kategorialen Variablen darstellen. Es wird verwendet, um den relativen Anteil jeder Kategorie zu visualisieren und die Datenverteilung zu verstehen.