데이터가 수집되고 저장되면 데이터에 대한 의미 있는 이해를 도출하기 위한 분석이 필요합니다. 이것이 탐색적 데이터 분석(EDA)이 작동하는 이유입니다. 이름에서 알 수 있듯이, 우리는 데이터를 '탐색'합니다. 즉, 데이터에 대한 일반적인 개요를 얻고 있습니다.

수집된 데이터는 텍스트, 비디오, 이미지일 수 있으며 일반적으로 구조화되지 않은 방식으로 저장됩니다. 100% 깨끗한 데이터, 즉 변칙이 없는 데이터는 거의 찾을 수 없습니다. 또한 데이터는 Excel, CSV(쉼표로 구분된 값), Json, Parquet 등

데이터 세계에서 EDA는 데이터 조작 또는 데이터 정리라고도 합니다. 업계 실무자들은 '정크'를 제거하기 위한 데이터 정리의 중요성을 강조합니다. 이는 결과와 예측에 부정적인 영향을 미칠 수 있기 때문입니다. 일반적으로 표 형식의 구조화된 데이터는 여러 기술과 도구(예: Excel, Power BI, SQL)를 사용하여 분석할 수 있지만 여기서는 Python에 중점을 두고 설명하겠습니다.

Python을 사용하는 EDA
Python 프로그래밍 언어는 금융, 교육, 의료, 광업, 숙박 등 여러 산업 분야에서 사용할 수 있는 다양성으로 인해 EDA에서 가장 널리 사용되는 도구 중 하나입니다.
Pandas 및 NumPy와 같은 내장 라이브러리는 이 점에서 매우 효과적이며 전반적으로 작동합니다(Anaconda/Jupyter Notebook, Google Collab 또는 Visual Studio와 같은 IDE 사용 여부)

다음은 EDA를 수행할 때 실행 가능한 일반적인 단계와 코드 라인입니다.

먼저 조작/분석에 필요한 Python 라이브러리를 가져옵니다.

pd로 팬더 가져오기
numpy를 np로 가져오기

두 번째로 데이터세트를 로드합니다.
df = pd.read_excel('파일 경로')

참고: df는 표 형식의 데이터를 데이터 프레임으로 변환하는 표준 함수입니다.

로드되면 다음 코드를 사용하여 데이터를 미리 볼 수 있습니다.
df.head()

데이터세트의 처음 5개 행이 표시됩니다.
또는 간단히 df를 실행하면 전체 데이터세트에서 선택된 몇 개의 행(상단 및 하단 모두)과 그 안의 모든 열이 표시됩니다.

셋째, 다음을 사용하여 모든 데이터 유형을 이해합니다.
df.info()

참고: 데이터 유형에는 정수(정수), 부동 소수점(소수) 또는 객체(정성적 데이터/설명 단어)가 포함됩니다.

이 단계에서는 다음을 사용하여 데이터의 요약 통계를 얻는 것이 좋습니다.
df.describe()

이것은 평균, 모드, 표준 편차, 최대/최소 값 및 사분위수와 같은 통계를 제공합니다.

넷째, 다음을 사용하여 데이터세트에 null 값이 존재하는지 식별합니다.
df.isnull()

이후 중복 항목(반복 항목)을 확인할 수 있습니다.
df.duplicated()

EDA의 다른 주요 측면은 데이터세트의 다양한 변수가 서로 어떻게 연관되어 있는지(상관관계) 및 분포를 확인하는 것입니다.
상관관계는 양수 또는 음수일 수 있으며 범위는 -1부터 1까지입니다. 해당 코드는 다음과 같습니다.

df.corr()

참고: 1에 가까운 상관관계 수치는 강한 양의 상관관계를 나타내고, -1에 가까운 수치는 를 나타냅니다. 강한 음의 상관관계.

분포는 데이터의 대칭 또는 비대칭뿐만 아니라 데이터의 왜도를 확인하며 정규, 이항, 베르누이 또는 푸아송.

요약하자면 탐색적 데이터 분석은 데이터를 더 잘 이해하는 데 중요한 프로세스입니다. 더 나은 시각화와 모델 구축이 가능합니다.