이러한 기술이 함께 작동하는 방법은 다음과 같습니다.

데이터 파이프라인 아키텍처:

• MySQL: 구조화된 데이터의 기본 소스.
• TiDB: MySQL과 호환되는 분산 SQL 데이터베이스로 확장성과 고가용성을 위해 사용됩니다.
• Kafka: 실시간 데이터 스트리밍을 위한 메시징 시스템.
• Logstash: 다양한 소스에서 데이터를 수집하여 다양한 대상으로 보내는 데이터 처리 파이프라인 도구입니다.
• Redis: 자주 액세스하는 데이터에 빠르게 액세스하기 위한 캐싱 레이어.
• Elasticsearch: 대용량 데이터 쿼리를 위한 검색 및 분석 엔진.
• CloudCanal: MySQL과 같은 다양한 소스의 데이터를 TiDB, Kafka, Redis 및 Elasticsearch로 동기화하는 데 사용되는 데이터 통합 ​​도구입니다.

워크플로 세부정보:

1. 데이터 수집:

• 애플리케이션은 MySQL에 데이터를 저장합니다.
• CloudCanal은 MySQL의 데이터를 TiDB 및 Kafka로 동기화하는 데 사용됩니다.

2. 데이터 스트리밍 및 처리:

카프카:

• Kafka는 CloudCanal을 통해 MySQL에서 데이터를 수집하고 이를 다양한 주제에 브로드캐스트합니다.
• 주제에는 다양한 소비자가 처리할 수 있는 데이터 이벤트 스트림이 포함되어 있습니다.

Logstash:

• Logstash는 Kafka 소비자 역할을 하며 Kafka의 데이터를 처리하고 이를 Elasticsearch 및 Redis와 같은 다양한 출력으로 보냅니다.

삼. 데이터 저장 및 검색:

TiDB:

• TiDB는 대용량 데이터를 처리할 수 있는 확장 가능하고 가용성이 높은 데이터베이스 솔루션 역할을 합니다.
• TiDB는 MySQL과 호환되므로 MySQL에서 쉽게 통합하고 마이그레이션할 수 있습니다.

Redis:

• Redis는 MySQL에서 자주 액세스하는 데이터 또는 Kafka에서 처리된 이벤트에 대한 캐싱 계층으로 사용됩니다.
• 애플리케이션은 데이터 검색 속도를 높이기 위해 MySQL을 쿼리하기 전에 Redis를 먼저 쿼리할 수 있습니다.

탄력적 검색:

• Logstash는 Kafka에서 데이터를 수집하여 Elasticsearch로 보낼 수 있습니다.
• Elasticsearch는 빠른 검색과 분석을 위해 데이터를 인덱싱합니다.
• 애플리케이션은 고급 검색 기능과 실시간 분석을 위해 Elasticsearch에 쿼리할 수 있습니다.

데이터 흐름 예:

MySQL의 데이터 입력:

• 사용자가 MySQL 데이터베이스에 새 레코드를 삽입합니다.
• CloudCanal은 MySQL의 변경 사항을 모니터링하고 이벤트를 TiDB 및 Kafka 주제로 보냅니다.

실시간 처리:

• Kafka는 주제에 대한 이벤트를 방송합니다.
• Logstash는 Kafka 소비자 역할을 하며 이벤트를 처리하고 인덱싱을 위해 구문 분석된 데이터를 Elasticsearch로 보냅니다.
• 동시에 Redis가 업데이트되어 새 데이터를 캐시합니다.

데이터 접근:

• 애플리케이션이 Redis 캐시에서 데이터를 확인합니다.
• 데이터가 캐시에 없으면 MySQL이나 TiDB를 쿼리합니다.
• 복잡한 쿼리 및 분석을 위해 애플리케이션은 Elasticsearch를 쿼리합니다.

이건 내 메모용입니다. CTTO