페이지 매김은 대규모 데이터 세트를 처리할 때 데이터베이스 작업의 중요한 부분입니다. 이를 통해 데이터를 관리 가능한 단위로 분할할 수 있으므로 탐색, 처리 및 표시가 더 쉬워집니다. MongoDB는 오프셋 기반과 커서 기반이라는 두 가지 일반적인 페이지 매김 방법을 제공합니다. 두 가지 방법 모두 동일한 목적을 제공하지만 성능과 유용성 면에서 크게, 특히 데이터세트가 커짐에 따라 다릅니다.

두 가지 접근 방식을 살펴보고 커서 기반 페이지 매김이 종종 오프셋 기반 페이지 매김보다 성능이 뛰어난 이유를 살펴보겠습니다.

1. 오프셋 기반 페이지 매김

오프셋 기반 페이지 매김은 간단합니다. 주어진 오프셋에서 시작하여 특정 수의 레코드를 검색합니다. 예를 들어 첫 번째 페이지에서는 레코드 0-9를 검색하고 두 번째 페이지에서는 레코드 10-19를 검색하는 식으로 계속됩니다.

그러나 이 방법에는 중요한 단점이 있습니다. 상위 페이지로 이동할수록 쿼리 속도가 느려집니다. 이는 데이터베이스가 이전 페이지의 레코드를 스캐닝하여 건너뛰어야 하기 때문입니다.

오프셋 기반 페이지 매김 코드는 다음과 같습니다.

비동기 함수 offset_based_pagination(params) { const { 페이지 = 5, 제한 = 100 } = params; const 건너뛰기 = (페이지 - 1) * 제한; const 결과 = collection.find({}).skip(skip).limit(limit).toArray();를 기다립니다. console.log(`오프셋 기반 페이지 매김(페이지 ${page}):`, results.length, "page", page, "skip", Skip, "limit",limit); }

async function offset_based_pagination(params) {
  const { page = 5, limit = 100 } = params;
  const skip = (page - 1) * limit;
  const results = await collection.find({}).skip(skip).limit(limit).toArray();
  console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}

2.

커서 기반 페이지 매김

키 세트 페이지 매김이라고도 하는 커서 기반 페이지 매김은 고유 식별자(예: ID 또는 타임스탬프)를 사용하여 레코드를 페이지 매김합니다. 특정 수의 레코드를 건너뛰는 대신 마지막 검색된 레코드를 다음 세트를 가져오기 위한 참조 지점으로 사용합니다.

이 접근 방식은 현재 페이지 이전의 레코드를 스캔할 필요가 없기 때문에 더 효율적입니다. 결과적으로 데이터 세트의 깊이에 관계없이 쿼리 시간이 일정하게 유지됩니다.

커서 기반 페이지 매김 코드는 다음과 같습니다.

비동기 함수cursor_based_pagination(params) { const { lastDocumentId, 제한 = 100 } = params; const 쿼리 = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {}; const 결과 = 수집 대기 .find(쿼리) .sort({ documentId: 1 }) .한도(한도) .toArray(); console.log("커서 기반 페이지 매기기:", results.length); }

async function offset_based_pagination(params) {
  const { page = 5, limit = 100 } = params;
  const skip = (page - 1) * limit;
  const results = await collection.find({}).skip(skip).limit(limit).toArray();
  console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}

이 예에서

lastDocumentId는 이전 페이지의 마지막 문서 ID입니다. 다음 페이지를 쿼리할 때 데이터베이스는 이 값보다 큰 ID를 가진 문서를 가져오므로 다음 레코드 세트로 원활하게 전환됩니다.

3.

성능 비교

이 두 가지 방법이 대규모 데이터세트에서 어떻게 작동하는지 살펴보겠습니다.

비동기 함수 testMongoDB() { console.time("MongoDB 삽입 시간:"); insertMongoDBRecords()를 기다립니다. console.timeEnd("MongoDB 삽입 시간:"); // documentId 필드에 인덱스를 생성합니다. 컬렉션을 기다리고 있습니다.createIndex({ documentId: 1 }); console.log("documentId 필드에 생성된 인덱스"); console.time("오프셋 기반 페이지 매김 시간:"); offset_based_pagination({ 페이지: 2, 제한: 250000 }); console.timeEnd("오프셋 기반 페이지 매김 시간:"); console.time("커서 기반 페이지 매김 시간:"); wait 커서_기반_pagination({ lastDocumentId: 170000, 제한: 250000 }); console.timeEnd("커서 기반 페이지 매김 시간:"); client.close()를 기다립니다. }

async function offset_based_pagination(params) {
  const { page = 5, limit = 100 } = params;
  const skip = (page - 1) * limit;
  const results = await collection.find({}).skip(skip).limit(limit).toArray();
  console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}

성능 테스트에서

오프셋 기반 페이지 매김은 페이지 번호가 증가할수록 더 길어지는 반면, 커서는 기반 페이지 매기기는 일관성을 유지하므로 대규모 데이터 세트에 더 나은 선택이 됩니다. 이 예는 또한 인덱싱의 강력함을 보여줍니다. 인덱스를 제거하고 결과도 확인해보세요!

색인 생성이 중요한 이유

인덱스가 없으면 MongoDB는 컬렉션 스캔을 수행해야 합니다. 즉, 관련 데이터를 찾기 위해 컬렉션의 각 문서를 조사해야 한다는 의미입니다. 이는 특히 데이터세트가 커질 때 비효율적입니다. 인덱스를 사용하면 MongoDB가 쿼리 조건과 일치하는 문서를 효율적으로 찾을 수 있어 쿼리 성능이 크게 향상됩니다.

커서 기반 페이지 매김의 맥락에서 인덱스는 문서의 다음 세트(documentId 기반)를 빠르게 가져오는 것을 보장하고 더 많은 문서가 컬렉션에 추가되어도 성능이 저하되지 않도록 합니다.

결론

오프셋 기반 페이지 매김은 구현하기 쉽지만 레코드를 스캔해야 하기 때문에 대규모 데이터 세트에서는 비효율적일 수 있습니다. 반면에 커서 기반 페이지 매김은 더 확장 가능한 솔루션을 제공하여 데이터 세트 크기에 관계없이 성능을 일관되게 유지합니다. MongoDB에서 대규모 컬렉션으로 작업하는 경우 더 부드럽고 빠른 경험을 위해 커서 기반 페이지 매김을 고려해 볼 가치가 있습니다.

로컬에서 실행할 수 있는 전체 index.js는 다음과 같습니다.

const { MongoClient } = require("mongodb"); const uri = "mongodb://localhost:27017"; const 클라이언트 = 새로운 MongoClient(uri); 클라이언트.연결(); const db = client.db("testdb"); const collection = db.collection("testCollection"); 비동기 함수 insertMongoDBRecords() { 노력하다 { 대량 운영 = []; for (i = 0; i 0) { collection.bulkWrite(bulkOps)를 기다립니다. console.log("? 지금까지 삽입된 레코드 -> ",bulkOps.length); } console.log("MongoDB 삽입 완료"); } 잡기 (오류) { console.error("레코드 삽입 중 오류가 발생했습니다.", err); } } 비동기 함수 offset_based_pagination(params) { const { 페이지 = 5, 제한 = 100 } = params; const 건너뛰기 = (페이지 - 1) * 제한; const 결과 = collection.find({}).skip(skip).limit(limit).toArray();를 기다립니다. console.log(`오프셋 기반 페이지 매김(페이지 ${page}):`, results.length, "page", page, "skip", Skip, "limit",limit); } 비동기 함수cursor_based_pagination(params) { const { lastDocumentId, 제한 = 100 } = params; const 쿼리 = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {}; const 결과 = 수집 대기 .find(쿼리) .sort({ documentId: 1 }) .한도(한도) .toArray(); console.log("커서 기반 페이지 매기기:", results.length); } 비동기 함수 testMongoDB() { console.time("MongoDB 삽입 시간:"); insertMongoDBRecords()를 기다립니다. console.timeEnd("MongoDB 삽입 시간:"); // documentId 필드에 인덱스를 생성합니다. 컬렉션을 기다리고 있습니다.createIndex({ documentId: 1 }); console.log("documentId 필드에 생성된 인덱스"); console.time("오프셋 기반 페이지 매김 시간:"); offset_based_pagination({ 페이지: 2, 제한: 250000 }); console.timeEnd("오프셋 기반 페이지 매김 시간:"); console.time("커서 기반 페이지 매김 시간:"); wait 커서_기반_pagination({ lastDocumentId: 170000, 제한: 250000 }); console.timeEnd("커서 기반 페이지 매김 시간:"); client.close()를 기다립니다. } 테스트몽고DB();

const { MongoClient } = require("mongodb");
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);
client.connect();
const db = client.db("testdb");
const collection = db.collection("testCollection");

async function insertMongoDBRecords() {
  try {
    let bulkOps = [];

    for (let i = 0; i  0) {
      await collection.bulkWrite(bulkOps);
      console.log("? Inserted records till now -> ", bulkOps.length);
    }

    console.log("MongoDB Insertion Completed");
  } catch (err) {
    console.error("Error in inserting records", err);
  }
}

async function offset_based_pagination(params) {
  const { page = 5, limit = 100 } = params;
  const skip = (page - 1) * limit;
  const results = await collection.find({}).skip(skip).limit(limit).toArray();
  console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}

async function cursor_based_pagination(params) {
  const { lastDocumentId, limit = 100 } = params;
  const query = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {};
  const results = await collection
    .find(query)
    .sort({ documentId: 1 })
    .limit(limit)
    .toArray();
  console.log("Cursor-based pagination:", results.length);
}

async function testMongoDB() {
  console.time("MongoDB Insert Time:");
  await insertMongoDBRecords();
  console.timeEnd("MongoDB Insert Time:");

  // Create an index on the documentId field
  await collection.createIndex({ documentId: 1 });
  console.log("Index created on documentId field");

  console.time("Offset-based pagination Time:");
  await offset_based_pagination({ page: 2, limit: 250000 });
  console.timeEnd("Offset-based pagination Time:");

  console.time("Cursor-based pagination Time:");
  await cursor_based_pagination({ lastDocumentId: 170000, limit: 250000 });
  console.timeEnd("Cursor-based pagination Time:");

  await client.close();
}

testMongoDB();