從MySQL 中分塊檢索大數據以提高效能

處理包含數百萬行的大量MySQL 選擇時，資料檢索期間可能會出現記憶體限制問題。本文探討了解決這項挑戰的方法，即利用 LIMIT 功能以可管理的區塊形式檢索資料。

要迭代檢索大型資料集，可以使用 LIMIT 功能。透過指定起始行和要檢索的最大行數，我們可以將選擇過程分解為更小的子集。例如，執行以下查詢：

SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000

將取得前1,000行。要擷取後續的 1,000 行集，我們可以使用調整後的 LIMIT 值發出類似的查詢，例如：

SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000
SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000

但是，由於檢索過程中表中可能發生變化，這種方法不能保證行的順序一致。為了解決這個問題，我們可以先建立一個臨時表並用排序的結果填入它：

CREATE TEMPORARY TABLE MyChunkedResult AS (
  SELECT *
  FROM MyTable
  ORDER BY whatever
);

這確保了當我們以區塊的形式檢索行時，行的順序保持不變：

SELECT * FROM MyChunkedResult LIMIT 0, 1000;
SELECT * FROM MyChunkedResult LIMIT 1000,1000;
SELECT * FROM MyChunkedResult LIMIT 2000,1000;
.. and so on.

要確定每個區塊的適當起始行並檢查結果的結尾，可以實現自訂邏輯。建議使用比 1,000 筆記錄大得多的區塊大小來最佳化效能。

完成資料擷取後，建議刪除臨時表以進行資源管理：

DROP TEMPORARY TABLE MyChunkedResult;

採用此分塊擷取方法可大幅提高效能並允許成功提取大型MySQL 資料集。