パフォーマンスを向上させるために MySQL から大量のデータをチャンクで取得する

数百万行を含む大規模な MySQL 選択を処理する場合、データの取得中にメモリ制約に関する問題が発生する可能性があります。この記事では、LIMIT 機能を利用してデータを管理可能なチャンクで取得することで、この課題に対する解決策を検討します。

大きなデータセットを繰り返し取得するには、LIMIT 機能を使用できます。開始行と取得する行の最大数を指定することで、選択プロセスをより小さなサブセットに分割できます。たとえば、次のクエリを実行すると:

SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000

最初の 1,000 行がフェッチされます。後続の 1,000 行のセットを取得するには、次のような調整された LIMIT 値を使用して同様のクエリを発行できます。

SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000
SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000

ただし、この方法では、取得プロセス中にテーブルが変更される可能性があるため、行の一貫した順序は保証されません。これに対処するには、まず一時テーブルを作成し、それに順序付けされた結果を入力します。

CREATE TEMPORARY TABLE MyChunkedResult AS (
  SELECT *
  FROM MyTable
  ORDER BY whatever
);

これにより、行をチャンクで取得するときに行の順序がそのまま維持されることが保証されます。

SELECT * FROM MyChunkedResult LIMIT 0, 1000;
SELECT * FROM MyChunkedResult LIMIT 1000,1000;
SELECT * FROM MyChunkedResult LIMIT 2000,1000;
.. and so on.

各チャンクの適切な開始行を決定し、結果の終わりをチェックするために、カスタム ロジックを実装できます。パフォーマンスを最適化するには、1,000 レコードより大幅に大きなチャンク サイズを使用することをお勧めします。

データの取得が完了したら、リソース管理のために一時テーブルを削除することをお勧めします。

DROP TEMPORARY TABLE MyChunkedResult;

このチャンク化した取得アプローチを採用すると、パフォーマンスが大幅に向上し、大規模な MySQL データセットを正常に抽出できるようになります。