大規模な結果セットに対する MySQLDB SSCursor の効率的な利用

数十万行以上を含む膨大な結果セットを処理する場合、効率的なメモリ管理が必要になります。重要な。そのため、MySQLDB SScursor (ストリーミング選択カーソル) は、メモリ消費を最小限に抑えるための適切なツールとして浮上します。

ベース カーソルを使用した Fetchall() と SSCursor の区別

一般的な考えに反して、SScursor から fetchall() を実行すると、ベース カーソルから実行するよりも多くのメモリが消費されます。これは、SScursor がサーバーから結果をチャンク単位で段階的にフェッチするのに対し、fetchall() は結果セット全体をメモリにダウンロードするためです。したがって、 fetchall() の使用は、メモリに制約のあるシナリオでは直観に反します。行ベースで、次の方法を使用します:

import MySQLdb.cursors 接続=MySQLdb.connect( ホスト = "ホスト"、ユーザー = "ユーザー"、 passwd="パスワード",db="データベース", カーソルクラス = MySQLdb.cursors.SSCursor) カーソル=接続.カーソル() カーソル.実行(クエ​​リ) カーソル内の行の場合: print(row)

import MySQLdb.cursors
connection=MySQLdb.connect(
    host="thehost",user="theuser",
    passwd="thepassword",db="thedb",
    cursorclass = MySQLdb.cursors.SSCursor)

cursor=connection.cursor()
cursor.execute(query)

for row in cursor:
    print(row)

次の場合にサーバー側カーソルを使用します。可能です。

• 大きな結果セットを効率的に処理できる MariaDB の MyRocks などの代替データベース エンジンを検討します。