إنشاء مصفوفات كبيرة جدًا في Python و NumPy

تشتهر NumPy بقدرتها على التعامل مع المصفوفات الكبيرة. ومع ذلك، فإن إنشاء مصفوفات تتجاوز أبعادًا معينة، مثل 50000 × 50000، يمكن أن يواجه قيودًا على الذاكرة. وهذا يثير السؤال: هل من الممكن إنشاء مصفوفات ضخمة (على سبيل المثال، 1 مليون × 1 مليون) داخل NumPy دون استهلاك كميات كبيرة من ذاكرة الوصول العشوائي؟

تكمن الإجابة في الاستفادة من PyTables وNumPy معًا. تعمل PyTables عن طريق تخزين البيانات بتنسيق HDF على القرص، مما يوفر المرونة لاختيار خيارات الضغط. يمكن أن يؤدي هذا إلى تقليل متطلبات الذاكرة بشكل كبير، غالبًا بعامل مثير للإعجاب يصل إلى 10x. علاوة على ذلك، تتميز PyTables بأداء مثير للإعجاب، مما يتيح معالجة البيانات بكفاءة، حتى على الأجهزة المتواضعة.

للوصول إلى البيانات كإعادة تشغيل NumPy، ما عليك سوى استخدام الصيغة التالية:

data = table[row_from:row_to]

تتولى مكتبة HDF تحميل البيانات وتحويلها إلى NumPy، مما يوفر تجربة سلسة للمطور. يسمح هذا الأسلوب بإنشاء ومعالجة مصفوفات كبيرة جدًا دون إثقال ذاكرة النظام.