مع أخذ ذلك في الاعتبار، قمنا بإنشاء دليل خطوة بخطوة حول كيفية استخدام Text-Generation-WebUI لتحميل Llama 2 LLM محليًا على جهاز الكمبيوتر الخاص بك.

لماذا تثبيت Llama 2 محليًا

هناك العديد من الأسباب التي تجعل الأشخاص يختارون تشغيل Llama 2 مباشرة. البعض يفعل ذلك لأسباب تتعلق بالخصوصية، والبعض الآخر للتخصيص، والبعض الآخر لإمكانيات عدم الاتصال بالإنترنت. إذا كنت تبحث عن Llama 2 أو تضبطه أو تدمجه في مشاريعك، فقد لا يكون الوصول إلى Llama 2 عبر واجهة برمجة التطبيقات (API) مناسبًا لك. الهدف من تشغيل LLM محليًا على جهاز الكمبيوتر الخاص بك هو تقليل الاعتماد على أدوات الذكاء الاصطناعي التابعة لجهات خارجية واستخدام الذكاء الاصطناعي في أي وقت وفي أي مكان، دون القلق بشأن تسرب البيانات الحساسة المحتملة للشركات والمؤسسات الأخرى.

مع ذلك، فلنبدأ بالدليل خطوة بخطوة لتثبيت Llama 2 محليًا.

الخطوة 1: تثبيت أداة إنشاء Visual Studio 2019

لتبسيط الأمور، سنستخدم أداة تثبيت بنقرة واحدة لـ Text-Generation-WebUI (البرنامج المستخدم لتحميل Llama 2 باستخدام واجهة المستخدم الرسومية) . ومع ذلك، لكي يعمل هذا المثبت، تحتاج إلى تنزيل أداة إنشاء Visual Studio 2019 وتثبيت الموارد اللازمة.

تنزيل:Visual Studio 2019 (مجاني)

تابع وقم بتنزيل إصدار المجتمع من البرنامج. الآن قم بتثبيت Visual Studio 2019، ثم افتح البرنامج. بمجرد فتحه، حدد مربع تطوير سطح المكتب باستخدام لغة C واضغط على تثبيت.

الآن بعد أن قمت بتثبيت تطوير سطح المكتب باستخدام لغة C، حان الوقت لتنزيل برنامج التثبيت Text-Generation-WebUI بنقرة واحدة.

الخطوة 2: تثبيت Text-Generation-WebUI

برنامج التثبيت بنقرة واحدة Text-Generation-WebUI هو برنامج نصي يقوم تلقائيًا بإنشاء المجلدات المطلوبة وإعداد بيئة Conda وجميع المتطلبات الضرورية لتشغيل نموذج الذكاء الاصطناعي.

لتثبيت البرنامج النصي، قم بتنزيل برنامج التثبيت بنقرة واحدة من خلال النقر على Code > Download ZIP.

تنزيل: Text-Generation-WebUI Installer (مجاني)

بمجرد التنزيل، قم باستخراج الملف المضغوط إلى موقعك المفضل، ثم افتح المجلد المستخرج. داخل المجلد، قم بالتمرير لأسفل وابحث عن برنامج التشغيل المناسب لنظام التشغيل الخاص بك. قم بتشغيل البرامج بالنقر المزدوج فوق البرنامج النصي المناسب. إذا كنت تستخدم نظام التشغيل Windows، فحدد ملف دفعي start_windows لنظام التشغيل MacOS، وحدد start_macos shell script لنظام التشغيل Linux، وstart_linux shell script.

قد يقوم برنامج مكافحة الفيروسات الخاص بك بإنشاء تنبيه؛ هذا جيد. المطالبة هي مجرد نتيجة إيجابية خاطئة لمكافحة الفيروسات لتشغيل ملف دفعي أو برنامج نصي. انقر فوق "تشغيل" على أي حال. سيتم فتح المحطة وبدء الإعداد. في وقت مبكر، سيتوقف الإعداد مؤقتًا ويسألك عن وحدة معالجة الرسومات التي تستخدمها. حدد النوع المناسب من وحدة معالجة الرسومات المثبتة على جهاز الكمبيوتر الخاص بك واضغط على زر الإدخال. بالنسبة لأولئك الذين ليس لديهم بطاقة رسومات مخصصة، حدد لا شيء (أريد تشغيل النماذج في وضع وحدة المعالجة المركزية). ضع في اعتبارك أن التشغيل على وضع وحدة المعالجة المركزية (CPU) أبطأ بكثير مقارنةً بتشغيل النموذج باستخدام وحدة معالجة رسومات مخصصة. بمجرد اكتمال الإعداد، يمكنك الآن تشغيل Text-Generation-WebUI محليًا. يمكنك القيام بذلك عن طريق فتح متصفح الويب المفضل لديك وإدخال عنوان IP المقدم على عنوان URL. واجهة WebUI جاهزة الآن للاستخدام.

ومع ذلك، فإن البرنامج مجرد محمل نموذج. لنقم بتنزيل Llama 2 لبدء تشغيل أداة تحميل النموذج.

الخطوة 3: تنزيل نموذج Llama 2

هناك عدد قليل من الأشياء التي يجب مراعاتها عند تحديد تكرار Llama 2 الذي تحتاجه. وتشمل هذه المعلمات والتكميم وتحسين الأجهزة والحجم والاستخدام. سيتم العثور على كل هذه المعلومات مذكورة في اسم النموذج.

المعلمات: عدد المعلمات المستخدمة لتدريب النموذج. المعلمات الأكبر تصنع نماذج أكثر قدرة ولكن على حساب الأداء. الاستخدام: يمكن أن يكون قياسيًا أو دردشة. تم تحسين نموذج الدردشة لاستخدامه كروبوت دردشة مثل ChatGPT، في حين أن المعيار هو النموذج الافتراضي. تحسين الأجهزة: يشير إلى الأجهزة التي تعمل على تشغيل النموذج بشكل أفضل. يعني GPTQ أن النموذج تم تحسينه للتشغيل على وحدة معالجة رسومات مخصصة، بينما تم تحسين GGML للتشغيل على وحدة المعالجة المركزية. التكميم: يدل على دقة الأوزان والتنشيط في النموذج. للاستدلال، دقة q4 هي الأمثل. الحجم: يشير إلى حجم النموذج المحدد.

لاحظ أن بعض النماذج قد يتم ترتيبها بشكل مختلف وقد لا تحتوي على نفس أنواع المعلومات المعروضة. ومع ذلك، فإن هذا النوع من اصطلاح التسمية شائع إلى حد ما في مكتبة HuggingFace Model، لذا فهو لا يزال يستحق الفهم.

في هذا المثال، يمكن تحديد النموذج على أنه نموذج Llama 2 متوسط ​​الحجم تم تدريبه على 13 مليار معلمة محسنة لاستدلال الدردشة باستخدام وحدة المعالجة المركزية المخصصة.

بالنسبة لأولئك الذين يعملون على وحدة معالجة رسومات مخصصة، اختر نموذج GPTQ، بينما بالنسبة لأولئك الذين يستخدمون وحدة المعالجة المركزية، اختر GGML. إذا كنت تريد الدردشة مع النموذج كما تفعل مع ChatGPT، فاختر الدردشة، ولكن إذا كنت تريد تجربة النموذج بكامل إمكاناته، فاستخدم النموذج القياسي. أما بالنسبة للمعلمات، فاعلم أن استخدام نماذج أكبر سيوفر نتائج أفضل على حساب الأداء. أنا شخصياً أوصيك بالبدء بنموذج 7B. أما بالنسبة للتكميم، فاستخدم q4، لأنه مخصص للاستدلال فقط.

التنزيل: GGML (مجاني)

التنزيل: GPTQ (مجاني)

الآن بعد أن عرفت ما هو تكرار Llama 2 الذي تحتاجه، تابع وقم بتنزيل النموذج الذي تريده .

في حالتي، بما أنني أقوم بتشغيل هذا على جهاز Ultrabook، سأستخدم نموذج GGML المضبوط جيدًا للدردشة، llama-2-7b-chat-ggmlv3.q4_K_S.bin.

بعد انتهاء التنزيل، ضع النموذج في نماذج text-gene-webui-main >.

الآن بعد أن قمت بتنزيل النموذج الخاص بك ووضعه في مجلد النموذج، فقد حان الوقت لتكوين أداة تحميل النموذج.

الخطوة 4: تكوين Text-Generation-WebUI

الآن، لنبدأ مرحلة التكوين.

مرة أخرى، افتح Text-Generation-WebUI عن طريق تشغيل ملف start_ (نظام التشغيل الخاص بك) (راجع الخطوات السابقة أعلاه). في علامات التبويب الموجودة أعلى واجهة المستخدم الرسومية، انقر فوق النموذج. انقر فوق زر التحديث في القائمة المنسدلة للنموذج وحدد النموذج الخاص بك. انقر الآن على القائمة المنسدلة لمحمل النموذج وحدد AutoGPTQ لأولئك الذين يستخدمون نموذج GTPQ ومحولات ct لأولئك الذين يستخدمون نموذج GGML. أخيرًا، انقر فوق "تحميل" لتحميل النموذج الخاص بك. لاستخدام النموذج، افتح علامة التبويب "دردشة" وابدأ في اختبار النموذج.

تهانينا، لقد قمت بتحميل Llama2 بنجاح على جهاز الكمبيوتر المحلي الخاص بك!

جرب LLMs أخرى

الآن بعد أن عرفت كيفية تشغيل Llama 2 مباشرة على جهاز الكمبيوتر الخاص بك باستخدام Text-Generation-WebUI، يجب أن تكون أيضًا قادرًا على تشغيل LLMs أخرى إلى جانب Llama. فقط تذكر اصطلاحات تسمية النماذج وأنه لا يمكن تحميل سوى الإصدارات الكمية من النماذج (عادة بدقة Q4) على أجهزة الكمبيوتر العادية. تتوفر العديد من شهادات LLM الكمية على HuggingFace. إذا كنت ترغب في استكشاف نماذج أخرى، فابحث عن TheBloke في مكتبة نماذج HuggingFace، وستجد العديد من النماذج المتاحة.