في الآونة الأخيرة، كنت أعاني من إدماني لمشاهدة ناروتو. على الرغم من أنه ممتع، إلا أنه بالتأكيد لا يساعدني في تقديم قيمة للمساهمين. ؟

إذًا، لماذا لا نبني مساعدًا شخصيًا يعمل بالذكاء الاصطناعي يراقب شاشتي ويتيح لي معرفة ما إذا كنت أبالغ في فعل شيء لا ينبغي لي فعله، مثل مشاهدة الرسوم المتحركة؟ ?

بالنظر إلى التطور السريع في الذكاء الاصطناعي في العام الماضي، قررت استخدام نموذج لغة متعدد الوسائط لمراقبة شاشتي وإخباري عندما أقضي الكثير من الوقت في الأنشطة غير الإنتاجية.

إذًا، إليك كيف فعلت ذلك.

• قم بتكوين OpenAI GPT-4o، نموذج الذكاء الاصطناعي متعدد الوسائط.
• استخدم أداة تحليل الشاشة من Composio لمراقبة الشاشة.
• قم بتمرير لقطات الشاشة إلى GPT على فترات منتظمة.
• عرض الرسالة من GPT كإشعار في النظام.

في هذه المقالة، سأشرح أيضًا كيف يمكنك بناء صديقك الشخصي الذي يعمل بتقنية الذكاء الاصطناعي باستخدام OpenAI وComposio.

Composio - منصة أدوات وكيل الذكاء الاصطناعي الخاصة بك

Composio عبارة عن منصة مفتوحة المصدر تزود وكلاء الذكاء الاصطناعي لديك بالأدوات وعمليات التكامل. فهو يتيح لك توسيع قدرة وكلاء الذكاء الاصطناعي لديك وتعدد استخداماتهم من خلال أدوات التكامل مثل مترجم التعليمات البرمجية وRAG والتضمين وعمليات التكامل مثل GitHub وSlack وJira وما إلى ذلك.

الرجاء مساعدتنا بنجمة. ?

سيساعدنا ذلك في إنشاء المزيد من المقالات مثل هذه؟

قم بتمييز مستودع Composio.dev بنجمة ⭐

المتطلبات الأساسية لبناء صديق الذكاء الاصطناعي

لإكمال المشروع بنجاح، ستحتاج إلى ما يلي.

• OpenAI SDK ومفتاح API: للتفاعل مع LLM.
• التركيب: للوصول إلى أداة تحليل الصور.
• PyAutoGUI: لأتمتة التفاعلات على الشاشة.
• Osascript: لتنفيذ أوامر AppleScript للتحكم في تطبيقات macOS.

لذلك، دعونا نبدأ.

هيا بنا نبدأ؟

ابدأ بإنشاء بيئة بايثون الافتراضية.

python -m venv ai-friend
cd ai-friend
source bin/activate

الآن، قم بتثبيت التبعيات التالية.

pip install composio-core
pip install composio-openai openai
pip install pyautogui

بعد ذلك، أنشئ ملف .env وأضف متغيرات البيئة لمفتاح OpenAI API.

OPENAI_API_KEY=your API key

إعداد التركيب

يمكنك استخدام واجهة سطر الأوامر (CLI) لإعداد Composio بسهولة.

أولاً، قم بتسجيل الدخول إلى حسابك عن طريق تشغيل الأمر التالي.

composio login

أكمل عملية تسجيل الدخول للمضي قدمًا.

الآن، قم بتحديث التطبيقات.

composio apps update

الآن، أنت جاهز للانتقال إلى جزء البرمجة.

بناء صديق الذكاء الاصطناعي

الآن بعد أن قمت بإعداد البيئة، دعنا ننتقل إلى جزء البرمجة.

أولاً، قم باستيراد المكتبات وتهيئة مجموعات الأدوات.

import dotenv
from openai import OpenAI

from composio_openai import App, ComposioToolSet
from composio.utils.logging import get as get_logger

logger = get_logger(__name__)


# Load environment variables from .env
dotenv.load_dotenv()

# Initialize tools.
openai_client = OpenAI()
composio_toolset = ComposioToolSet()

# Retrieve actions
actions = composio_toolset.get_tools(apps=[App.SYSTEMTOOLS, App.IMAGEANALYSERTOOL])

لذلك، في مقطع التعليمات البرمجية أعلاه،

• قمنا باستيراد جميع المكتبات والوحدات المطلوبة.
• تم تحميل المتغيرات المحددة في ملف .env.
• تم إنشاء مثيل لـ OpenAI() وComposioToolSet.
• تم استرجاع الإجراءات من SYSTEMTOOLS وIMAGEANALYSERTOO.

إذًا، إليك ما تفعله هذه الأدوات.

• أدوات النظام: تحتوي أدوات النظام على إجراءين: دفع الإشعارات والتقاط الشاشة.
• IMAGEANALYSERTOOL: تحتوي هذه الأداة على إجراء واحد فقط: تحليل الصور باستخدام LLMs متعدد الوسائط مثل GPT-4o وClaude Sonnet، وما إلى ذلك.

إذا كنت ترغب في فحص الكود وكيفية عمله، فتحقق من ملفات الكود الخاصة بأدوات النظام وأداة تحليل الصور.

ملاحظة: الإجراءات في Composio هي مهام يمكن لوكيلك تنفيذها، مثل النقر على لقطة شاشة، أو إرسال إشعار، أو إرسال بريد.

قم بإعداد مساعد OpenAI

الآن، حدد مطالبة واضحة وموجزة للوكيل. وهذا أمر بالغ الأهمية لأداء الوكيل. يمكنك تغيير المطالبات بناءً على متطلباتك.

assistant_instruction = (
    """You are an intelligent and proactive personal productivity assistant.
    Your primary tasks are:
    1. Regularly capture and analyze screenshots of the user's screen.
    2. Monitor user activity and provide timely, helpful interventions.

    Specific responsibilities:
    - Every few seconds, take a screenshot and analyze its content.
    - Compare recent screenshots to identify potential issues or patterns.
    - If you detect that the user is facing a technical or workflow problem:
        - Notify them with concise, actionable solutions.
        - Prioritize non-intrusive suggestions that can be quickly implemented.
    - If you notice extended use of potentially distracting websites or applications (e.g., social media, video streaming):
        - Gently remind the user about their productivity goals.
        - Suggest a brief break or a transition to a more focused task.
    - Maintain a balance between being helpful and not overly disruptive.
    - Tailor your interventions based on the time of day and the user's apparent work patterns.

    Operational instructions:
    - You will receive a 'CHECK' message at regular intervals. Upon receiving this:
        1. Take a screenshot using the screenshot tool.
        2. Then, analyse that screenshot using the image analyser tool.
        3. Then, check if the user uses distracting websites or applications.
        4. If they are, remind them to do something productive.
        5. If they are not, check if the user is facing a technical or workflow problem based on previous history.
        6. If they are, notify them with concise, actionable solutions.
        7. Try to maintain a history of the user's activity and notify them if they are doing something wrong.

    Remember: Your goal is to enhance productivity while respecting the user's autonomy and work style."""
)
assistant = openai_client.beta.assistants.create(
    name="Personal Productivity Assistant",
    instructions=assistant_instruction,
    model="gpt-4-turbo",
    tools=actions,  # type: ignore
)
# create a thread
thread = openai_client.beta.threads.create()
print("Thread ID: ", thread.id)
print("Assistant ID: ", assistant.id)

في مقطع التعليمات البرمجية أعلاه،

• يتم توفير تعليمات مساعدة مفصلة.
• تم إنشاء مثيل مساعد جديد بالتعليمات المحددة مسبقًا واسم النموذج والإجراءات المحددة مسبقًا.
• أخيرًا، قم بإنشاء موضوع للتفاعل مع العارضات.

تحديد وتشغيل المساعد

الآن، قم بتحديد وظيفة لتشغيل المساعدين.

def check_and_run_assistant():
    logger.info("Checking and running assistant")

    # Send 'CHECK' message to the assistant
    message = openai_client.beta.threads.messages.create(
        thread_id=thread.id,
        role="user",
        content="CHECK",
    )

    # Execute Agent
    run = openai_client.beta.threads.runs.create(
        thread_id=thread.id,
        assistant_id=assistant.id,
    )

    # Execute function calls
    run_after_tool_calls = composio_toolset.wait_and_handle_assistant_tool_calls(
        client=openai_client,
        run=run,
        thread=thread,
    )

# Run the assistant check every 10 seconds
while True:
    check_and_run_assistant()

إليك ما يحدث في الكود أعلاه.

• أرسل رسالة "تحقق": يؤدي هذا إلى إرسال رسالة "تحقق" إلى المساعد في سلسلة المحادثات المحددة للتأكد من استجابة النموذج.
• تنفيذ الوكيل: لإنشاء تشغيل للمساعد باستخدام مؤشر الترابط المحدد ومعرفات المساعد.
• التعامل مع استدعاءات الأداة: ينتظر ويتعامل مع استدعاءات الأداة التي أجراها المساعد باستخدام مجموعة أدوات Composio.
• قم بتكرار الوكيل: قم بتكرار الوكيل حتى يتم تشغيله ومراقبة سير عملك بشكل مستمر.

أخيرًا، قم بتنفيذ الملف عن طريق تشغيل ملف Python والسماح لصديقك الجديد الذي يعمل بتقنية الذكاء الاصطناعي بالمحافظة على تركيزك على أهدافك.

يراقب الوكيل شاشتك ويرسل إشعارًا عندما يراك تفعل شيئًا لا ينبغي لك فعله.

الرمز الكامل تجده هنا

هذا مثال على الوكيل أثناء العمل.

الخطوات التالية

في هذه المقالة، قمت ببناء صديقك المخصص الذي يعمل بتقنية الذكاء الاصطناعي والذي يراقب نشاطك. ومع ذلك، فإن إضافة عمليات تكامل خارجية مثل أداة التقويم أو Gmail يمكن أن تجعلها أكثر فائدة. يتيح لك هذا معرفة ما إذا كان لديك بعض الأحداث التي تريد حضورها أو رسائل البريد الإلكتروني المهمة التي تريد الرد عليها.

يمكنك القيام بذلك بسهولة من خلال مجموعة واسعة من عمليات التكامل في Composio، من GitHub والتقويم إلى Slack وDiscord والمزيد.

إذا كنت تريد رؤية المزيد من المقالات المتعلقة بالذكاء الاصطناعي، فأخبرني بذلك في التعليقات وامنحنا نجمة على GitHub.

قم بتمييز مستودع Composio.dev بنجمة ⭐

شكرا لقرائتكم!