हाल ही में, मैं नारुतो को बार-बार देखने की अपनी लत से जूझ रहा हूं। हालाँकि यह आनंददायक है, यह निश्चित रूप से मुझे शेयरधारक मूल्य प्रदान करने में मदद नहीं करता है। ?

तो, एक एआई निजी सहायक क्यों न बनाया जाए जो मेरी स्क्रीन पर नज़र रखे और मुझे बताए कि क्या मैं कुछ ऐसा कर रहा हूं जो मुझे नहीं करना चाहिए, जैसे एनीमे देखना? ?

पिछले साल एआई में तेजी से विकास को ध्यान में रखते हुए, मैंने अपनी स्क्रीन की निगरानी करने के लिए एक मल्टी-मॉडल भाषा मॉडल का उपयोग करने का फैसला किया और जब मैं गैर-उत्पादक गतिविधियों पर बहुत अधिक समय खर्च कर रहा होता हूं तो मुझे बता देता हूं।

तो, मैंने यह कैसे किया।

• OpenAI GPT-4o, मल्टी-मोडल AI मॉडल कॉन्फ़िगर करें।
• स्क्रीन की निगरानी के लिए कंपोज़ियो के स्क्रीन विश्लेषक उपकरण का उपयोग करें।
• स्क्रीनशॉट को नियमित अंतराल पर GPT पर पास करें।
• सिस्टम में अधिसूचना के रूप में जीपीटी से संदेश प्रस्तुत करना।

इस लेख में, मैं यह भी बताऊंगा कि आप OpenAI और Composio का उपयोग करके अपना व्यक्तिगत AI मित्र कैसे बना सकते हैं।

कंपोज़ियो - आपका एआई एजेंट टूलींग प्लेटफ़ॉर्म

कंपोज़ियो एक ओपन-सोर्स प्लेटफ़ॉर्म है जो आपके एआई एजेंटों को टूल और एकीकरण से लैस करता है। यह आपको कोड इंटरप्रेटर, आरएजी, एंबेडिंग और गिटहब, स्लैक, जिरा इत्यादि जैसे एकीकरण टूल के माध्यम से अपने एआई एजेंटों की क्षमता और बहुमुखी प्रतिभा को बढ़ाने की सुविधा देता है।

कृपया एक स्टार के साथ हमारी मदद करें। ?

इससे हमें इस तरह के और लेख बनाने में मदद मिलेगी?

Composio.dev रिपॉजिटरी को तारांकित करें ⭐

एआई मित्र के निर्माण के लिए पूर्वापेक्षाएँ

परियोजना को सफलतापूर्वक पूरा करने के लिए, आपको निम्नलिखित की आवश्यकता होगी।

• ओपनएआई एसडीके और एपीआई कुंजी: एलएलएम के साथ बातचीत करने के लिए।
• कंपोज़ियो: छवि विश्लेषण उपकरण तक पहुंचने के लिए।
• PyAutoGUI: स्क्रीन पर इंटरैक्शन स्वचालित करने के लिए।
• ओसास्क्रिप्ट: MacOS अनुप्रयोगों को नियंत्रित करने के लिए AppleScript कमांड निष्पादित करने के लिए।

तो चलो शुरू हो जाओ।

आएँ शुरू करें ?

पायथन आभासी वातावरण बनाकर शुरुआत करें।

python -m venv ai-friend
cd ai-friend
source bin/activate

अब, निम्नलिखित निर्भरताएँ स्थापित करें।

pip install composio-core
pip install composio-openai openai
pip install pyautogui

इसके बाद, एक .env फ़ाइल बनाएं और OpenAI API कुंजी के लिए पर्यावरण चर जोड़ें।

OPENAI_API_KEY=your API key

कंपोज़ियो सेट करें

आप कंपोज़ियो को आसानी से सेट करने के लिए सीएलआई का उपयोग कर सकते हैं।

सबसे पहले, निम्नलिखित कमांड चलाकर अपने खाते में लॉग इन करें।

composio login

आगे बढ़ने के लिए लॉगिन प्रवाह समाप्त करें।

अब, ऐप्स अपडेट करें।

composio apps update

अब, आप कोडिंग भाग में जाने के लिए तैयार हैं।

एआई मित्र का निर्माण

अब जब आपने वातावरण तैयार कर लिया है, तो चलिए कोडिंग भाग पर चलते हैं।

सबसे पहले, लाइब्रेरी आयात करें और टूलसेट प्रारंभ करें।

import dotenv
from openai import OpenAI

from composio_openai import App, ComposioToolSet
from composio.utils.logging import get as get_logger

logger = get_logger(__name__)


# Load environment variables from .env
dotenv.load_dotenv()

# Initialize tools.
openai_client = OpenAI()
composio_toolset = ComposioToolSet()

# Retrieve actions
actions = composio_toolset.get_tools(apps=[App.SYSTEMTOOLS, App.IMAGEANALYSERTOOL])

तो, उपरोक्त कोड ब्लॉक में,

• हमने सभी आवश्यक लाइब्रेरी और मॉड्यूल आयात किए।
• .env फ़ाइल में परिभाषित वेरिएबल लोड किए गए।
• OpenAI() और ComposioToolSet का एक उदाहरण बनाया गया।
• SYSTEMTOOLS और IMAGEANALYSERTOO से क्रियाएं पुनर्प्राप्त की गईं।

तो, ये उपकरण क्या करते हैं।

• सिस्टम टूल्स: सिस्टम टूल्स में दो क्रियाएं होती हैं: पुश नोटिफिकेशन और स्क्रीन कैप्चर।
• IMAGEANALYSERTOOL: इस टूल में केवल एक क्रिया है: GPT-4o और क्लाउड सॉनेट आदि जैसे मल्टी-मोडल एलएलएम का उपयोग करके छवियों का विश्लेषण करता है।

यदि आप कोड की जांच करना चाहते हैं और यह कैसे काम करता है, तो सिस्टम टूल और छवि विश्लेषक टूल के लिए कोड फ़ाइलों की जांच करें।

नोट: कंपोज़ियो में क्रियाएं वे कार्य हैं जो आपका एजेंट कर सकता है, जैसे स्क्रीनशॉट क्लिक करना, अधिसूचना भेजना, या मेल भेजना।

OpenAI असिस्टेंट सेट करें

अब, एजेंट के लिए एक स्पष्ट और संक्षिप्त संकेत परिभाषित करें। एजेंट के प्रदर्शन के लिए यह महत्वपूर्ण है. आप अपनी आवश्यकताओं के आधार पर संकेतों को बदल सकते हैं।

assistant_instruction = (
    """You are an intelligent and proactive personal productivity assistant.
    Your primary tasks are:
    1. Regularly capture and analyze screenshots of the user's screen.
    2. Monitor user activity and provide timely, helpful interventions.

    Specific responsibilities:
    - Every few seconds, take a screenshot and analyze its content.
    - Compare recent screenshots to identify potential issues or patterns.
    - If you detect that the user is facing a technical or workflow problem:
        - Notify them with concise, actionable solutions.
        - Prioritize non-intrusive suggestions that can be quickly implemented.
    - If you notice extended use of potentially distracting websites or applications (e.g., social media, video streaming):
        - Gently remind the user about their productivity goals.
        - Suggest a brief break or a transition to a more focused task.
    - Maintain a balance between being helpful and not overly disruptive.
    - Tailor your interventions based on the time of day and the user's apparent work patterns.

    Operational instructions:
    - You will receive a 'CHECK' message at regular intervals. Upon receiving this:
        1. Take a screenshot using the screenshot tool.
        2. Then, analyse that screenshot using the image analyser tool.
        3. Then, check if the user uses distracting websites or applications.
        4. If they are, remind them to do something productive.
        5. If they are not, check if the user is facing a technical or workflow problem based on previous history.
        6. If they are, notify them with concise, actionable solutions.
        7. Try to maintain a history of the user's activity and notify them if they are doing something wrong.

    Remember: Your goal is to enhance productivity while respecting the user's autonomy and work style."""
)
assistant = openai_client.beta.assistants.create(
    name="Personal Productivity Assistant",
    instructions=assistant_instruction,
    model="gpt-4-turbo",
    tools=actions,  # type: ignore
)
# create a thread
thread = openai_client.beta.threads.create()
print("Thread ID: ", thread.id)
print("Assistant ID: ", assistant.id)

उपरोक्त कोड ब्लॉक में,

• एक विस्तृत सहायक निर्देश प्रदान किया गया है।
• पहले से परिभाषित निर्देश, मॉडल नाम और पहले से परिभाषित कार्यों के साथ एक नया सहायक उदाहरण बनाया गया।
• अंत में, मॉडलों के साथ बातचीत के लिए एक थ्रेड बनाएं।

Assistant को परिभाषित करें और चलाएँ

अब, सहायकों को चलाने के लिए एक फ़ंक्शन को परिभाषित करें।

def check_and_run_assistant():
    logger.info("Checking and running assistant")

    # Send 'CHECK' message to the assistant
    message = openai_client.beta.threads.messages.create(
        thread_id=thread.id,
        role="user",
        content="CHECK",
    )

    # Execute Agent
    run = openai_client.beta.threads.runs.create(
        thread_id=thread.id,
        assistant_id=assistant.id,
    )

    # Execute function calls
    run_after_tool_calls = composio_toolset.wait_and_handle_assistant_tool_calls(
        client=openai_client,
        run=run,
        thread=thread,
    )

# Run the assistant check every 10 seconds
while True:
    check_and_run_assistant()

यहां बताया गया है कि उपरोक्त कोड में क्या चल रहा है।

• एक 'चेक' संदेश भेजें: यह मॉडल उत्तरदायी है यह सुनिश्चित करने के लिए निर्दिष्ट थ्रेड में सहायक को एक "चेक" संदेश भेजता है।
• निष्पादित एजेंट: निर्दिष्ट थ्रेड और सहायक आईडी का उपयोग करके सहायक के लिए एक रन बनाता है।
• टूल कॉल संभालें: कंपोज़ियो टूलसेट का उपयोग करके सहायक द्वारा किए गए टूल कॉल की प्रतीक्षा करता है और उन्हें संभालता है।
• एजेंट को लूप करें: एजेंट को लूप करें ताकि वह चले और आपके वर्कफ़्लो पर लगातार नज़र रखे।

अंत में, पायथन फ़ाइल चलाकर फ़ाइल को निष्पादित करें और अपने नए एआई मित्र को अपने लक्ष्यों पर ध्यान केंद्रित रखने दें।

एजेंट आपकी स्क्रीन पर नज़र रखता है और जब वह आपको कुछ ऐसा करते हुए देखता है जो आपको नहीं करना चाहिए तो एक अधिसूचना भेजता है।

पूरा कोड यहां पाया जा सकता है

यहां सक्रिय एजेंट का एक उदाहरण दिया गया है।

अगले कदम

इस लेख में, आपने अपना वैयक्तिकृत AI मित्र बनाया है जो आपकी गतिविधि पर नज़र रखता है। हालाँकि, कैलेंडर या जीमेल टूल जैसे बाहरी एकीकरण जोड़ने से यह और भी उपयोगी हो सकता है। इससे आपको पता चलेगा कि क्या आपके पास भाग लेने के लिए कुछ कार्यक्रम हैं या जवाब देने के लिए महत्वपूर्ण ईमेल हैं।

आप इसे कंपोज़ियो के विस्तृत एकीकरणों के साथ आसानी से कर सकते हैं, GitHub और कैलेंडर से लेकर स्लैक, डिस्कॉर्ड और बहुत कुछ।

यदि आप एआई से संबंधित अधिक लेख देखना चाहते हैं, तो मुझे टिप्पणियों में बताएं और हमें GitHub पर एक स्टार दें।

Composio.dev रिपॉजिटरी को तारांकित करें ⭐

पढ़ने के लिए आपका शुक्रिया!