जब से एलएलएम प्रचलन में आया है, सबसे पहले उपयोग के मामलों/डेमो में से एक डेटा विश्लेषण था। इस स्तर पर, हममें से अधिकांश ने चार्ट बनाने के लिए चैटजीपीटी, क्लाउड या किसी अन्य एआई का उपयोग किया है, लेकिन ऐसा लगता है कि जूरी अभी भी डेटा विज़ुअलाइज़ेशन में एआई की भूमिका पर विचार नहीं कर रही है। क्या हम पॉइंट और क्लिक चार्टिंग में डिफ़ॉल्ट बने रहेंगे? क्या AI 100% चार्ट तैयार करेगा? या क्या भविष्य का हाइब्रिड कुछ एआई पीढ़ी और कुछ बिंदु और क्लिक को मिश्रित कर रहा है?

एआई और डेटा विज़ुअलाइज़ेशन क्षेत्र में एक संस्थापक के रूप में, मुझे यह विषय लगभग अस्तित्वगत लगता है। 2022 के बाद स्थापित (अर्थात एलएलएम के वास्तविक रूप से सामने आने के बाद), हमें यह निर्णय लेना होगा कि हम चार्टिंग को कैसे संभालना चाहते हैं। क्या हम चार्टिंग कार्यक्षमता विकसित करने के लिए विकास कार्य (और धन) के घंटों और घंटों का निवेश करते हैं, या क्या यह दूर जा रहा है और पूर्व-एलएलएम निर्मित सभी उपकरणों के लिए एक बड़ी लागत है? या भविष्य का संकर है? हाल ही में मेरी नजर डेटा फॉर्म्युलेटर पर पड़ी, जो एक शोध परियोजना है, जो एआई और पारंपरिक चार्टिंग के बीच कुछ बेहद दिलचस्प अंतःक्रियाओं का पता लगाती है, जिसने मेरे लिए इस प्रश्न को पुनर्जीवित कर दिया।

इस पोस्ट में मैं यह देखने जा रहा हूं कि आज हम टेक्स्ट-टू-चार्ट (या टेक्स्ट-टू-विज़ुअलाइज़ेशन) के लिए कहां हैं और भविष्य में हम कहां जा सकते हैं।

टेक्स्ट-टू-विज़ुअलाइज़ेशन की वर्तमान स्थिति

एआई की सभी चीज़ों की तरह, यह पोस्ट संभवतः बहुत पुरानी नहीं होगी। अगले 6 महीनों में कोई नई जानकारी या मॉडल सामने आएगा और इस विषय पर हमारे सोचने के तरीके को पूरी तरह से बदल देगा। बहरहाल, आइए डेटा विज़ुअलाइज़ेशन और एआई की विभिन्न स्थितियों पर एक नज़र डालें।

शुद्ध बिंदु-और-क्लिक चार्टिंग

मैं इस पर ज्यादा ध्यान नहीं दूंगा क्योंकि अधिकांश पाठक इसे अच्छी तरह से जानते हैं। एक्सेल, गूगल शीट्स या 2023 से पहले निर्मित कोई अन्य डेटा टूल खोलें और आपके पास इसका कुछ रूप होगा। कभी-कभी आप किसी अक्ष पर डेटा जोड़ने के लिए क्लिक करते हैं, कभी-कभी आप किसी फ़ील्ड को खींचते और छोड़ते हैं, लेकिन अवधारणा एक ही है: आप डेटा को उचित रूप से संरचित करते हैं, फिर आप चार्ट बनाने के लिए कुछ बटन दबाते हैं।

इस प्रतिमान में, अधिकांश डेटा सफाई और परिवर्तन चार्टिंग से पहले होता है। आप आम तौर पर औसत, माध्यिका, गिनती, न्यूनतम, अधिकतम आदि जैसे एकत्रीकरण मेट्रिक्स लागू कर सकते हैं, लेकिन सभी परिवर्तन काफी अल्पविकसित हैं।

100% एआई जनित चार्टिंग

एआई जनित चार्ट, या टेक्स्ट-टू-विज़ुअलाइज़ेशन, वास्तव में आधुनिक एलएलएम के आगमन के बाद से ही अस्तित्व में है (यदि हम चारों ओर खोज करें, तो पहले भी प्रयोग चल रहे थे, लेकिन सभी व्यावहारिक उद्देश्यों के लिए हम 2022 के बाद पर ध्यान केंद्रित कर सकते हैं) एलएलएम)।

ओपनएआई का चैटजीपीटी पायथन का उपयोग करके गैर-इंटरैक्टिव चार्ट या फ्रंट एंड लाइब्रेरीज़ का उपयोग करके इंटरैक्टिव चार्ट का एक सीमित सेट उत्पन्न कर सकता है (कुछ उदाहरणों के लिए ओपनएआई कैनवास देखें)। OpenAI की सभी चीज़ों की तरह, एंथ्रोपिक की अपनी समान अवधारणाएँ हैं और कलाकृतियाँ हैं।

यहां ध्यान देने योग्य बात यह है कि एआई-जनरेटेड चार्ट को दो परिवारों में विभाजित किया जा सकता है: पूरी तरह से पायथोनिक/बैक एंड जेनरेटेड चार्ट या बैक एंड और फ्रंट एंड का मिश्रण।

चैटजीपीटी और क्लाउड दोनों के बीच वैकल्पिक होते हैं। फ्रंट एंड कोड उत्पन्न करने के लिए एआई को प्रशिक्षित करना, और विज़ुअलाइज़ेशन बनाने के लिए उस फ्रंट एंड कोड को एकीकृत करना, प्लॉटली, मैटप्लोटलिब, सीबॉर्न जैसी लाइब्रेरी का उपयोग करके, केवल पायथन पर निर्भर रहने की तुलना में बहुत अधिक काम हो सकता है। दूसरी ओर, फ्रंट एंड लाइब्रेरी प्रदाताओं और उपयोगकर्ताओं को चार्ट और इंटरैक्टिविटी के स्वरूप और अनुभव पर अधिक नियंत्रण प्रदान करती है। यही कारण है कि एलएलएम प्रदाता अपने एआई से बार चार्ट, लाइन चार्ट या स्कैटर प्लॉट जैसे बुनियादी चार्ट तैयार करते हैं, लेकिन सैंकी आरेख या वॉटरफॉल चार्ट जैसी अधिक परिष्कृत कोई भी चीज़ पायथन पर वापस आ जाती है।

Fabi.ai पर एक संक्षिप्त साइडबार: यह देखते हुए कि हम एक डेटा विश्लेषण मंच हैं, हम स्पष्ट रूप से चार्टिंग की पेशकश करते हैं, और कुछ बिंदु-और-क्लिक चार्टिंग के बावजूद, हमारे उपयोगकर्ताओं द्वारा बनाए गए अधिकांश चार्ट एआई-जनरेटेड हैं। अब तक, हमने पाया है कि एआई चार्ट बनाने में उल्लेखनीय रूप से अच्छा है, और चार्टिंग के लिए शुद्ध पायथन का लाभ उठाकर, हम एआई को लगभग किसी भी चार्ट को बनाने के लिए प्रशिक्षित करने में सक्षम हैं जिसे उपयोगकर्ता सपना देख सकता है। अब तक, हमने पॉइंट-एंड-क्लिक कार्यक्षमता और कस्टम यूआई डिज़ाइन के स्थान पर सटीकता और लचीलेपन को चुना है।
हाइब्रिड: पॉइंट-एंड-क्लिक प्रतिमान में एआई पीढ़ी
यहीं से यह बहस दिलचस्प होने लगती है कि एआई टेक्स्ट-टू-विज़ुअलाइज़ेशन किस ओर जा रहा है। अब से 3 साल बाद तेजी से आगे बढ़ें, जब कोई विश्लेषण कर रहा हो, यदि वे एआई का उपयोग करते हैं, तो क्या वे एआई को 100% नियंत्रण लेने देंगे, या एआई का उपयोग मिश्रित वातावरण में किया जाएगा जहां यह केवल चार्ट को संपादित कर सकता है। कुछ बिंदु-और-क्लिक कार्यक्षमता।

इस चित्र को और अधिक ठोस बनाने में मदद के लिए, डेटा फॉर्म्युलेटर देखें। यह एक हालिया शोध परियोजना है जो एक वास्तविक मिश्रित वातावरण की पेशकश करने का प्रयास करती है जहां एआई कुछ संपादन कर सकता है, लेकिन उपयोगकर्ता आवश्यकतानुसार पॉइंट-एंड-क्लिक कार्यक्षमता का उपयोग कर सकता है।

यदि हम कार सादृश्य का उपयोग करके प्रश्न पूछते हैं: क्या आप मानते हैं कि भविष्य में कारों में स्टीयरिंग व्हील नहीं होगा, या क्या आप मानते हैं कि एक ड्राइवर होगा जिसे वहां बैठना होगा और ध्यान देना होगा और कभी-कभी लेना होगा ओवर, टेस्ला सेल्फ-ड्राइविंग कार्यक्षमता वर्तमान में कैसे काम करती है?

पहला सिद्धांत: मैं जिसे सत्य मानता हूं

फैबी.एआई में हमारे लिए यह सवाल वास्तव में महत्वपूर्ण है कि चीजें कहां जा रही हैं क्योंकि यह हमारे द्वारा लिए गए कुछ निर्णयों को काफी प्रभावित कर सकता है: क्या हम फ्रंट एंड में एक चार्टिंग लाइब्रेरी को एकीकृत करने में निवेश करते हैं? क्या हम पॉइंट-एंड-क्लिक कार्यक्षमता से भी परेशान हैं? एआई डेटा विश्लेषण क्षेत्र में अग्रणी एक बढ़ती, नवोन्मेषी कंपनी के रूप में, हमें इस बारे में सोचने की ज़रूरत है कि प्रगति कहाँ जा रही है, न कि वह वर्तमान में कहाँ है।

तो इस प्रश्न का उत्तर देने के लिए, मैं कुछ प्रथम-सिद्धांत सोच का उपयोग करने जा रहा हूं।

एआई लगातार बेहतर, तेज और सस्ता होता जा रहा है

पहली बार जब मैंने एआई का उपयोग किया और गति और लागत को लेकर शिकायतें सामने आईं, तो मुझे विश्वास हो गया कि एआई बेहतर, तेज और सस्ता होता जाएगा। मोटे तौर पर कहें तो, पिछले कुछ वर्षों में प्रति टोकन लागत में प्रति वर्ष 87% की गिरावट आई है। न केवल लागत कम हुई है, बल्कि सटीकता और गति दोनों में भी भारी वृद्धि हुई है।

अगले 10 वर्षों में, हम 2024 एलएलएम पर उसी तरह नज़र डालेंगे जैसे हम 80 और 90 के दशक के "सुपर कंप्यूटर" पर नज़र डालते हैं, अब हम जहां भी जाते हैं हमारी जेब में सुपर कंप्यूटर होते हैं।

इतना ही कहा जा सकता है कि ऊपर उल्लिखित विभिन्न चार्टिंग दृष्टिकोणों में से किसी के पक्ष या विपक्ष में कोई भी तर्क यह नहीं हो सकता कि एआई चार्ट बनाने के लिए बहुत धीमा, महंगा या गलत है। दूसरे शब्दों में, यह विश्वास करने के लिए कि पॉइंट-एंड-क्लिक चार्टिंग अभी भी किसी भी तरह, आकार या रूप में मौजूद होगी, आपको यह विश्वास करना होगा कि उपयोगकर्ता अनुभव या उपयोग के मामले में कुछ ऐसा है, जो उस कार्यक्षमता के योग्य है।

डेटा विज़ुअलाइज़ेशन के बारे में कठिन हिस्सा डेटा को व्यवस्थित करना और साफ़ करना है

मेरे अनुभव में, जब किसी भी प्रकार का डेटा विश्लेषण किया जाता है जिसमें विज़ुअलाइज़ेशन शामिल होता है, तो कठिन हिस्सा चार्टिंग नहीं होता है। जिस चार्ट को मैं बनाने का प्रयास कर रहा हूं, उसके लिए सबसे कठिन हिस्सा डेटा को साफ करना और सही प्रारूप में तैयार करना है।

मान लीजिए कि मैं कुछ उपयोगकर्ता ईवेंट डेटा रखता हूं जिसमें निम्नलिखित फ़ील्ड हैं:

• इवेंट आईडी
• इवेंट प्रारंभ टाइमस्टैम्प
• इवेंट समाप्ति टाइमस्टैम्प

अब मान लीजिए कि मैं विलंबता को मापने के लिए औसत घटना अवधि को घंटे के हिसाब से प्लॉट करना चाहता हूं। इससे पहले कि मैं किसी स्प्रेडशीट या लीगेसी चार्टिंग टूल में किसी भी प्रकार की चार्टिंग कर सकूं, मुझे यह करना होगा:

1. प्रारंभ समय को घटाकर अंतिम समय की गणना करें (मुझे संभवतः पहले किसी प्रकार का प्रारूपण करना होगा)
2. डेटा को घंटे के हिसाब से पिवोट करें, जो वास्तव में करना आश्चर्यजनक रूप से कठिन है

लेकिन एआई को ऐसा करने के लिए कहने पर, यह केवल एक या दो सेकंड में उस सब और चार्टिंग का ख्याल रखता है:

# Calculate the event duration in hours
df['Event duration (hours)'] = (df['Event end datetime'] - df['Event start datetime']).dt.total_seconds() / 3600

# Extract the start hour from the start datetime
df['Start hour'] = df['Event start datetime'].dt.hour

# Group by start hour and calculate the average duration
average_duration_by_hour = df.groupby('Start hour')['Event duration (hours)'].mean().reset_index()

# Plot using Plotly
fig = px.bar(
    average_duration_by_hour, 
    x='Start hour', 
    y='Event duration (hours)',
    title='Average Event Duration by Hour',
    labels={'Event duration (hours)': 'Average Duration (hours)', 'Start hour': 'Hour of Day'},
    text='Event duration (hours)'
)

# Show the figure
fig.show()

और यह सबसे सरल संभावित उदाहरणों में से एक था। अधिकांश बार वास्तविक दुनिया का डेटा अधिक जटिल होता है।

एआई टेक्स्ट-टू-विज़ुअलाइज़ेशन का भविष्य: 100% एआई जेनरेटेड के साथ कुछ बिंदु और क्लिक

इस बिंदु पर, आपको संभवतः यह समझ में आ जाएगा कि मैं किस ओर झुक रहा हूं। जब तक आप विश्लेषण के लिए आवश्यक सभी डेटा के साथ अपने डेटासेट को लगभग सही कर सकते हैं, एआई पहले से ही इसमें हेरफेर करने और पलक झपकते ही इसे चार्ट करने में उल्लेखनीय रूप से अच्छा काम करता है। अब से एक, दो या तीन वर्षों में तेजी से आगे बढ़ते हुए, यह कल्पना करना कठिन है कि यह मानक नहीं होगा।

उसने कहा, कुछ दिलचस्प हाइब्रिड दृष्टिकोण हैं जो डेटा फॉर्म्युलेटर की तरह सामने आ रहे हैं। इस प्रकार के दृष्टिकोण का मामला यह है कि शायद हमारे हाथ और दिमाग तेजी से बदलाव करने में सक्षम होते हैं, जितना हमें यह सोचने में लगता है कि हम क्या चाहते हैं और एआई को अपना काम करने के लिए इसे पर्याप्त रूप से स्पष्ट रूप से समझाना पड़ता है। अगर मैं यह पूछूं कि "पिछले 12 महीनों में मुझे महीने के हिसाब से कुल बिक्री दिखाओ" इस धारणा के साथ कि यह क्षेत्र के आधार पर विभाजित एक स्टैक्ड बार चार्ट होना चाहिए, तो संभव है कि हमें अपने माउस को इधर-उधर घुमाना आसान लगे। यदि ऐसा मामला है, तो हाइब्रिड दृष्टिकोण सबसे दिलचस्प हो सकता है: एआई से पहले उस पर वार करने के लिए कहें, फिर कुछ क्लिक और आपके पास वह है जो आप चाहते हैं।

पूर्ण एआई दृष्टिकोण या हाइब्रिड दृष्टिकोण की सफलता की कुंजी उपयोगकर्ता अनुभव में होगी। विशेष रूप से हाइब्रिड दृष्टिकोण के लिए, एआई और मानव इंटरैक्शन को पूरी तरह से साथ-साथ काम करना होगा और उपयोगकर्ता के लिए अविश्वसनीय रूप से सहज होना होगा।

मैं इस क्षेत्र को विकसित होते देखने के लिए उत्साहित हूं और हम अगले 12 महीनों में टेक्स्ट-टू-विज़ुअलाइज़ेशन के साथ कहां पहुंच रहे हैं।