गूगल ने लॉन्च किया Gemini Embedding 2: मल्टीमॉडल वेक्टर्स

गूगल ने अभी Gemini Embedding 2 लॉन्च किया, जो इसका पहला मूल रूप से मल्टीमॉडल एम्बेडिंग मॉडल है। Vertex AI और Gemini API पर अभी पब्लिक प्रीव्यू में उपलब्ध। यह टेक्स्ट, इमेज, डॉक्यूमेंट्स, ऑडियो, और यहां तक कि वीडियो से 3072-आयामी वेक्टर्स निकालता है। देखिए, एम्बेडिंग्स बहुत लंबे समय से केवल टेक्स्ट-ओनली प्लेग्राउंड रहे हैं। Gemini Embedding 2 सब कुछ एक ही वेक्टर स्पेस में एकीकृत कर देता है। शुरुआती बेंचमार्क्स? यह क्रॉस-मॉडल रिट्रीवल टास्क्स पर पिछले मॉडल्स को धूल चटा देता है, जैसा कि गूगल की घोषणा में बताया गया है। मैंने इसी तरह के टूल्स को छुआ है। यह एक वास्तविक छलांग लगती है। डेवलपर्स को सिमेंटिक सर्च मिलता है जो टेक्स्ट क्वेरीज के साथ वीडियो क्लिप्स को वास्तव में समझता है। अब कोई अलग-थलग मोडालिटीज नहीं।

टेक्स्ट एम्बेडिंग्स का राज रहा — जैसे OpenAI का ada-002 या पुराने Gemini वैरिएंट्स। शब्दों के लिए मजबूत। वीडियो डेमो या ऑडियो ट्रैक के लिए बेकार। Gemini Embedding 2 इसे बदल देता है। शुरू से ही मल्टीमॉडल। यह Vertex AI डॉक्स में विस्तृत क्रॉस-मॉडल रिट्रीवल में MTEB लीडरबोर्ड्स पर टॉप करता है। बात ये है: सिंगल-मॉडालिटी मॉडल्स हैक्स थोपते हैं। वेक्टर्स को मैन्युअली स्टिच करें? बुरा सपना। यह सब एकीकृत कर देता है। ट्विस्ट — यह सिर्फ बेहतर नहीं; यह वर्कफ्लो के लिए जरूरी है वैनिला चैटबॉट्स से आगे के लिए। झूठ नहीं बोलूंगा — मैंने इंक्रीमेंटल गेंस की उम्मीद की थी। नहीं। क्रॉस-मॉडल बेंचमार्क्स एक्यूरेसी में बड़ी छलांग दिखाते हैं।

Gemini Embedding 2 सही समय पर आया है। रिट्रीवल-ऑगमेंटेड जेनरेशन (RAG) को मल्टीमॉडल बूस्ट मिलता है। कल्पना करें वीडियो रेफरेंस या ऑडियो क्यूज को अपने प्रॉम्प्ट्स में खींचना। इमेज और वीडियो टूल्स के लिए, इसका मतलब स्मार्ट कंडीशनिंग। यूजर क्वेरीज और ट्रेनिंग डेटा के बीच बेहतर मैच। NSFW क्लिप्स या स्टाइल रेफ्स एम्बेड करने वाले क्रिएटर्स? खेल शुरू। Gemini Embedding 2 जैसी मल्टीमॉडल एम्बेडिंग्स की प्रगति पहले से ही NSFW कंटेंट क्रिएशन को पावर दे रही हैं, टेक्स्ट, इमेज और ऑडियो को मिलाकर जीवंत रिजल्ट्स के लिए। टिप: सरल शुरू करें। एक वीडियो फ्रेम और टेक्स्ट डिस्क्रिप्शन को साथ एम्बेड करें। अपनी डेटाबेस क्वेरी करें। रेलेवेंस आसमान छू लेगा। लेकिन क्या यह स्केल करता है? शुरुआती संकेत हां कहते हैं — अगर आप इनपुट्स को सही चंक करें। हॉट टेक: टेक्स्ट-ओनली RAG मर चुका है। मल्टीमॉडल भविष्य है। बहस करें।