جوجل توربوكوانت: تعزيز استدلال الذكاء الاصطناعي 8x يحول المنشئين

لقد أطلقت جوجل تيربوكوانت للتو. إنها حيلة ضغط لتلك الذاكرات المزعجة للمفاتيح والقيم في نماذج التحويل. فكر في ذاكرات KV كالخنزير الذي يلتهم الذاكرة أثناء استدلال الذكاء الاصطناعي — تيربوكوانت تضغطها إلى 3 بتات لكل قيمة. استخدام الذاكرة؟ مقطوع بنسبة 6 أضعاف على الأقل. السرعة؟ تصل إلى 8 أضعاف أسرع على معالجات H100 GPUs. بدون أي انخفاض في الدقة. انظر، لقد قمت باختبار معايير كافية من النماذج لأعرف أن عنق الزجاجة في الاستدلال يقتل سير العمل. هذا يصلح ذلك. المبدعون الذين يشغلون توليد فيديوهات طويلة أو صور عالية الدقة على إعدادات السحابة يحصلون فجأة على مساحة تنفس. لا مزيد من الانتظار طويلاً للإخراج. كما ذكر في مدونة أبحاث جوجل، يبني على TPUs الخاصة بهم لنماذج مثل Gemma وMistral. الشيء هنا: في عالم غارق في الذكاء الاصطناعي المنتفخ، يبدو تيربوكوانت كفحص عقلاني.

المطورون المستقلون وفنانو الفيديو؟ هذه إشارة لكم. تيربوكوانت يجعل إنتاج فيديوهات ذكاء اصطناعي أطول أو صور مفصلة أرخص وأسرع. مشاهد معقدة مع عناصر متعددة؟ تُدار بدون إذابة الخوادم. لن أكذب — لقد رأيت الكثير من المبدعين يتوقفون عن تشغيل السحابة بغضب بسبب التكاليف. تيربوكوانت يغير هذه الحسابات. اقرنها بأدوات فيديو على طراز Veo، وأنت تولد مقاطع سينمائية بدون ميزانيات المؤسسات. التويست: هذه التحسينات في الذاكرة والسرعة تجعل مولدات فيديو ذكاء اصطناعي NSFW المستهلكة للموارد قابلة للعمل على منصات السحابة القياسية. للغوص العميق في كيفية تغير التصنيفات في ذلك المجال، تحقق من طريقة تصنيف Aipornranking.com: تحليل كامل وآراء. إذن ما العيب؟ لا شيء حقاً. مجرد عرض قوي هادئ من جوجل.

الصلصة السرية لجوجل؟ TPUs مخصصة محسنة لهذا من اليوم الأول. المنافسون الذين يتدافعون على أجهزة NVIDIA لا يمكنهم منافسة ذلك التآزر. التكاليف تنخفض مقابل تشغيل AWS أو Azure. أعتقد أن هذا يرسخ ريادة جوجل في ذكاء السحابة الاصطناعي. رأي ساخن: معاينات o1 من OpenAI تبدو براقة، لكن بدون كفاءة مستوى تيربوكوانت، هم عالقون في أرض التكاليف العالية. المستقبل؟ توقع تيربوكوانت في Vertex AI قريباً. توليد فيديو ذكاء اصطناعي عالي الدقة على السحابة يصبح الافتراضي. المبدعون يفوزون كبيراً.