Стартапи за AI чипове за инференс събират $8B, за да се конкурират с Nvidia

Чиповете за AI инференс внезапно са най-горещият билет в града. Стартапи, които създават специализирано хардуер за изпълнение на AI модели, са привлекли шокиращи $8.3 милиарда само тази година, според CNBC. Това не са дребни пари — това е ясен сигнал, че индустрията рязко се обръща към инференс, фазата, в която тренираните модели действително произвеждат изходи като изображения или видеа. Честно? Следя тази област от години и този прилив на финансиране се чувства различно. Тренирането на масивни модели грабва заглавията, но инференсът сега доминира работните товари. Помислете: всеки път, когато генерирате видеоклип или коригирате изображение, това е инференс, който поглъща изчислителна мощност. Тези нови чипове обещават да го направят по-евтино и по-бързо. Да, знам как звучи — като хайп. Но числата го подкрепят.

Cerebras води глутницата с охладна инфузия от $1 милиард, насочвайки своите wafer-scale двигатели, проектирани за масивен паралелизъм в AI задачи. MatX и Ayar Labs всяка са хванали по $500 милиона; първата се цели в високопроизводителни платформи за инференс, докато втората залага на оптически връзки, за да намали задръстванията в трансфера на данни. Axelera е прекосила $200 милиона, фокусирайки се върху ускорители за edge AI, които пият ток, вместо да го поглъщат. Euclyd се подготвя за над $100 милиона, а Fractile завършва големите имена с нови капитали за персонализиран силициев чип за инференс. Това не са маргинални играчи. Те създават архитектури, съобразени с пост-тренировъчния свят, където ефективността побеждава суровата мощ. Ще бъда честен с вас: GPU-тата на Nvidia все още управляват кокошката. Но докато разходите за инференс набъбват — сега надминават тренирането — тези новопостъпили могат да отхапят реален пазарен дял.

За независимите създатели този преход не може да дойде достатъчно скоро. Рендиране на един високорезолюционен AI видео сегмент днес? Ударя те силно в портфейла — мисли за минути GPU време на клип, масштабиращо се до часове за нещо амбициозно. Специализираните чипове за AI инференс обръщат сценария, обещавайки по-бърз обрат и сметки, които не парят. По-ниските изисквания за изчисления означават, че можеш да веригаш сцени в пълни минути съдържание без да наемаш дата център. Моят напълно не-научен пробен вземка от един — аз, който нощувам в експерименти — предполага, че дори умерени печалби в ефективността трансформират работните процеси. Ето какво повечето анализатори няма да ви кажат: по-скоро ми харесва да тласкам тези инструменти до границите им. По причини, които оставям на вашето въображение. Напредъци като тези вече намаляват разходите в тежки области като генериране на нецензурирани NSFW изображения, където мултимодалните модели поглъщат ресурси. Но има ли значение? За създателите, абсолютно да — това демократизира професионални нива на изход.