Замороженные чипы: 100-кратный прирост инференса
Google разрабатывает чип Frozen, который «запекает» веса нейросети в кремний, устраняя узкое место фон Неймана. Это даёт до 100-кратный прирост скорости и энергоэффективности, но ограничивает гибкость и точность. Технология перспективна для массового дешёвого инференса, но пока не готова к замене универсальных GPU.
Google разрабатывает чип Frozen, который «запекает» веса нейросети в кремний, устраняя узкое место фон Неймана. Это даёт до 100-кратный прирост скорости и энергоэффективности, но ограничивает гибкость и точность. Технология перспективна для массового дешёвого инференса, но пока не готова к замене универсальных GPU.
Для оператора входа в AI это сигнал: следить за развитием замороженных чипов, так как они могут радикально снизить стоимость инференса и позволить массово раздавать сложных агентов. Пока технология незрелая, но стоит учитывать в долгосрочном планировании архитектуры.