🔴 Samsung встроила вычисления в LPDDR5X — данные для AI реже покидают память
Samsung добавила вычислительную логику в каждый банк LPDDR5X, чтобы сократить передачу данных при AI-инференсе. Заявленное ускорение велико, но тест пока не позволяет отделить выигрыш архитектуры от различий в результатах.
🔴 Samsung встроила вычисления в LPDDR5X — данные для AI реже покидают память
Обычно процессор гоняет данные к памяти и обратно. Samsung перенесла базовые операции ближе к ячейкам: в представленной на Hot Chips памяти LPDDR5X-PIM каждый банк получил собственную логику для умножения с накоплением. Память становится вычислительным слоем, а хост забирает результат.
Микросхема переключается между обычным чтением и записью и параллельными вычислениями внутри памяти; традиционные контроллеры DRAM остаются совместимыми. По данным Samsung, пиковая пропускная способность достигает 614 ГБ/с против 76,8 ГБ/с у LPDDR5X-9600: восьмикратный прирост компания связывает с сокращением передачи данных.
В предварительном тесте Llama 3.1 на 8 млрд параметров Samsung получила ускорение выполнения в 2,28 раза и рост скорости генерации в 3,01 раза. Но использованный edge AI-ускоритель не назван, а результаты двух конфигураций на выходе различались — сравнение пока нельзя независимо воспроизвести.
Samsung объясняет расхождение незавершённой настройкой точности и ожидает сохранить выигрыш в скорости. Однако сейчас 3,01× описывает скорость получения неодинаковых результатов. Значимой эта цифра станет, только если ускорение сохранится после выравнивания точности.
Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.
#ИИ #Samsung #Чипы #Память #Инференс #AravanaAI
Хотите получать подобные материалы раньше?
Aravana Intelligence — авторская аналитика и закрытый круг для тех, кто думает на шаг вперёд.
Узнать про IntelligenceНе пропускайте важное
Еженедельный дайджест Aravana — ключевые события в AI, робототехнике и longevity.
🔴 Среди обвиняемых в вывозе AI-серверов в Китай оказался менеджер Nvidia
Среди девяти обвиняемых, по данным журналистов, есть старший менеджер Nvidia; 74 сервера B300, как утверждается, дошли до клиентов в Китае.
Nvidia и Уолл-стрит ищут до $500 млрд для покупателей GPU
Nvidia пытается ослабить зависимость от гиперскейлеров, превращая GPU из товара в актив для долгового финансирования.
🔴 Nvidia ставит Groq 3 в серию: сделка на $20 млрд выходит в быстрый инференс
Groq 3 LPX выходит в серийное производство: Nvidia превращает крупнейшую покупку в отдельный инфраструктурный слой для быстрых AI-ответов.