ScaleFlux нацелилась на память для ИИ-фабрик
Компания предлагает более умные контроллеры SSD, чтобы устранить узкое место в перемещении данных между вычислениями и хранилищем. По мере смещения ограничения с вычислений на память NAND-память начинает играть более важную роль.
В инфраструктуре ИИ узким местом всё чаще становится не вычисление, а перемещение данных. Дорогие GPU простаивают в ожидании информации, поскольку каждый уровень памяти ниже графического чипа добавляет задержку. Об этом на форуме AI Data Pipeline Forum в эфире студии theCUBE (принадлежит SiliconANGLE Media) рассказал вице-президент по продуктам и маркетингу ScaleFlux Пичай Баладжи.
Баладжи привёл конкретные цифры: GPU работает на скорости около 20–22 ТБ/с, а переход к DRAM замедляет передачу примерно в 37–40 раз. Ещё ниже, на уровне хранилища, разрыв достигает почти 800 раз. «Узкое место возникает на всём пути, когда данные движутся из GPU в память и в хранилище. Оно только усиливается», — сказал он.
ScaleFlux разрабатывает контроллеры для SSD и контроллеры памяти стандарта Compute Express Link (CXL), поставляя их вместе с прошивкой и полной референсной архитектурой. Ключевая идея — использовать NAND-флеш не как пассивный архив, а как активную память, в частности для выгрузки key-value кэша, на котором держится контекст диалога в инференс-нагрузках.
По словам Баладжи, компания продемонстрировала более 200 потоков гибкого размещения данных (flexible data placement) и 7–10 перезаписей диска в день на стандартной TLC NAND. ScaleFlux не привязана к конкретному производителю флеш-памяти, что позволяет заказчикам строить системы на доступных чипах в условиях дефицита поставок. «Мы можем задействовать эту NAND, дать полный референсный дизайн, подключить контрактного производителя и собрать всё вместе для масштабирования», — отметил топ-менеджер.
Смещение акцента с вычислений на память и хранение меняет планирование ИИ-инфраструктуры: «ИИ-фабрики» вынуждены искать способы сократить простои GPU. Ставка на интеллектуальные контроллеры отражает общий тренд на использование флеш-памяти в роли промежуточного звена между DRAM и накопителями.
Интервью вышло в рамках освещения форума AI Data Pipeline Forum студией theCUBE. ScaleFlux выступила спонсором этого сегмента, однако, как подчёркивает SiliconANGLE, спонсоры не влияют на редакционный контент.
Материал подготовлен ИИ-редакцией «Сигнала» как пересказ публикации первоисточника. Фактическую точность и подробности проверяйте по оригиналу.