Локальный и офлайн-ИИ на периферийных устройствах получает импульс: SiMa.ai выпускает Palette 3.0 с генерацией текста в 3,5 раза быстрее и новым браузером моделей

Локальный и офлайн-ИИ на периферийных устройствах получает импульс: SiMa.ai выпускает Palette 3.0 с генерацией текста в 3,5 раза быстрее и новым браузером моделей

Для компаний, встраивающих ИИ в робота, дрон или промышленную камеру, интеллект модели — лишь часть задачи. Устройство также должно обрабатывать данные с датчиков, генерировать полезные ответы и поддерживать работу других приложений, не исчерпывая память и запас энергии.

SiMa.ai берётся за эту проблему развёртывания с помощью Palette 3.0 — своей программной операционной системы на кристалле, которая расширяет круг ИИ-нагрузок, способных работать на периферийных ИИ-процессорах Modalix. Palette 3.0 улучшает совместное использование чипа приложениями и вводит методы, которые, по словам компании, ускоряют генерацию текста до 3,5 раза.

Платформа ориентирована на разработчиков, встраивающих ИИ в физические продукты, включая роботов, дроны и промышленные системы. Базовая библиотека Palette Neat, входящая в слой разработки приложений, распространяется по лицензии Apache 2.0. Условия лицензирования компилятора и прошивки пока не подтверждены.

Разработчики могут начать работу через Developer Center SiMa.ai и организацию на GitHub. Согласно странице DevKit 3.0 в магазине компании, система разработки стоит 1 499 долларов для США и Европы. В комплект входят модуль Modalix, несущая плата, корпус, блок питания и накопитель на 500 ГБ. В анонсе не указаны ни отдельная цена ПО Palette 3.0, ни цены на оборудование при серийных объёмах.

Согласно уведомлению в сообществе SiMa.ai, Palette SDK доступен с 31 октября. Компания сообщает, что обновлённый Model Browser заработает 17 ноября, когда она подробно расскажет о возможностях и производительности обновления.

В интервью VentureBeat менеджер по продуктам GenAI в SiMa.ai Мануэль Лопес Ролдан подтвердил, что изменения работают на существующих чипах.

«Это всё программное обеспечение», — сказал он. Ашок Сударсанам, заместитель вице-президента компании по ПО для ускорителей машинного обучения (MLA), рассказал, что его команда создаёт компилятор, переводящий модели в инструкции для ускорителя, и ПО, которое планирует их выполнение.

«С первого дня мы разрабатывали аппаратное и программное обеспечение вместе», — сказал Сударсанам VentureBeat. По его словам, SiMa.ai обновляет ПО, чтобы поддерживать новые модели и ускорять приложения на чипах, которые уже есть у клиентов.

Несколько ИИ-нагрузок на одном чипе

Главное изменение в Palette 3.0 касается того, что происходит, когда устройству нужно выполнять более одной ИИ-задачи.

В презентации SiMa.ai для СМИ показан один чип Modalix, на котором языковая модель работает вместе с тремя визуально-языковыми моделями. В другой демонстрации шесть контейнеров Docker делят ресурсы чипа между задачами — от обнаружения объектов до 3D-оценки позы.

Компания изменила способ отправки заданий на чип. Теперь процессы направляют запросы напрямую драйверам в ядре операционной системы, минуя промежуточный сервис. Каждый аппаратный блок обрабатывает один запрос за раз, а разные блоки могут выполнять отдельную работу параллельно. Разработчики могут назначать приоритеты отдельным запросам.

Лопес Ролдан привёл VentureBeat пример видеопотока с камеры, которому требуется непрерывное обнаружение объектов, тогда как языковая модель время от времени добавляет контекст о сцене. По его словам, разработчики могут присвоить запросам детектора более высокий приоритет, а языковой модели позволить использовать ускоритель по мере его освобождения. Демонстрации иллюстрируют, как чип распределяет ресурсы. Однако из материалов брифинга неясно, сколько могут ждать высокоприоритетные запросы при длительной нагрузке.

SiMa.ai также продемонстрировала обнаружение объектов YOLOv26 на 60 одновременных потоках 720p на одном чипе Modalix с суммарной скоростью 600 кадров в секунду, то есть в среднем 10 кадров в секунду на поток. В отдельном сценарии настройки камеры, по словам Лопеса Ролдана, разработчики могут направить новую камеру на цветовую таблицу и с помощью ИИ-агента скорректировать параметры обработки изображения. SiMa.ai утверждает, что эти настройки можно вносить без перекомпиляции кода приложения, что даёт командам возможность самостоятельно настраивать новый датчик.

Что измеряет заявленное ускорение в 3,5 раза

Наибольший прирост скорости генерации SiMa.ai связывает со спекулятивным декодированием. Этот метод заранее набрасывает несколько токенов и позволяет целевой модели проверить их вместе, сокращая число последовательных шагов, необходимых для получения ответа.

В презентации компании приводится рост пропускной способности декодирования от 2,21 до 3,49 раза по сравнению с обычной генерацией на тех же целевых моделях. Среди методов — EAGLE3, DFlash и предсказание нескольких токенов для Gemma 4. Один из выделенных результатов — DFlash N16 с Qwen3.5 9B, достигающий верхней границы этого диапазона.

Компания измеряла этот прирост на Modalix в сравнении с обычным декодированием тех же моделей. В отдельном тесте автомобильного ассистента на 900 запросах SiMa.ai сообщила о меньшем ускорении времени ответа — от 1,35 до 2,06 раза. По данным компании, все 900 запросов дали ожидаемые структурированные вызовы функций.

SiMa.ai также оценивает, что чип расходовал на 25,9–51,4% меньше энергии на один вычислительный запрос при примерно той же средней потребляемой мощности. В этих тестах чип экономил энергию за счёт того, что быстрее завершал работу. Оценка охватывает вычислительную работу чипа. Общее энергопотребление робота зависит и от таких компонентов, как датчики и двигатели.

Ещё одна выделенная возможность — поддержка GPT-OSS-20B от OpenAI на модуле Modalix с 16 ГБ памяти. Размещение модели на устройстве — полезная веха, но клиентам всё равно нужно измерять время отклика, ограничения контекста и точность в предполагаемой конфигурации.

Браузер моделей, показывающий, как SiMa.ai получила свои цифры

Лопес Ролдан показал VentureBeat, как обновлённый Model Browser раскрывает компромиссы, стоящие за бенчмарком. Помимо пропускной способности и задержки, он показывает такие показатели, как мощность чипа, загрузка процессора и памяти, а также выполнение отдельных слоёв модели. Для моделей с несколькими конфигурациями разработчики видят, как снижение числовой точности влияет на скорость и точность. Это помогает команде выбрать конфигурацию для проверки после дообучения модели на собственных данных.

По словам Лопеса Ролдана, кнопка загрузки в браузере выдаёт артефакт, готовый к локальному запуску на Modalix. Разработчики, желающие пересобрать его, могут использовать скрипты из публичного репозитория, которые начинают с исходной модели из таких источников, как GitHub, Hugging Face или Roboflow. Когда приходит время подготовить дообученную модель к развёртыванию, по его словам, «можно в точности воспроизвести весь процесс». Он отметил, что при выборе начального набора SiMa.ai в первую очередь включила модели, о которых просили клиенты.

«Плате даже не нужно подключение к интернету», — сказал Лопес Ролдан. По его словам, клиенты могут скачать пакеты обновлений на площадке с подключением и позже установить их на устройства в полевых условиях. Это важно для установок, где устройство должно продолжать работать при нестабильной связи или её отсутствии.

Как Palette выглядит на фоне Nvidia и Hailo

SiMa.ai конкурирует с целым рядом вариантов периферийных вычислений, а не с одним взаимозаменяемым продуктом. Nvidia поставляет интегрированные системы разработки Jetson и программную среду JetPack. Hailo поставляет ускорители, которые добавляют локальную обработку ИИ к хост-компьютеру.

Указанные цены относятся к оборудованию для разработки. В бюджете развёртывания нужно также учесть серийное оборудование и интеграцию.

Платформа

Доступ и опубликованная цена оборудования

Модель ПО и развёртывания

Ключевое отличие

SiMa.ai Palette 3.0 / Modalix

DevKit 3.0: 1 499 долларов; цены на серийные партии — по запросу в SiMa.ai

Оборудование вендора с ядром Neat под Apache-2.0 и дополнительными компонентами платформы

Упор на совместное использование ресурсов несколькими моделями при ограниченном энергобюджете

Nvidia Jetson Orin Nano Super

Комплект разработчика: 399 долларов

Оборудование Jetson и программный стек Nvidia

Более дешёвый вход в экосистему Jetson; конфигурация отличается от Modalix

Nvidia Jetson AGX Thor

Комплект разработчика: 5 499 долларов

Оборудование Jetson с JetPack; коммерческая платформа, а не полностью открытая система

Ориентирован на требовательные задачи робототехники и физического ИИ

Raspberry Pi AI HAT+ 2 с Hailo-10H

Плата расширения: 200 долларов, без хоста Raspberry Pi

Плата-ускоритель с ПО и инструментами для моделей от Hailo

8 ГБ выделенной памяти для локальных языковых и визуально-языковых нагрузок

В техническом обзоре Jetson Thor Nvidia описывается подключение комплекта разработчика к существующему роботу и использование JetPack 7 для разработки и тестирования приложений. В таблице приведены цены из FAQ Nvidia.

Вариант на базе Hailo — гораздо более дешёвая отправная точка по оборудованию, но к нему нужно добавить плату Raspberry Pi, накопитель и другие компоненты. В документации Raspberry Pi говорится о поддержке языковых и визуально-языковых моделей примерно до 6 млрд параметров. Это отличается от приведённого SiMa.ai примера модели со смесью экспертов на 20 млрд параметров, хотя само по себе число параметров не определяет ни точность, ни скорость.

Корпоративное решение касается приложения целиком

Palette 3.0 наиболее актуальна для команд, чьи модели восприятия и рассуждения уже работают по отдельности, но конкурируют за вычислительные ресурсы и память при совместном запуске.

Для робота это может свестись к тому, уложится ли обнаружение объектов в отведённое время, пока языковая модель генерирует ответ.

Данные SiMa.ai о декодировании дают количественную оценку скорости генерации. Вопрос же о сроках отклика в демонстрациях смешанных нагрузок разработчикам предстоит проверять на собственных приложениях.

Существующим клиентам также придётся учесть работу по миграции. В уведомлении SiMa.ai о выпуске говорится, что переход с версии платформы 2.1.3 на 3.0.0 требует миграции, а нативные приложения разработчикам нужно пересобрать с соответствующими компонентами.

Инфраструктура

Смотреть все

Подпишитесь на свежие новости!

Глубокая аналитика для руководителей в области корпоративного ИИ, данных и безопасности

Подписаться по RSS

RSS-ленты обновляются каждые 15 минут.