Thinking Machines впечатляет моделью-трансформером с циклической архитектурой Inkling 2 Mini, которая работает локально на ноутбуках
Thinking Machines Lab, базирующийся в Сан-Франциско стартап в сфере ИИ, основанный бывшим техническим директором OpenAI Мирой Мурати, которая и возглавляет компанию, бросает вызов господствующей парадигме облачных передовых моделей ИИ. Вчера компания выпустила Inkling 2 Mini — мультимодальную модель с открытыми весами, рассчитанную на автономную работу на MacBook Pro с 32 ГБ памяти или на одном настольном графическом процессоре.
При этом Inkling 2 Mini конкурирует с гораздо более крупными системами в тестах на разработку программного обеспечения и использование инструментов.
Inkling 2 Mini насчитывает 26,4 млрд параметров и занимает около 20 ГБ памяти. Модель воплощает целенаправленный сдвиг в подходе ИИ-лабораторий к получению высокой эффективности рассуждений на компактном оборудовании. Вместо увеличения числа параметров Thinking Machines использует архитектуру «зацикленного трансформера», которая несколько раз пропускает данные через средние слои модели для каждого токена.
В результате получилась созданная в США модель под лицензией Apache 2.0, которая по совокупным тестам на уровень интеллекта не уступает флагманской плотной модели Alibaba с 27 млрд параметров, работая примерно в четыре раза быстрее и обходясь в шесть раз дешевле на задачу. Такое сочетание уже быстро привлекло поддержку сред локального запуска ИИ и вызвало восторженные первые отзывы в сообществе разработчиков.
Технология: как зацикливание углубляет рассуждения без увеличения числа параметров
Стандартные трансформерные модели обрабатывают каждый токен за один линейный проход — от первого слоя до последнего. Если задача требует больше последовательных шагов рассуждения, чем позволяет глубина модели, ей приходится выносить ход мысли наружу, генерируя длинные цепочки рассуждений (CoT) в виде текста. Такой подход расходует выходные токены, увеличивает задержку и повышает стоимость инференса.
Inkling 2 Mini устроена иначе. Согласно карточке модели Inkling 2 Mini, это разреженная модель Mixture-of-Experts (MoE) с 24 слоями и только декодером. Она направляет каждый токен к 8 из 128 экспертов, активируя при стандартном проходе 3,4 млрд параметров. Архитектурное новшество заключается в том, как работают эти 24 слоя: первые шесть слоёв (прелюдия) и последние шесть выполняются один раз, а средние 12 слоёв — трижды с использованием общих весов. Это похоже на то, как инженер трижды останавливается, чтобы мысленно перепроверить сложное уравнение, прежде чем записать следующую строку кода, а не исписывает три страницы черновиков.
Три прохода дают 48 эффективных применений слоёв на токен и 5,4 млрд эффективных активных параметров — без увеличения объёма памяти, необходимого для хранения модели. Чтобы информация беспрепятственно передавалась между итерациями, Thinking Machines реализовала остаточные связи внимания, благодаря которым на каждом проходе можно считывать управляемое «сообщение» из средних слоёв предыдущего прохода наряду с исходным результатом прелюдии. Во внутренних тестах масштабирования компания обнаружила, что базовой модели без зацикливания требовалось на 140% больше вычислительных ресурсов для инференса, чтобы сравняться с зацикленной моделью по значению функции потерь на агентных трассах длиной 512K токенов.
Чтобы модель могла эффективно работать на потребительском оборудовании, Thinking Machines в середине обучения сократила число экспертов на две трети — с 384 до 128 — и «восстановила» сеть, дистиллировав 1 трлн токенов из более крупной внутренней модели Inkling. Затем последовали дообучение с учителем и обучение с подкреплением на 2,2 трлн токенов. Важно, что первые 20 слоёв команда изначально обучила и развернула в 4-битной точности NVFP4, а последние четыре — в 8-битной точности MXFP8. Поскольку веса поставляются в том же числовом формате, который использовался при обучении, разработчики избегают ухудшения точности, характерного для квантования после обучения.
Зацикливание поднимает важный вопрос безопасности: если модель выполняет больше рассуждений внутри себя, не записывая их, становится ли сложнее контролировать её работу? Вместе с Inkling 2 Mini Thinking Machines выпустила сопутствующий контрольный вариант модели с переменным числом циклов — TML-d24-varloop-research, обученный на один — пять проходов, а также объединила усилия с National Deep Inference Fabric (NDIF) и Goodfire для изучения механистической интерпретируемости. В предварительных тестах Thinking Machines на контролируемость зацикливание увеличило горизонт рассуждений модели без CoT с 16 секунд при одном проходе до 37 секунд при трёх, а длину CoT сократило более чем вдвое. При этом оставшиеся трассы рассуждений по-прежнему были понятны человеку, а на контрольном тесте LinuxArena модель не продемонстрировала тенденции к усилению скрытого саботажа.
Продукт: результаты тестов, локальная производительность и сравнение с конкурентами
Inkling 2 Mini изначально является мультимодальной моделью: она принимает текст в формате UTF-8 и изображения, заданные в виде пикселей (оптимальный размер — от 40 до 4096 пикселей), обрабатывает контекстное окно на 1 млн токенов и выдаёт текст. Возможности автономной работы модели Thinking Machines продемонстрировала, запустив её в режиме полёта на MacBook Pro с M5 Pro и 48 ГБ памяти: за несколько минут модель создала работающий авиасимулятор, а также одновременно управляла 20 постоянно активными автономными жителями в локальной симуляции города.
В стандартизированных оценках Inkling 2 Mini заметно превосходит ожидания для своей категории в агентном программировании и использовании инструментов. Среди моделей с открытыми весами менее чем на 100 млрд параметров она лидирует в тестах DeepSWE v1.1 (48,2%), SWE-bench Pro v2 Hard (77,9%) и Vals Index v2.2 (46,5%). Кроме того, модель набрала 79,2% в SWE-bench Verified и 85,3% в DeepSearchQA. В тесте интеллекта на джоуль Стэнфордского университета, запущенном на NVIDIA DGX Spark, Inkling 2 Mini получила 0,703 — заметно больше, чем Qwen3.6-35B-A3B (0,430) и Gemma-4-26B-A4B (0,159).
Однако зацикливание не позволяет извлекать факты из воздуха. Поскольку точность воспроизведения фактов в первую очередь зависит от общего числа параметров, Inkling 2 Mini набирает -8,6 в AA-Omniscience v1.1 (при доле ответов без галлюцинаций 63,4%), уступая более плотным конкурентам, таким как Qwen3.8-27B (-6,4 и 71,4%). В документации Thinking Machines также отмечает, что модель уступает Qwen3.8-27B в многоходовом чате (50,0% в MultiChallenge) и выполнении инструкций с несколькими ограничениями (33,4% в ComplexConstraints v1.1). Иногда она может застревать в повторяющихся циклах отладки или выдавать обрывочные формулировки на языках, отличных от английского, например на китайском.
Чтобы оценить место Inkling 2 Mini среди современных моделей с открытыми весами, в таблице ниже она сравнивается с тремя заметными конкурентами из категории 26–31 млрд параметров: Qwen3.8-27B от Alibaba, Gemma 4 31B от Google DeepMind и Muse Glimmer от Meta.
|
Модель и разработчик |
Архитектура (активные / всего параметров) |
Индекс интеллекта AA (v5.0) |
DeepSWE v1.1 / SWE-bench Verified |
Стоимость API (ввод / вывод за 1 млн токенов) |
Лицензия |
Поддержка локальной работы / автономного режима |
|---|---|---|---|---|---|---|
|
Inkling 2 Mini (Thinking Machines) |
Зацикленная MoE (5,4 млрд эффективных / 26,4 млрд) |
20,1 |
48,2% / 79,2% |
$0.15 / $0.50 (собственный API); от |
Apache 2.0 (с AUP) |
Нативная поддержка NVFP4/MXFP8, около 20 ГБ; Mac с 32 ГБ и более (Ollama, EXO), DGX Spark, от 16 ГБ через GGUF |
|
Qwen3.8-27B (Alibaba) |
Плотная (27,0 млрд / 27,0 млрд) |
20,1 |
42,2% / 77,8% |
$0.50 / $3.00 (Alibaba Cloud); от |
Apache 2.0 |
Поддерживает локальный запуск и автономную работу через llama.cpp/vLLM, но плотная модель на 27 млрд параметров требует больше вычислительных ресурсов на токен |
|
Gemma 4 31B (Google DeepMind) |
Плотная (30,7 млрд / 30,7 млрд) |
4,4 |
0,3% / 46,1% |
$0.20 / $0.40 (AI Studio); от $0.10 / $0.34 на OpenRouter |
Apache 2.0 |
Поддерживает локальный запуск и автономную работу со стандартными квантованными версиями GGUF/MLX |
|
Muse Glimmer (Meta) |
Плотная (30,0 млрд / 30,0 млрд) |
6,3 |
4,4% / 76,0% |
($0.32 / $1.35 — медианная стоимость) |
Apache 2.0 |
Поддерживает локальный запуск и автономную работу со стандартными квантованными версиями; контекст 131K |
Особенно заметен контраст с Qwen3.8-27B. Хотя обе модели набрали 20,1 в индексе интеллекта Artificial Analysis, по данным Artificial Analysis, Inkling 2 Mini требует примерно в 2,8 раза меньше вычислительных ресурсов, работает в четыре раза быстрее (9,0 минуты на задачу против 38,2 минуты) и обходится в шесть раз дешевле на задачу ($0.59 против $3.53 по тарифам собственных API). По сравнению с Gemma 4 31B и Muse Glimmer Inkling 2 Mini значительно превосходит их в агентной разработке программного обеспечения и поиске информации в длинном контексте (1 млн токенов против 262K у Gemma 4 31B и 131K у Muse Glimmer), что делает её гораздо более сильным кандидатом для автономной разработки кода.
Лицензирование: Apache 2.0 упрощает внедрение в корпоративной среде
Thinking Machines опубликовала полные веса Inkling 2 Mini на Hugging Face под лицензией Apache 2.0, дополнив её стандартной политикой допустимого использования модели.
Проще говоря, Apache 2.0 — одна из самых либеральных лицензий с открытым исходным кодом в сфере программного обеспечения. Она позволяет стартапам, исследователям и компаниям из списка Fortune 500 бесплатно загружать, изменять, дообучать и распространять модель, а также встраивать её в проприетарные коммерческие продукты — при условии сохранения исходного уведомления об авторских правах и текста лицензии. В отличие от лицензий с авторским левом, таких как GPL, Apache 2.0 не обязывает компании открывать исходный код собственных приложений, созданных на основе модели.
В юридическом отношении Inkling 2 Mini оказывается на равных с Qwen3.8-27B, Gemma 4 31B и Muse Glimmer от Meta — все они также распространяются по Apache 2.0. При этом модель избегает коммерческих ограничений, связанных с особыми соглашениями для «моделей с открытыми весами», которые встречаются у более крупных передовых моделей. Например, лицензия Mistral Ecosystem Open-Weight и лицензия Meta Muse Model License для Muse Spark Open с 816 млрд параметров предусматривают отдельные коммерческие условия или пороговые значения выручки для поставщиков моделей как услуги. Для юридических и закупочных отделов компаний Apache 2.0 устраняет серьёзное препятствие для частного развёртывания модели на собственной инфраструктуре.
Реакция сообщества: разработчики локальных ИИ-систем приветствуют конкурента из США
За первые 24 часа после запуска Inkling 2 Mini привлекла значительное внимание в X благодаря оперативной интеграции с инструментами локального инференса и практическим тестам независимых разработчиков.
Обсуждение начала Thinking Machines с официального аккаунта @thinkymachines: «Некоторые из вас считали, что Inkling 2 Small слишком велика — 594 млрд параметров. Мы вас услышали: Inkling 2 Mini — это зацикленный трансформер всего с 26 млрд параметров, достаточно компактный для запуска на ноутбуке и достаточно мощный для агентных задач: её результат в индексе AA — 20,1».
Вскоре к обсуждению подключились инфраструктурные партнёры, опубликовав результаты тестов скорости локального запуска. @UnslothAI, выпустившая квантованные сборки GGUF наряду с поддержкой llama.cpp, подчеркнула доступность модели: «Запустите Inkling 2 Mini — самую мощную модель на 26,4 млрд параметров, работающую с 16 ГБ оперативной памяти. MoE-модель Thinking Machines под лицензией Apache 2.0 использует архитектуру зацикленного трансформера и набирает 48,2% в DeepSWE v1.1 — лучший результат для модели такого размера».
Специалисты по чипам Apple @exolabs поделились первыми показателями производительности, полученными в ходе сотрудничества с лабораторией: «Мы работали с @thinkymachines, чтобы Inkling 2 Mini быстро запускалась локально: — декодирование со скоростью 210 токенов/с и предварительное заполнение со скоростью 3620 токенов/с на Mac Studio с M5 Ultra и 96 ГБ памяти; — декодирование со скоростью 125 токенов/с… на M5 Max с 48 ГБ… Она создала нативное приложение погоды в 1,8 раза быстрее Claude Sonnet 5.5… и в 11 раз дешевле… Архитектура с зацикливанием идеально подходит для локальных устройств…»
Независимые тестировщики также высоко оценили агентные возможности модели на системах с одним графическим процессором. После того как модель автономно создала моушн-графику о собственных характеристиках, разработчик @KyleHessling1 написал: «Inkling 2 Mini только что создала эту моушн-графику о самой себе… Моушн-дизайн — задача, на которой небольшие модели обычно спотыкаются; Inkling автономно справилась с ней блестяще… 104 токена/с на 5090… такой уровень интеллекта в небольшой MoE-модели просто поразителен… самая впечатляющая небольшая модель из тех, что я тестировал за пределами Qwen… Видеть, как появляется конкурент из США в гонке за передовые модели для одного графического процессора, — аж слёзы наворачиваются, красные, белые и синие».
Некоторые из первых тестировщиков отнеслись к всеобщему энтузиазму сдержаннее: они отметили отдельные сбои при создании игровой механики, первые проблемы с квантованием в ещё не отлаженных средах для запуска зацикленных моделей, а также то, что облачные передовые модели по-прежнему явно превосходят их в наиболее сложных задачах на знания и многоходовое взаимодействие.
Предыстория: стремительный путь Thinking Machines от скрытного стартапа к локальному ИИ
Inkling 2 Mini стала очередной вехой в необычайно быстром темпе выпуска продуктов Thinking Machines Lab. Стартап, основанный в начале 2025 года бывшим техническим директором OpenAI Мирой Мурати вместе с сооснователем OpenAI Джоном Шульманом и другими опытными исследователями, в июле 2025 года привлёк рекордные 2 млрд долларов на посевном раунде при оценке в 12 млрд долларов. Задачей компании стало создание настраиваемых систем искусственного интеллекта на принципах открытой науки.
В октябре 2025 года компания представила первый коммерческий продукт — Tinker, API для дообучения на Python, который позволяет исследователям управлять циклами обучения и обучением с подкреплением, не занимаясь обслуживанием распределённых кластеров графических процессоров. В мае 2026 года компания представила предварительную версию TML-Interaction-Small — полнодуплексной мультимодальной системы, способной одновременно взаимодействовать голосом и видео с задержкой ответа в 0,40 секунды.
Затем Thinking Machines сосредоточилась на базовых моделях с открытыми весами. В июле 2026 года компания выпустила оригинальную Inkling с 975 млрд параметров под лицензией Apache 2.0, а две недели спустя — Inkling-Small с 276 млрд параметров, которая показала результаты, сопоставимые с более крупной моделью, но при размере примерно вчетверо меньше. Ранее в этом месяце, 5 ноября, компания открыла второе поколение моделей, выпустив Inkling 2 Small — мощную корпоративную модель с 594 млрд параметров (17 млрд активных), набравшую 31 балл в индексе интеллекта Artificial Analysis.
С выпуском Inkling 2 Mini Thinking Machines наконец представила модель, которая оправдывает обещания локального развёртывания — не за счёт урезания агентных возможностей, а благодаря переосмыслению того, как компактный трансформер расходует вычислительные ресурсы. Для разработчиков и компаний, которым нужны частные высокоавтономные помощники для программирования на ноутбуках или отдельных рабочих станциях, зацикленные трансформеры официально перешли из разряда академических диковинок в практическую реальность.


