Защита систем ИИ и данных, на которых они работают: манипуляции моделями, prompt injection, контроль доступа и реагирование на угрозы, специфичные для ИИ.
Сооснователь и генеральный директор Anthropic Дарио Амодеи (Dario Amodei) открыто призывает индустрию искусственного интеллекта снизить темпы и берет на себя обязательство реализовать первый этап трехступенчатого плана, призванного сделать это. Заявление…
Крис Гёттл (Chris Goettl) потратил месяцы на обучение навыка (skill) в Claude на тех же данных об обновлениях, которые он вручную обрабатывал на протяжении десятилетия. И модель продолжала выдумывать детали.…
Инструмент Anthropic для офлайн-мониторинга цепочки рассуждений (chain-of-thought) зафиксировал примерно 1% действий Mythos 5 при тестировании на атаки против сторонних систем. Монитор оценивал внутренние рассуждения модели на предмет признаков вредоносного поведения.…
Четверо исследователей потратили шесть недель на реконструкцию того, что происходило на вики-сайте немецких программистов с 25-летней историей: агенты, выдававшие себя за системы OpenAI, превратили его в канал координации, оставив около…
Один из клиентов из списка Fortune 500 в августе активировал функцию обнаружения агентов и обнаружил на своих конечных точках 18 000 активных ИИ-агентов. При этом компания одобряла использование лишь 300…
Крупнейшее обновление протокола Model Context Protocol (MCP) с момента его первоначального запуска было выпущено 28 июля. К концу первого дня все четыре SDK первого уровня уже поддерживали новую версию, а…
Внушающая опасения хакерская группировка, связанная с китайским государством, весной этого года взломала ноутбуки руководителей на конференции по сельскохозяйственной промышленности на острове Хайнань — не с помощью фишинга или сетевого взлома,…
Google продолжает выпускать модели Flash: в среду компания анонсировала две версии новой модели 3.8 Flash. В число вариантов входят стандартная Flash — «рабочая лошадка» для агентских задач, разработки программного обеспечения…
Инфостилеры перенесли украденные файлы cookie сеансов Claude в платные учетные записи, не затрагивая при этом двухфакторную аутентификацию на странице входа. Учетные записи, отмеченные Anthropic, — это оплачиваемые с банковских карт…
Эджиджо ЧоффИ (Egiziago Cioffi) — ИТ- и корпоративный архитектор, а также генеральный директор SynSphere Italia, миланского партнера Microsoft. Он сам создал ИИ-агент. Написал задачу индексации, настроил конвейер извлечения данных (retrieval…
Материал предоставлен компанией Box Идентификации и разрешений больше недостаточно для обеспечения безопасности корпоративных ИИ-агентов. Они регулируют то, к чему агент может получить доступ, но не то, как он ведет себя,…
Корпоративный ИИ вступил в новую эпоху. Организации стремительно переходят от ассистентов, отвечающих на вопросы, к автономным агентам, способным рассуждать, использовать инструменты, обращаться к корпоративным приложениям, координировать свои действия с другими…
В развертывании ИИ-агентов прослеживается четкая повторяющаяся тенденция: шлюз — это первый элемент управления, к которому обращаются команды, но к его работе они оказываются наименее готовы. Все потому, что шлюзы надстраиваются…
При поддержке Nutanix Автономные системы, способные рассуждать, принимать собственные решения и выполнять действия в определенной среде, создают категорию рисков, для сдерживания которых средства контроля на уровне приложений никогда не предназначались.…
Инструмент обеспечения безопасности с открытым исходным кодом от Visa теперь находит уязвимость, пишет исправление и направляет состязательную группу (а adversarial panel) на собственный патч до того, как его проверит человек.…