GPT-5 и Gemini 2.5 превосходят людей в ICPC

OpenAI и Google DeepMind продемонстрировали, что их базовые модели способны превзойти программистов-людей и одержать победу, доказав, что большие языковые модели (LLM) могут решать сложные, ранее не поддававшиеся алгоритмические задачи.

GPT-5 от OpenAI и Gemini 2.5 Deep Think от Google приняли участие в мировом финала Международной студенческой олимпиады по программированию 2025 года (ICPC). Это соревнование объединяет студенческие команды со всего мира для решения сложных алгоритмических задач.

Хотя технически обе модели не соревновались напрямую бок о бок с человеческими командами — их участие регулировалось правилами ICPC и контролировалось организациями, — LLM успешно справились с задачами, которые оказались не по зубам некоторым участникам.

GPT-5 удалось набрать максимальный балл, ответив на 12 задач из 12 — результат, сопоставимый с завоеванием золотой медали на турнире. Gemini 2.5 Deep Think решила 10 из 12 алгоритмических задач за 677 минут, что, как отметили в Google DeepMind в своем блоге, соответствовало бы второму месту в общем зачете соревнования.

В OpenAI отметили, что не обучали специальную версию GPT-5 конкретно для ответов на вопросы на ICPC. В Google указали, что задействовали «продвинутую версию» Gemini 2.5 DeepThink. 

Если вам интересно, кто стал реальными людьми — обладателями золотых медалей ICPC, то это команды Санкт-Петербургского государственного университета, Токийского университета, Пекинского транспортного университета и Университета Цинхуа. (Гарвард и Массачусетский технологический институт стали лучшими среди американских вузов, оказавшись на уровне серебряных медалей).

Ни одна из команд, состоящих из людей, не набрала 12 баллов из 12.

Соревнование 

ICPC привлекает тысячи участников: в мировом финале этого года соревновались 139 университетов из по меньшей мере 103 стран.

Во время финала участники должны решить идентичный набор алгоритмических задач за пятичасовой временной интервал. Итоговый рейтинг зависит от того, какие задачи решили команды и насколько быстро они справились с ними. 

«Мы официально соревновались в очном треке искусственного интеллекта на ICPC с тем же 5-часовым лимитом времени на решение всех двенадцати задач, отправляя решения локальному судье мирового финала ICPC — судейство проводилось аналогично и параллельно с подачами на чемпионате ICPC. Мы получили задачи в абсолютно том же формате PDF, и система рассуждений выбирала, какие ответы отправить, без каких-либо специализированных вспомогательных средств на этапе тестирования. Для 11 из 12 задач первый ответ системы оказался верным. Для самой сложной задачи успех был достигнут с 9-й попытки. Примечательно, что лучшая человеческая команда достигла результата 11/12», — заявили в OpenAI в посте на X. 

В Google, с другой стороны, сообщили, что Gemini «решила восемь задач всего за 45 минут и еще две задачи в течение трех часов». 

Кроме того, в Google отметили, что Gemini решила одну задачу, с которой не смогла справиться ни одна из университетских команд. Она заключалась в поиске способа распределения жидкости через систему воздуховодов. 

«Gemini нашла эффективное решение благодаря остроумному озарению: сначала она предположила, что каждый резервуар имеет «приоритетное значение», отражающее степень предпочтительности этого резервуара по сравнению с остальными. Получив набор приоритетных значений, лучшую конфигурацию воздуховодов можно найти с помощью алгоритма динамического программирования. Gemini обнаружила, что, применяя теорему о минимаксе, к исходной задаче можно подойти путем поиска таких приоритетных значений, при которых получающийся поток оказывается наиболее ограниченным. Используя взаимосвязь между приоритетными значениями и оптимальными потоками, Gemini применила вложенные троичные поиски для быстрого нахождения оптимальных приоритетных значений в выпуклом пространстве решений чашеобразной формы и решила Задачу C», — рассказали в Google. 

LLM и сложные проблемы

Нет никаких сомнений в том, что базовые модели вроде GPT-5 и Gemini 2.5 способны отвечать на вопросы общего характера; в конце концов, эти LLM постоянно подтверждают свою базу знаний на более распространенных доступных бенчмарках. 

Результаты выступления на ICPC показывают, что при столкновении с более сложными математическими задачами и в условиях соревновательного программирования против людей модели способны побеждать человека. 

Разрыв сокращается уже некоторое время. Ранее в этом году компания Google объявила, что Gemini завоевала золотую медаль на Международной математической олимпиаде, одном из самых сложных математических соревнований в мире. Этот успех последовал всего через несколько месяцев после того, как LLM не смогли справиться со сложными математическими задачами в бенчмарке FrontierMath. 

Конечно, некоторым корпоративным сценариям использования не требуется модель, способная решать самые неразрешимые задачи программирования в мире. Однако по мере того, как компании находят все более сложные рабочие процессы для делегирования системам искусственного интеллекта, а организации ищут возможности для аналитики на базе ИИ, наличие LLM с доказанными сильными навыками программирования и математики окажется чрезвычайно полезным. Это также показывает, что базовые модели прошли огромный путь и теперь способны использовать глубокие абстрактные рассуждения и навыки творческого решения проблем, которые могут пригодиться для решения корпоративных задач в будущем. 

Путь к ОИИ

Многие считают, что модели, демонстрирующие столь высокий уровень рассуждений и решения задач, являются серьезным шагом на пути к искусственному интеллекту общего уровня (AGI). Сокращение разрыва между человеческими рассуждениями и возможностями LLM с помощью соревнований по программированию определенно показывает, что нынешнее поколение моделей уверенно движется в этом направлении.

Выступления, отмеченные золотыми медалями, уже привлекли внимание активных пользователей ИИ в социальных сетях.