общество - главные новости

Все новости, где упоминается общество

runawayllm - Доработанная GPT-5 Pro достигла человеческого уровня в сложном бенчмарке ARC-AGI-1 - habr.com
habr.com
71%
541
Доработанная GPT-5 Pro достигла человеческого уровня в сложном бенчмарке ARC-AGI-1
Исследователь Джереми Берман сообщил, что разработанная им мультиагентная система на базе GPT-5 Pro показала 88 из 100 на случайной выборке задач из бенчмарка ARC-AGI-1 при средней стоимости порядка 27 долларов за задачу и суммарном времени прогона около 12 часов. Берман подчеркивает, что результат еще предстоит проверить на скрытом наборе ARC Prize; в его прошлых экспериментах официальная верификация обычно снижала итог на несколько пунктов и слегка увеличивала стоимость. С этой оговоркой автор ожидает, что итоговый скор окажется вблизи ориентирной планки «human-level» около 85%. Стоит отметить, что системы Бермана регулярно достигали лидирующих позиций в бенчмарках ARC, так что его слова заслуживают доверия.

ВСЕ СОБЫТИЯ ОБЩЕСТВЕННОЙ ЖИЗНИ ЗА СЕГОДНЯ

Что произошло в стране и за рубежом на текущий момент: резонансные происшествия, громкие конфликты, скандалы, аварии и стихийные бедствия.

Мы держим руку на пульсе мировых событий и публикуем для вас только самые актуальные и свежие новости, которые вызовут у вас интерес. Будьте первыми, кто узнает о происходящем вокруг!

DMCA