Месяц назад компания Google официально объявила о запуске продвинутого искусственного интеллекта Gemini 1.5. Это платформа из нескольких моделей ИИ с разными возможностями и оптимизацией под разные устройства и задачи. Модель Gemini 1.5 Pro должна быть самой продвинутой и умной, поскольку ориентирована на работу с большими объемами данных. В частности, эта модель ИИ может анализировать большие тексты в сотни страниц, и даже анализировать видео. Представители Google не раз подчеркивали выдающиеся возможности Gemini при работе с большими текстами. Но в реальности все оказалось не так хорошо, как обещали.
Два независимых исследования, проведенные представителями из Массачусетского и Калифорнийского университетов, показали серьезные проблемы с пониманием больших объемом данных и выдачей правильных ответов современными ИИ. В ходе одного из экспериментов по работе с большими литературными произведениями ИИ выдавал правильный ответ в 40-50%. К примеру, после обработки одной книги из 260 тысяч слов (520 страниц) Gemini 1.5 Pro правильно отвечал на верные/ложные утверждения в 46,7% случаев, а более простая модель Gemini Flash 1.5 давала правильный ответ только в 20% случаев. ИИ сложнее всего дается проверка утверждений, требующих рассмотрения большой части произведения или даже всей книги. То есть именно с пониманием больших данных и контекста в этом массиве данных ИИ испытывает серьезные проблемы. В ходе другого эксперимента проверяли возможность понимания видеороликов (серии слайдов), предлагая ИИ идентифицировать и отвечать на вопросы относительно объектов, которые фигурировали на отдельных кадрах. Тут результаты оказались лучше, хотя ИИ Gemini Flash оказался верен в 50%.
Один из участников исследования отметил, что ни одна модель ИИ не способна показать человеческие показатели. При результативности человека в 97% лучшая модель GPT-4o давала верные ответы в 55,8% случаях.
В тестировании использовалась не самая последняя версия Gemini, но вряд ли это сильно повлияло на результаты. Некоторые специалисты считают, что Google сильно преувеличивает способности своего ИИ. В начале года Google уже была вынуждена принести извинения на свой генератор изображений, который выдавал очень странных исторических личностей.
Также немного падает интерес к генеративному ИИ в сфере бизнеса. Были очень высокие ожидания относительно новых технологий и того, что они могут заменить людей во многих сферах. Но последний опрос консалтинговой компании Boston Consulting Group показал, что более половины руководителей высшего звена не ждут от ИИ прорыва и повышения производительности, зато их беспокоит вероятность ошибок и неточных данных.
Источник:
TechCrunch
