13 мая 2024 года компания OpenAI представила свою новейшую и самую совершенную на данный момент модель искусственного интеллекта (ИИ) — GPT-4 Omni или GPT-4o. По словам разработчиков, новый чат-бот обладает улучшенными качествами, по своему интеллекту приближаясь к «уровню человека». «Лента.ру» рассказывает, что умеет GPT-4o, в каких областях его можно применять и как им пользоваться.

Что такое GPT-4o

GPT-4o — новейшая модель чат-бота ChatGPT и преемник GPT-4. Компания OpenAI анонсировала ее во время мероприятия Spring Update, где презентовала свои разработки.

По сравнению с предыдущими версиями чат-бота, в GPT-4o добавили новые функции, улучшили скорость и производительность. Слово omni в названии — латинская приставка, означающая «все» или «каждый», — указывает на универсальность искусственного интеллекта. Так создатели подчеркнули, что новая версия стала мультимодальной, то есть научилась одновременно воспринимать информацию нескольких типов и отвечать на запросы пользователя, генерируя текст, озвучивая его, создавая изображения и так далее.

GPT-4o даже сравнивают с голосовым ассистентом Самантой из фильма «Она» (2013) — сами разработчики не раз делали отсылки к картине.

Что может GPT-4o

Переводить с другого языка

Одно из главных обновлений в GPT-4o — теперь он лучше понимает языки. Разработчики обучали эту модель на большом объеме данных, которые охватывали разные диалекты и нюансы разговорной речи. За счет этого GPT-4o переводит тексты более точно даже в сравнении со своим предшественником GPT-4 и лучше пишет на иностранных языках (более ранние версии хорошо знали только родной английский).

Так, чат-бот в реальном времени помог общаться носителям двух разных языков: итальянского и английского. Когда ИИ слышал английскую речь, он переводил ее на итальянский, и наоборот.

Распознавать речь

Чат GPT-4o научился мгновенно реагировать и распознавать речь в режиме реального времени с задержкой около 0,3 секунды, что сравнимо со скоростью ответа человека.

При этом чат-бот не говорит монотонно: он воспроизводит разнообразные тембры голоса, смеется, поет и выражает эмоции.

«Во время общения я обнаружил, что прерываю модель на полуслове, чтобы задать новый вопрос. Примечательно, что ChatGPT-4o плавно адаптировал свой ответ с учетом моего вмешательства. Он даже способен регулировать свой тон и стиль в зависимости от ситуации», — рассказал один из пользователей.

Распознавать видео и изображения

Версия GPT-4о распознает действия, сцены и объекты на видео, способна транскрибировать видеозапись встречи и выделять разных спикеров.

Чат-бот может генерировать текст, анализируя картинки и видео. Например, описать загруженный контент или создать рецепт на основе фотографии ингредиентов.

Кроме того, чат GPT-4o способен обрабатывать изображения и распознавать написанный на них текст. Например, модель перевела древние письмена со старославянского и голландского языков, но с некоторыми ошибками. ИИ справился и с переводом меню в ресторане, предложив пользователю самые сытные блюда. Однако разобрать медицинское заключение, написанное непонятным врачебным почерком, ему практически не удалось.

Что еще может ChatGPT-4о:

генерировать видео, в том числе трехмерные, по текстовому заданию пользователя; с помощью камеры в режиме реального времени комментировать все, что происходит вокруг. Функция особенно актуальна для людей, имеющих проблемы со зрением; пересказывать видео и понимать, что происходит в нем по визуальному ряду (без звука); вести последовательный диалог несколько минут, учитывая предыдущий контекст разговора при генерации новых ответов.

Как использовать

GPT-4o будет полезен как обычным юзерам, так и бизнесу.

Служба поддержки

В отличие от человека, GPT-4o реагирует на множество запросов одновременно, оперативно решая запросы клиентов.

Создание контента

GPT-4o можно использовать для вдохновения, написания статей и даже создания творческих произведений, сочинений и сценариев.

Обратите внимание, что предложенные GPT-4o факты следует проверять: ИИ создан для генерации ответов, он не умеет проводить фактчекинг.

Образование

С помощью GPT-4о студенты могут разбирать сложные темы по различным дисциплинам, в том числе получать помощь с домашним заданием: например, показать чат-боту математическую задачу, которую нужно решить. В зависимости от запроса пользователя, GPT-4о даст финальный ответ или подскажет, что нужно сделать, чтобы найти решение самостоятельно.

Кроме того, с помощью ИИ легко учить иностранные языки. Например, GPT-4o может называть предметы, которые ей показывают, на другом языке.

Разработчики опубликовали ролик, на котором англоговорящий мужчина с помощью камеры смартфона показал ИИ несколько объектов (фрукты, плюшевую игрушку и ручки) и попросил перевести их названия на испанский для его собеседницы. ИИ справился с задачей.

Виртуальный помощник

GPT-4o полезен в повседневной жизни. В интернете есть множество статей о том, как юзеры оптимизируют с его помощью работу по дому, занятия с детьми и даже хобби.

Так, ИИ способен составить расписание на день, продумать меню, предложить идеи развлечений на вечер, кратко пересказать видео и даже просто поболтать по душам.

А еще его можно использовать в бизнесе и работе — например, GPT-4o понимает особенности корпоративной коммуникации и способен составить электронное письмо по всем правилам интернет-общения. Для этого в чат-бот нужно загрузить тезисы, которые необходимо отразить в имейле, — можно написать их в неформальной манере.

Помощь в кодировании

Разработчики могут использовать GPT-4o для написания кода при работе со следующими языками программирования:

Python Java JavaScript TypeScript Go Kotlin PHP Perl Ruby Scala Swift C#

Чат-бот поможет исправить допущенные ошибки и предложит способы дополнить код. Новички получат четкие объяснения и быстрее освоят новый материал, а опытные разработчики — ускорят процессы отладки и кодирования.

Подведение итогов встречи

ChatGPT-4o способен не только вести стенограмму встреч с участием нескольких спикеров, но и генерировать краткое и связное изложение созвона. ИИ выделяет главные тезисы, которые поднимались в ходе обсуждения, а также перечисляет сделанные выводы и поставленные на будущее задачи.

Создание собственных шрифтов

Одна из функцией GPT-4o — анализ существующих шрифтов и создание новых на их основе. Кроме того, модель помогает в экспорте готового шрифта в стандартные форматы файлов (например, OTF или TTF).

Дизайн

GPT-4o можно использовать для разработки персонажей. По запросу пользователя ИИ сгенерирует подробное описание внешнего вида, одежды и отличительных характеристик героя, а дизайнеры затем визуализируют образ. Кроме того, чат-боту можно отправить первоначальные эскизы: он проанализирует их и даст конструктивную критику или предложит что-то улучшить.

Как еще можно использовать GPT-4o

для синхронного перевода диалога между носителями разных языков; общаться с ИИ как с другом. GPT-4o дает качественные ответы на вопросы пользователя, рассказывает истории, понимает шутки, иронию и сарказм, определяет эмоции человека по его голосу; чтобы получать советы по стилю: ИИ способен оценить внешний вид пользователя с помощью камеры и прокомментировать его наряд.

Как пользоваться из России

В России GPT-4o официально недоступен, однако получить к нему доступ все же реально. Использовать чат-бот можно на нескольких платформах, включая сайт и мобильные приложения на базе Android или iOS.

У GPT-4o есть платная и бесплатная версии.

Бесплатная версия GPT‑4o: обрабатывает ограниченное количество запросов, доступна без регистрации, качество ответов не отличается от платной. Платная версия Plus GPT‑4o стоит 20 долларов (1640 рублей) в месяц. Подписчики смогут делать в пять раз больше запросов, чем в бесплатной версии. Для них будет открыт доступ к более ранним версиям GPT: GPT-4 и GPT-3.5. Платная версия для команды Team GPT‑4o стоит 25 долларов (2050 рублей) в месяц. В этом тарифе будут все те же функции, что и в Plus, однако пользоваться чат-ботом можно группой от двух человек.