Как работает ChatGPT?

ChatGPT — это чат-бот с искусственным интеллектом, основанный на базовой языковой модели OpenAI GPT-4. Он анализирует подсказки пользователя на естественном языке и генерирует соответствующий ответ на основе данных, используемых для обучения ИИ. Программа ChatGPT написана на Python и работает на суперкомпьютере Microsoft Azure, оснащенном тысячами графических процессоров Nvidia A100 и H100.

Что означает «GPT»?

GPT в названии ChatGPT расшифровывается как Generative Pre-trained Transformer. На русском значит «натренированная модель, которая генерирует текст». Генеративный ИИ — это тип мультимодальной системы ИИ, которая генерирует текст, изображения или другие медиафайлы в ответ на запросы пользователя. В машинном обучении преобразователь — это модель глубокого обучения, которая может начать различать, какие части ее входных данных важны. Преобразователи берут заданный набор данных и выполняют над ним операцию, а затем возвращают результат.

OpenAI использовал полууправляемый подход для предварительной подготовки моделей GPT-3.5 и GPT-4, на которых работает ChatGPT. На первом этапе без присмотра программисты ChatGPT применили модель к своим обучающим наборам данных, что побудило ее сформировать собственные предположения о структуре языков. (Обучение без учителя является ключом к гибкости ChatGPT, поскольку оно позволяет модели оценивать полученные данные.) Затем программисты доработали модель, исправив ее общие предположения, используя отфильтрованные, структурированные и помеченные данные, которые модерировались по содержанию люди.

Что умеет ChatGPT?

Как генеративный мультимодальный ИИ, ChatGPT специализируется на создании контента в ответ на запросы пользователя: ChatGPT и другие модели этого типа могут создавать блоки текста, создавать изображения и видео и даже писать музыку.

Как только вы изучите его внутренние правила, сервис станет простым, и вы найдете удивительное множество различных способов его использования, которые «не проторены». Можно наблюдать много успешных примеров от людей, которые использовали ChatGPT, чтобы помочь им спланировать еду и отпуск, провести викторины, написать код и формулы Excel и даже победить депрессию. И похоже, что возможности GPT только увеличиваются. OpenAI использует свою модель GPT 4.0 для математических рассуждений, обучая модель таким вопросам, как «Упростить тангенс 100 + 4 (sin 100)».

Математические рассуждения с GPT 4.0

В феврале 2023 года OpenAI представила несколько новых сторонних наворотов для (платных) пользователей ChatGPT Plus. В настоящее время существует почти сотня расширений для ChatGPT от таких поставщиков, как Instacart, OpenTable и Zillow. Вы можете установить столько, сколько хотите, но активировать одновременно можно только три.

Еще более мощными являются API-интерфейсы, с помощью которых разработчики могут связывать свои проекты с серверной частью GPT-3.5 Turbo и GPT-4. Эти инструменты платные; разработчики платят за запрос, хотя это доли цента за тысячу входных токенов. Но API OpenAI ChatGPT может взаимодействовать с внешними API, позволяя внешним службам выполнять сложные запросы и вызовы функций.

Как работает ChatGPT?

ChatGPT получает многие из своих уникальных возможностей, потому что это трансформер. До того, как такие инструменты, как ChatGPT, начали использовать естественный язык, они уже отлично справлялись с алгоритмическим преобразованием и масштабированием изображений и видео. Изображения могут быть представлены в виде массива пикселей, где каждый пиксель имеет связанные значения в цветовом пространстве, а видео представляет собой серию изображений, иногда с прикрепленными аудиосигналами. Вы можете дать преобразователю изображение и сказать ему: «Выполните операцию X для каждого пикселя», и то, что он вернет, может быть радикальным улучшением исходного материала. Трансформеры могут даже анализировать и изменять движение элементов в видео, определяя векторы движения на основе того, какие пиксели меняются между кадрами.

Прежде чем мы пойдем дальше, вы захотите узнать, что такое токен: токен в машинном обучении — это подчиненный элемент предложения, фразы, предложения, абзаца или другой формы ввода (например, элементы изображения или мотивы в музыкальном произведении). Путь (последовательность слов или токенов), по которому преобразователь получает результат, зависит от того, сколько внимания, по мнению его модели, он должен уделять различным токенам и областям карты.

Под капотом эти модели используют векторы для навигации по языку как своего рода концептуальному ландшафту, где атрибуты языка представляют декартову систему координат, а относительная важность каждого токена сообщает топографическую высоту объектов в этом семантическом ландшафте. Модель выбирает свой путь через этот ландшафт, используя градиентный спуск.

Предположим, вы положили мрамор на неровную поверхность; он будет катиться по пути наименьшего сопротивления, чтобы найти место отдыха с наименьшей энергией. Градиентный спуск выбирает место в этом 3,5-миллиардном ландшафте и кладет метафорический шарик. Выход ИИ аналогичен пути шарика.

Чтобы получить быстрые ответы, ChatGPT должен спросить себя: «Что будет дальше в этой текстовой строке?» Чтобы решить проблему с градиентным спуском, ChatGPT выбирает начальную точку семантического ландшафта, точку, соответствующую языковым атрибутам начального запроса. Модель принимает решение о желательности своих вариантов на основе того, какое место на семантической карте имеет наибольшую вероятность оказаться следующим в процессе модели.

Трансформеры могут управлять тем, на что они обращают внимание — по сути, они могут огораживать части карты в зависимости от того, на что они запрограммированы. Более важные токены получают приоритетное внимание, и модель решает, какие токены важны, просматривая набор сравнения естественного языкового обмена между людьми. Для ChatGPT важным набором является Common Crawl, который индексирует огромное количество веб-сайтов, включая Wikipedia, Reddit, StackExchange и GitHub. Другой — официальные справочные форумы Ubuntu, которые содержат более миллиона языковых обменов между людьми.

Как получить доступ к ChatGPT

Вы можете найти инструмент ChatGPT на сайте chat.openai.com. Доступ бесплатный, но существует платная подписка. Оба требуют, чтобы вы создали учетную запись. Платная подписка называется ChatGPT Plus; на начало июля 2023 года это 20 долларов в месяц, вы получаете «общий доступ» к ChatGPT даже в периоды пикового использования.

OpenAI выпустила приложение iOS ChatGPT, доступное как для бесплатных пользователей, так и для подписчиков ChatGPT Plus. Он предлагает те же функции, что и веб-сайт, с дополнительным преимуществом: инструмент распознавания речи Whisper с открытым исходным кодом OpenAI позволяет мобильным пользователям произносить свои запросы, а не печатать их.

Microsoft вложила миллиарды долларов в ChatGPT и уже интегрировала ChatGPT в Bing Chat и SwiftKey, недавно приобретенное стороннее приложение для клавиатуры. Несколько «интерфейсных» сервисов работают на моделях GPT-3+, включая DALL-E и DALL-E2, последний из которых стоит за Bing Image Creator.

Одно предостережение: ChatGPT может одновременно обрабатывать только определенное количество пользователей. На сервис подписано более 100 миллионов человек, большинство из которых проживает в США. Это означает, что, как и в случае с игровыми серверами, периоды пикового использования соответствуют времени, когда люди наиболее вероятно будут использовать сервис. Если слишком много пользователей пытаются одновременно взаимодействовать с ChatGPT, время в очереди увеличивается, и его серверы могут быть перегружены.

Как начать использовать ChatGPT

Как только вы нашли свой вариант ChatGPT, пора начинать. Чтобы взаимодействовать с ChatGPT, вам нужно дать подсказку ИИ. Вам не нужно знать, как программировать; вы можете написать подсказку на обычном разговорном языке.

Вот некоторые примеры:

• Нарисуйте рыжую лису, счастливо сидящую в куче осенних листьев.
• В трех абзацах резюмируйте причины последних трех корректировок процентной ставки Федеральной резервной системы.
• Дайте мне план для сообщения в блоге из 800 слов, в котором дается обзор полупроводников n-типа и p-типа.

Вы можете уточнить свои результаты, изменив подсказку или указав ИИ ссылаться на заданный ресурс, например домены .gov, StackExchange или Википедию. Более подробная информация в вашей подсказке поможет ИИ дать лучший ответ. Метод проб и ошибок — ваш друг.

Для тех, кто хочет более глубоко погрузиться в художественные эксперименты с нейронными сетями типа GPT, OpenAI также создала DALL-E 2 , «генератор искусственного интеллекта» на основе GPT-3. DALL-E 2 может анализировать описания на естественном языке и использовать их для создания произведений искусства во многих стилях, от абстрактных до картинок и фотореалистичных изображений.

Каковы недостатки использования ChatGPT?

При создании визуальных медиа семейство GPT-3 не имеет чувства контекста и может создавать жуткие изображения прямо со дна Зловещей долины. Это называется галлюцинацией. Это не относится к ChatGPT, но это происходит с ChatGPT.

Когда у ИИ возникают галлюцинации, он производит вывод с известной формой, но несоответствующим содержанием. Генеративные ИИ, такие как ChatGPT, используют эту способность, чтобы отвечать на подсказки, создавая новый контент, который, по сути, представляет собой сложный, смешанный ремикс того, что ИИ видел в процессе обучения и обучения. Проблема в том, что ChatGPT не всегда так мудр, как мощен. Детали галлюцинаций ИИ могут изменить внешний вид персонажей или необычным образом исказить видео и изображения. Хотя ChatGPT 3.5 может рассказывать анекдоты, исследования показали, что он имеет тенденцию возвращаться всего к паре дюжин, только делая простые вариации на тему.

ChatGPT также борется с точностью. Любой сервис или инструмент, собирающий информацию в Интернете, уязвим для дезинформации, и ChatGPT не является исключением. Модели ИИ, такие как ChatGPT и ему подобные, имеют тенденцию создавать текстовый вывод, который грамматически связен, но фактически неверен.

А еще есть юридические проблемы: опасения, связанные с тем, что материалы, защищенные авторским правом, встраиваются в инструменты для работы с изображениями и видео, создали головную боль в правовой сфере. Несколько престижных научных журналов запретили или резко ограничили использование контента, созданного ИИ.

На практике все это означает, что когда дело доходит до серьезных вещей, ChatGPT еще не готов к тренировкам. Но количество сервисов на базе ChatGPT в его различных воплощениях будет только расти в течение следующих нескольких лет. Microsoft намерена встроить ИИ в Windows с помощью нескольких сервисов и приложений, включая такие продукты, как CoPilot и веб-браузер Bing. По мере того, как инструменты ИИ набирают силу и популярность, мы будем двигаться по кривой ажиотажа, и технология найдет свое место.

Источник: extremetech.com

Александр Григорьев ЦСО "Крокус"