
Тот факт, что ChatGPT может автоматически генерировать текст, который выглядит так, словно написан человеком, поражает наше воображение. Большинство людей недоумевают, как чат-бот выполняет интеллектуальную работу, которая прежде считалась доступной исключительно человеку. Как он это делает? Моя цель — дать вам хотя бы общее представление о том, что происходит внутри ChatGPT, а затем исследовать, как ему удается так хорошо создавать то, что выглядит как осмысленный текст. Хочу сразу сказать, что я собираюсь сосредоточиться на общих принципах работы ChatGPT и, хотя буду упоминать некоторые технические детали, не стану в них углубляться. (Все, о чем я буду говорить, применимо и к другим большим языковым моделям, подобным ChatGPT.)
Первое, что нужно объяснить, — ChatGPT всегда пытается создать «разумное продолжение» любого текста, который у него есть на данный момент. Под словами «разумное продолжение» мы подразумеваем «то, что можно ожидать, исходя из того, что люди уже написали на миллиардах веб-страниц».
Итак, давайте предположим, что у нас есть предложение «Самое лучшее в ИИ — это его способность…». Представьте, что вы прочитываете миллиарды страниц текста, на писанных людьми (скажем, веб-страницы в интернете и оцифрованные книги), и находите все аналогичные предложения, а затем смотрите, какое слово чаще всего встречается в них на месте многоточия. ChatGPT делает что-то подобное, за исключением того, что (как я объясню позже) он не просматривает тексты буквально — он ищет фрагменты, которые «совпадают по смыслу». Результатом его работы является список слов, которые логически могут следовать за основным словом, ранжированных по степени вероятности их присутствия в этом предложении:
Самое лучшее в ИИ — это его способность… (англ. The best thing about AI is its ability to…
Примечательно, что, когда ChatGPT пытается написать эссе, по сути он просто снова и снова спрашивает: «Учитывая текст на данный момент, каким должно быть следующее слово?» — и каждый раз добавляет это новое слово. (Точнее, он добавляет так называемый токен, который может быть и частью слова; именно поэтому ChatGPT иногда может «составлять новые слова». Но об этом позже.)
Итак, на каждом этапе ChatGPT создает список слов с указанием вероятности их присутствия на данном месте. Но какое из них нужно выбрать, например, для эссе? Можно предположить, что это должно быть слово с самым высоким рейтингом (то есть то, для которого определена самая высокая вероятность). Однако именно здесь ChatGPT начинает проявлять свои вуду-способности. Потому что по какой-то причине (возможно, однажды мы ее даже узнаем), если всегда будем выбирать слово с самым высоким рейтингом, мы получим очень гладенькое эссе без малейшего признака креативности (и которое будет слово в слово повторять множество других текстов). Но если мы наугад выбираем слова с более низким рейтингом, то эссе получается «более интересное».
Вольфрам, Стивен - Как устроен ChatGPT? - Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире
Пер. с англ. Е. Быковой ; науч. ред. А. Здоров. — Москва : МИФ, 2024. — 192 c. — (Цифровые технологии).
ISBN 978-5-00214-604-8
Вольфрам, Стивен - Как устроен ChatGPT? – Содержание
Предисловие
ЧТО ДЕЛАЕТ CHATGPT И ПОЧЕМУ ЭТО РАБОТАЕТ?
- Он просто добавляет по одному слову за раз
- Откуда берутся эти вероятности?
- Что такое модель?
- Модели для человеческих задач
- Нейронные сети
- Машинное обучение нейронных сетей
- Обучение нейронных сетей: практика и знания
- Достаточно большая сеть может сделать все что угодно — так ведь?
- Концепция эмбеддингов
- Внутри ChatGPT
- Обучение ChatGPT
- Помимо базового обучения
- Что позволяет ChatGPT работать?
- Смысловое пространство и семантические законы движения
- Семантика и сила вычислительного языка
- Так что же делает ChatGPT и почему это работает?
- Благодарности
WOLFRAM|ALPHA КАК СПОСОБ ДОБАВИТЬ В CHATGPT СВЕРХВОЗМОЖНОСТИ ВЫЧИСЛЯЕМЫХ ЗНАНИЙ
- ChatGPT и Wolfram|Alpha
- Базовый пример
- И еще несколько примеров
- Перспективы
- Дополнительные ресурсы
Категории:
Благодарю сайт за публикацию:
Комментарии
Большое спасибо!