Вольфрам - Как устроен ChatGPT?

Вольфрам, Стивен - Как устроен ChatGPT? - Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире
Тот факт, что ChatGPT может автоматически генерировать текст, который выглядит так, словно написан человеком, поражает наше воображение. Большинство людей недоумевают, как чат-бот выполняет интеллектуальную работу, которая прежде считалась доступной исключительно человеку. Как он это делает? Моя цель — дать вам хотя бы общее представление о том, что происходит внутри ChatGPT, а затем исследовать, как ему удается так хорошо создавать то, что выглядит как осмысленный текст. Хочу сразу сказать, что я собираюсь сосредоточиться на общих принципах работы ChatGPT и, хотя буду упоминать некоторые технические детали, не стану в них углубляться. (Все, о чем я буду говорить, применимо и к другим большим языковым моделям, подобным ChatGPT.)
 
Первое, что нужно объяснить, — ChatGPT всегда пытается создать «разумное продолжение» любого текста, который у него есть на данный момент. Под словами «разумное продолжение» мы подразумеваем «то, что можно ожидать, исходя из того, что люди уже написали на миллиардах веб-страниц».
 
Итак, давайте предположим, что у нас есть предложение «Самое лучшее в ИИ — это его способность…». Представьте, что вы прочитываете миллиарды страниц текста, на писанных людьми (скажем, веб-страницы в интернете и оцифрованные книги), и находите все аналогичные предложения, а затем смотрите, какое слово чаще всего встречается в них на месте многоточия. ChatGPT делает что-то подобное, за исключением того, что (как я объясню позже) он не просматривает тексты буквально — он ищет фрагменты, которые «совпадают по смыслу». Результатом его работы является список слов, которые логически могут следовать за основным словом, ранжированных по степени вероятности их присутствия в этом предложении:
 
Самое лучшее в ИИ — это его способность… (англ. The best thing about AI is its ability to…
 
Примечательно, что, когда ChatGPT пытается написать эссе, по сути он просто снова и снова спрашивает: «Учитывая текст на данный момент, каким должно быть следующее слово?» — и каждый раз добавляет это новое слово. (Точнее, он добавляет так называемый токен, который может быть и частью слова; именно поэтому ChatGPT иногда может «составлять новые слова». Но об этом позже.)
 
Итак, на каждом этапе ChatGPT создает список слов с указанием вероятности их присутствия на данном месте. Но какое из них нужно выбрать, например, для эссе? Можно предположить, что это должно быть слово с самым высоким рейтингом (то есть то, для которого определена самая высокая вероятность). Однако именно здесь ChatGPT начинает проявлять свои вуду-способности. Потому что по  какой-то причине (возможно, однажды мы ее даже узнаем), если всегда будем выбирать слово с самым высоким рейтингом, мы получим очень гладенькое эссе без малейшего признака креативности (и которое будет слово в слово повторять множество других текстов). Но если мы наугад выбираем слова с более низким рейтингом, то эссе получается «более интересное».
 

Вольфрам, Стивен - Как устроен ChatGPT? - Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире

Пер. с англ. Е. Быковой ; науч. ред. А. Здоров. — Москва : МИФ, 2024. — 192 c. — (Цифровые технологии).
 ISBN 978-5-00214-604-8
 

Вольфрам, Стивен - Как устроен ChatGPT? – Содержание

Предисловие 
ЧТО ДЕЛАЕТ CHATGPT И ПОЧЕМУ ЭТО РАБОТАЕТ?
  • Он просто добавляет по одному слову за раз 
  • Откуда берутся эти вероятности?
  • Что такое модель?
  • Модели для человеческих задач 
  • Нейронные сети 
  • Машинное обучение нейронных сетей 
  • Обучение нейронных сетей: практика и знания 
  • Достаточно большая сеть может сделать все что угодно — так ведь? 
  • Концепция эмбеддингов 
  • Внутри ChatGPT 
  • Обучение ChatGPT 
  • Помимо базового обучения 
  • Что позволяет ChatGPT работать? 
  • Смысловое пространство и семантические законы движения 
  • Семантика и сила вычислительного языка 
  • Так что же делает ChatGPT и почему это работает? 
  • Благодарности 
WOLFRAM|ALPHA КАК СПОСОБ ДОБАВИТЬ В CHATGPT СВЕРХВОЗМОЖНОСТИ ВЫЧИСЛЯЕМЫХ ЗНАНИЙ
  • ChatGPT и Wolfram|Alpha 
  • Базовый пример 
  • И еще несколько примеров 
  • Перспективы 
  • Дополнительные ресурсы 
 
 

Категории: 

Благодарю сайт за публикацию: 

Ваша оценка: Нет Average: 10 (3 votes)
Аватар пользователя brat Vadim