Машина, которая угадывает слова

Языковая модель делает одну-единственную вещь: угадывает следующее слово.

«Мороз и солнце; день...» → модель продолжает: «чудесный».

Вы пишете: «Уважаемый Иван Петрович! Пишу вам по поводу...» — модель подбирает продолжение, которое уместно в деловом письме.

Вот и всё. Никакого другого механизма внутри нет. Модель берёт текст и снова и снова угадывает, какое слово должно идти дальше, — пока не получится целый ответ.

Звучит слишком просто — но из этого механизма вырастает всё остальное.

Чтобы хорошо угадывать следующее слово, недостаточно знать грамматику.

Попробуйте продолжить фразу: «Столица Франции — это...». Чтобы угадать слово «Париж», нужно знать географию. А чтобы продолжить «Если у пациента температура и сыпь, врач в первую очередь исключит...» — нужно разбираться в медицине.

Языковую модель обучали на гигантской библиотеке текстов: книги, статьи, сайты, форумы, документация — объём, который человек не прочёл бы и за тысячу жизней. Модель не запомнила эти тексты дословно. Она уловила закономерности: как устроен язык, как связаны факты, как люди рассуждают, спорят, объясняют.

Поэтому «угадывание следующего слова» на практике выглядит как понимание. Модель пишет письма, разбирает договоры, объясняет физику школьнику и переводит с двадцати языков. Не потому, что внутри сидит разум, а потому, что она впитала, как всё это делают люди, — из миллиардов примеров.

У этой технологии есть официальное название: большая языковая модель, по-английски large language model, сокращённо LLM. Если встретите аббревиатуру LLM — это просто «модель, как в ChatGPT».

ChatGPT, кстати, не единственная. Все они устроены по одному принципу, различаются качеством, ценой и характером — примерно как автомобили разных марок.

У модели есть одна особенность, о которой стоит знать заранее: она видит только тот текст, который находится в текущем разговоре.

Это называется контекстное окно — объём текста, который модель держит перед глазами, когда отвечает. Всё, что в окно не попало, для модели не существует.

Кстати, если ваш ChatGPT «помнит», как вас зовут, — это не исключение из правила. У некоторых чатов есть функция памяти, но она устроена как надстройка: сервис сам ведёт заметки о вас и подкладывает их модели на тот же стол.

Запомните этот образ. Когда мы дойдём до агентов, он объяснит многое: например, почему агенту так важно правильно «собрать стол» перед работой.

Модель иногда уверенно говорит неправду.

Спросите её о малоизвестном человеке — она может сочинить ему биографию. Попросите ссылку на исследование — может выдать ссылку, которой не существует. Это называется галлюцинацией: модель выдаёт правдоподобный, но выдуманный ответ.

Почему так происходит? Модель угадывает слова, опираясь на закономерности. У неё нет внутри проверенной базы фактов, куда она заглядывает перед ответом. Она похожа на эрудита, который отвечает на любой вопрос по памяти, без справочников, — и физически не умеет говорить «затрудняюсь ответить», если его специально этому не научили.

Чем известнее тема, тем точнее ответы: про Пушкина модель видела миллионы текстов. Чем уже и свежее тема, тем выше шанс галлюцинации.

С этим умеют бороться — дальше увидите как. Например, агент может не вспоминать факты, а искать их в интернете или в ваших документах. Но помнить об этой особенности нужно всегда: доверяй и проверяй.