Вы наверняка замечали, что в настройках нейросетей постоянно мелькают термины «токены» и «контекстное окно», а сами ИИ-сервисы списывают за них какие-то баллы или деньги. Для новичка это звучит как китайская грамота.

На самом деле, это два фундаментальных понятия, которые определяют, насколько умной будет нейросеть в диалоге с вами и почему она иногда начинает «забывать» то, что вы обсуждали полчаса назад. Давайте разберем их устройство на пальцах.

Что такое токен?

Нейросети (LLM — большие языковые модели) не читают текст так же, как люди, буква за буквой или целыми словами. Они делят текст на токены — маленькие кусочки слов, слоги или отдельные символы.

• В английском языке один токен — это примерно 4 символа или 3/4 целого слова.
• В русском языке из-за особенностей кодировки слова делятся на токены гораздо мельче. Одно русское слово может весить 2, 3 или даже 4 токена.
• Аналогия: Представьте, что вы платите за телеграмму. Каждое слово — это кусочек пазла. ИИ считает этот пазл, чтобы понять, сколько вычислительной мощности он потратил на ваш ответ. Именно поэтому запросы на английском языке в нейросетях всегда работают чуть экономнее и быстрее, чем на русском.

Что такое контекстное окно?

Контекстное окно — это объем «оперативной памяти» нейросети в рамках одного конкретного чата. Это то количество токенов (информации), которое ИИ может одновременно удерживать в голове, когда пишет вам ответ.

У каждой модели свой лимит. Например, у старого ChatGPT это было всего 4 000 токенов (примерно 3 страницы текста), а у современных моделей вроде Claude 3.5 или Gemini оно измеряется сотнями тысяч и миллионами токенов (целые тома книг).

Почему ИИ начинает «тупеть» или забывать контекст?

Когда ваш диалог в чате становится слишком длинным и превышает размер контекстного окна, происходит следующее: нейросеть начинает «вытеснять» самые первые сообщения. Она буквально забывает начало разговора.

• Пример: Если вы в первом сообщении написали: «Меня зовут Алексей, я ветеринар», а потом отправили ИИ 20 страниц текста с другими задачами, то к концу чата ИИ забудет и ваше имя, и вашу профессию, потому что эти данные просто «выпали» из его контекстного окна.

Совет от Prompt Master: Если вам нужно решить совершенно новую задачу, никогда не продолжайте старый диалог. Всегда открывайте новый, чистый чат — так вы сэкономите токены и не дадите нейросети запутаться в старом контексте!