Теория LLM и практика AI-лаборатории

Бесплатный учебник на русском о том, как устроены большие языковые модели и системы вокруг них, с воспроизводимой лабораторией на TypeScript.

Скачать PDF (82 страницы) · Интерактивный атлас · Журнал изменений · Сообщить об ошибке

Автор: Утов Илья · Telegram-канал · Редакция 2026.11.09

---

Для кого

• Инженерам, которые встраивают LLM в продукт и хотят понимать, что происходит между запросом и ответом.
• Руководителям и аналитикам, которым нужно отличать работу модели от работы приложения и правильно ставить задачи. Формулы при первом чтении можно пропустить: смысл каждого раздела изложен словами.

Сквозной пример книги: «Сколько оплаченных заказов было 1 марта 2025 года?». Модель не знает ответа. Она предлагает обратиться к базе, приложение проверяет права и получает 42, модель формулирует фразу. Книга раз за разом разбирает, какая часть системы за что отвечает и чем это проверить.

Что внутри

Часть	Главы	Темы
Основы модели	1–6	нейросеть, токенизация и BPE, эмбеддинги, softmax и температура, attention и трансформер
Обучение	7–11	pretraining, данные, SFT, RLHF, DPO, RLVR, LoRA и QLoRA, дистилляция, рассуждение
Инференс и приложение	12–19	выбор токенов, KV cache, RAG, MoE и роутинг, инструменты и агенты, prompt injection, идемпотентность, память и стоимость
Оценка	20–21	метрики, интервалы Уилсона, LLM-as-judge, карта технических решений
Дополнения		мультимодальность, speculative decoding и batching, интерпретируемость, данные и лицензии (152-ФЗ), агент в продакшене, сравнение версий и согласие оценщиков
Практика	22	вопросы, задачи с числами, ответы, словарь, 47 первоисточников, шпаргалка

Числа сквозных расчётов, attention, метрик и интервалов получены кодом из этого репозитория и проверены тестами.

Лаборатория

Нужен Node.js 24. Детерминированным командам не нужны сеть и внешние пакеты.

npm test          # 24 теста: расчёты книги, attention, оценка, безопасность
npm run demo      # «я люблю чай» → ID → logits → softmax → loss → градиент → новые logits
npm run attention # Q·K → causal mask → softmax → сумма V → остаточная связь
npm run rag       # выбор фрагмента и проверяемый источник цены
npm run orders    # проверка прав перед чтением заказов и трасса результата
npm run webhook   # два процесса шлют один event_id, UNIQUE в SQLite оставляет одну строку
npm run evaluate  # интервалы Уилсона, Recall@k и MRR
npm run structured
npm run injection # вредоносная инструкция в документе против read-only runtime

Живой опыт с настоящей моделью идёт через локальный Ollama, данные не уходят за пределы компьютера:

# сначала запустите Ollama (приложение или `ollama serve`)
ollama pull qwen2.5:3b
npm run live
npm run live:evaluate

Подробности в docs/live-lab.md. Задания лежат в docs/exercises.md, ответы в docs/answers.md. Опыт с настоящим токенизатором cl100k_base описан в docs/tokenization-lab.md, для него нужны Python 3 и tiktoken.

interactive/index.html открывается без установки: ползунки температуры, причинной маски и ранга LoRA.

Для своих проектов есть пять бланков: трасса, ТЗ на дообучение, сравнение версий, рубрика свободного ответа, запись сессии с читателем.

Что здесь моделируется честно, а что нет

Опыт	Что работает по-настоящему	Граница вывода
toy-model.ts	биграммная модель и точный градиент cross-entropy	это не трансформер
tiny-attention.ts	одна голова causal attention	веса фиксированы, обучения нет
rag.ts	выбор фрагмента и сборка контекста	ответ собирает функция, LLM не вызывается
webhook.ts	реальный UNIQUE-индекс SQLite и два процесса	одна строка в БД не исключает повторных внешних эффектов
security.ts	read-only policy отклоняет вредоносные вызовы	устойчивость настоящей модели не проверена
live-lab.ts	настоящая локальная LLM через Ollama	один прогон не оценивает качество модели

Сборка PDF

Исходники книги и скрипты сборки лежат в manual/. Прежнее подробное описание лаборатории: docs/lab.md.

Нашли ошибку?

Откройте issue с номером страницы и цитатой. Исправления попадают в следующую редакцию, авторы замечаний отмечаются в CHANGELOG.

Лицензии

• Текст и оригинальные иллюстрации книги распространяются по CC BY-NC 4.0: можно делиться и переделывать с указанием автора, но не продавать.
• Код лаборатории распространяется по MIT.
• Цитируемые работы и шрифты сохраняют условия своих правообладателей.