Спецкурс "Большие языковые модели в вопросно-ответных системах: от трансформера до собственного чат бота" |
Лектор: младший научный сотрудник кафедры АЯ ВМК МГУ Тихомиров Михаил Михайлович, к.ф.-м.н.
Занятия по четвергам с 18:00, аудитория 607
Аннотация
Большие языковые модели (LLM) стали важным направлением в области искусственного интеллекта и компьютерной лингвистики. Они используются для генерации текста, перевода, ответов на вопросы и многих других задач обработки естественного языка. Современные LLM, такие как GPT-3, LLaMa, Mistral могут генерировать связные и качественные тексты. Одним из типичных сценариев использования LLM являются вопросно-ответные системы, в которых языковая модель выступает в качестве эксперта для ответа на вопросы пользователя. Однако, в порожденных моделью ответах на вопросы встречаются так называемые галлюцинации - случаи генерации выдуманных фактов, событий и концепций. Одним из способов борьбы с этими проблемами является использование информационно-поисковых систем, из которых извлекаются релевантные вопросу фрагменты текста, которые подаются в качестве подсказки / помощи в языковые модели. В курсе будут рассмотрены современные подходы к информационному поиску и поиску ответов на вопросы на основе LLM, а также современная технология комбинирования LLM и информационного поиска Retrieval Augmented Generation (RAG).
Курс содержит существенную практическую составляющую и направлен на то, чтобы слушатели смогли:
1. Понять принципы работы трансформеров,
2. Освоить методы применения, обучения и тонкой настройки LLM на различных задачах обработки естественного языка.
3. Изучить способы комбинирования информационного поиска и LLM в задаче генерации ответов на вопросы, в частности технологию Retrieval Augmented Generation (RAG).
4. Разработать собственные проекты с использованием LLM и оценить их эффективность.