Стартовал новый курс «Основы обучения больших языковых моделей»

Весной 2025 года в рамках Академической программы по искусственному интеллекту на факультете ВМК МГУ запущен новый спецкурс — «Основы обучения больших языковых моделей». Курс вошёл в утверждённый список дисциплин по выбору и сразу привлёк внимание студентов, интересующихся современной ИИ-разработкой.

Спецкурс посвящён работе больших языковых моделей (LLM), таких как ChatGPT, и сочетает теоретическую и практическую подготовку. Студенты узнают, что происходит «под капотом» ИИ-систем, когда они формулируют запрос, а также познакомятся с ключевыми понятиями, такими как: инференс, instruction-tuning, lora, выравнивание (alignment) языковых моделей и т.д.

Особое внимание уделяется практическим аспектам. В рамках домашних заданий участники курса осваивают техники prompting’а, обучают небольшие модели, создают системы вопрос-ответ с использованием подхода Retrieval-Augmented Generation (RAG). Также предусмотрена лекция, посвящённая локальному запуску LLM с использованием современных фреймворков, таких как Ollama и vLLM.

Преподаватель курса — Михаил Михайлович Тихомиров, кандидат физико-математических наук, научный сотрудник лаборатории анализа информационных ресурсов НИВЦ МГУ и один из авторов проекта RuAdapt по адаптации LLM для русского языка.

Курс даёт студентам представление о фундаментальных принципах работы ИИ-моделей и готовит их к практическому использованию и созданию собственных интеллектуальных систем.