Dive into Generative AI

Самообразовательная инициатива по погружению в генеративный ИИ.

Цель: Познакомиться поближе с методами generative AI, местами погружаясь в детали их работы. Начиная от исторически самых первых генеративных моделей до востребованных на сегодняшний день.

Два уровня погружения:

• поверхностное, для общего понимания устройства моделей
• более глубокое в отдельные методы и алгоритмы (🤓)

Это просто компиляция материалов из различных открытых источников, локализованная и немного преобразованная под цели данного проекта. Программа имеет свой приблизительный таймлайн, идея состоит в том, чтобы раз в неделю выпускать что-то новое, приблизительно в соответствии с планом. Планируется, что инициативная группа авторов будет разбираться с темами в рамках программы и публиковать jupyter-ноутбуки как результат по каждой теме. Датасеты используются небольшие (MNIST, Fashion MNIST etc), чтобы была возможность запускать ноутбуки в Google Colab, например.

Программа:

Номер	Название	Содержание	📆 Дата релиза
Unit 0	Основы pytorch	Очень коротко про самые основы, для тех, кто впервые сталкивается с нейросетями	2023-08-24
Unit 1	Автоэнкодеры	AE, VAE from scratch ELBO 🤓	2023-08-31
Unit 2	Генеративные состязательные сети	GAN, DCGAN, DCCGAN from scratch Dive into GAN 🤓 WGAN, CycleGAN	2023-09-14
Unit 3	Потоковые генеративные модели	Flow-based generative models Dive to Normalizing Flows🤓🤓	2023-09-28
Unit 4	Генерация последовательностей	RNN, LSTM Professor forcing🤓 SeqGAN LeakGAN	2023-10-05
Unit 5	Трансформеры, механизм внимания	Attention, transformers, GPT Llama, quantization, fine-tuning	2023-10-26
Unit 6	Диффузные модели	Denoising Diffusion Models Latent Diffusion Models	2023-11-16
Unit 7	Метрики качества генерации	CV NLP	2023-12-07
Unit 8	Energy-based models	Deep Energy Based Models Your models are secretly EBMs	2023-12-14
Unit 9	Генерация табличных данных	TVAE, CTGAN TabDDPM, TabuLa	2024-01-11
Unit 10	Мультимодальные генеративные модели	Обзор эволюции мультимодальных моделей	2024-02-15
Unit 11	Закат трансформеров		2024-03-28
Unit 12	Непрерывные нормализующие потоки	Continious Normalizing Flows Neural ODE & SDE models	2024-03-14
Unit 13	Генерация табличных временных рядов		2023-04-04
Unit 14	Self-supervised learning		TBA

Готовые короткие курсы по теме:

• Generative AI learning path от Google
• Generative AI with Large Language Models на Coursera

Книги:

• Tomczak, Jakub. Deep Generative Modeling. Springer, 2022
• Foster, David. Generative Deep Learning, 2nd ed., O'Reilly, 2023