Специалист по изучению данных с навыками обучения с подкреплением

Основы инженерии данных и архитектуры данных (около 2 дней)

Задачи и области применения в области инженерии данных

Основы современных архитектур данных и платформ данных

Основы и сравнение облачных архитектур данных

OLTP и OLAP

Обработка структурированных, полуструктурированных и неструктурированных данных

Управление требованиями и моделирование данных (около 1 дня)

Требования к данным и источникам данных

Концептуальное моделирование данных

Моделирование структур данных и потоков данных

Контракты на данные, управление данными и прослеживаемость данных

Базы данных и обработка данных (около 1 дня)

Архитектура систем баз данных

Сравнение SQL, NoSQL и NewSQL

Реляционное моделирование данных

SQL для запроса и обработки данных

Хранение данных и современные архитектуры данных (около 2 дней)

Основы и архитектура систем хранилищ данных

Многомерное моделирование данных и проектирование схем

Факты, измерения и хранение исторических данных

Сравнение хранилищ данных, озер данных и lakehouse

Введение в dbt

Практическая реализация моделей данных

Интеграция данных и конвейеры данных (около 5 дней)

Интеграция данных и предоставление данных

Процессы ETL и ELT

Построение и оркестрация конвейеров данных

Очистка, валидация и качество данных

Пакетная и потоковая обработка

Практическое применение Airflow и Spark

Программирование и автоматизированная обработка данных (около 4 дней)

Среды Python и управление пакетами

Обработка и преобразование данных с помощью Python

Автоматизация процессов обработки данных

Подключение различных источников данных и интерфейсов

Разработка рабочих процессов в области инженерии данных

Контейнеризация с помощью Docker

ИИ-поддержка в процессах разработки и обработки данных

Работа над проектом (около 5 дней)

Закрепление изученного материала

Презентация результатов проекта

Введение в аналитику данных (около 1 дня)

Задачи, области применения и типичные сценарии использования аналитики данных

Процессы анализа данных и CRISP-DM

Роль аналитика данных и отличие от таких областей, как наука о данных, инженерия данных и бизнес-аналитика

Место искусственного интеллекта и машинного обучения в этой области

Python для анализа данных (около 1 дня)

Работа с Jupyter Notebooks

NumPy и Pandas для анализа данных

Импорт и экспорт данных из различных источников, например Excel и CSV

Выбор и преобразование данных

Подготовка данных и эксплоративный анализ данных (около 3 дней)

Очистка и преобразование данных с помощью Pandas

Работа с отсутствующими, ошибочными и аномальными данными

Объединение, группировка и агрегирование данных

Эксплоративный анализ данных и вывод первых выводов

Основы статистической обработки данных

SQL и управление данными (около 2 дней)

Реляционные базы данных и модели данных

Запросы и обработка данных с помощью SQL

Связки, агрегации и аналитические запросы

Взаимодействие SQL и Python в анализе данных

Качество данных и защита данных

Подключение и использование различных источников данных и систем баз данных

Визуализация данных и рассказывание историй на основе данных (около 2 дней)

Визуализация с помощью Matplotlib, Seaborn и Plotly

Выбор подходящих диаграмм и форм визуализации

Обработка и интерпретация результатов анализа

Рассказ на основе данных и коммуникация с учетом аудитории

Power BI и интерактивные информационные панели (около 2 дней)

Импорт и подготовка данных с помощью Power Query

Моделирование данных и связи

Основы DAX и показателей

Создание интерактивных отчетов и панелей мониторинга

Визуализация и представление ключевых показателей эффективности бизнеса

Обзор альтернативных решений в области бизнес-аналитики и визуализации

Анализ данных с использованием ИИ (около 2 дней)

Использование генеративного ИИ в рабочем процессе анализа данных

Подготовка, анализ и визуализация данных с помощью ИИ

Помощь в составлении запросов на Python и SQL

Составление подсказок для анализа данных и интерпретации результатов

Критическая оценка источников данных, а также выявление синтетических и неправдоподобных данных

Обеспечение качества, защита данных и ответственное использование ИИ

Бизнес-аналитика и основы статистики (около 2 дней)

Показатели и KPI в контексте предприятия

Описательная статистика и статистические взаимосвязи

Корреляция, причинно-следственная связь и простые регрессионные анализы

Основы доверительных интервалов и проверки гипотез

Интерпретация результатов анализа и выработка рекомендаций к действию на основе данных

Работа над проектом (около 5 дней)

Закрепление изученного материала

Презентация результатов проекта

Введение в машинное обучение и рабочий процесс ML (около 3 дней)

Основы, области применения и виды машинного обучения

Систематизация современных методов искусственного интеллекта и машинного обучения

Рабочий процесс машинного обучения с использованием scikit-learn

Данные для обучения, валидации и тестирования

Недообучение, переобучение и оценка моделей

Кросс-валидация

Подготовка данных и инжиниринг признаков (около 2 дней)

Качество данных и предварительная обработка данных

Масштабирование, нормализация и кодирование

Инженерия признаков и выбор признаков

Работа с отсутствующими значениями, выбросами и несбалансированными наборами данных

Обучение с учителем — регрессия и классификация (около 5 дней)

Методы регрессии и классификации

Линейные и регуляризованные модели

Методы, основанные на расстоянии, вероятности и деревьях

Ансамблевые и бустинг-методы

Сравнение моделей и оптимизация гиперпараметров

Метрики оценки и вероятностные прогнозы

Важность признаков и объяснимый ИИ 

Обучение без контроля (около 2 дней)

Сведение размерности и извлечение признаков

Методы кластеризации и оценка результатов кластеризации

Обнаружение аномалий

Анализ временных рядов и прогнозы (около 1 дня)

Основы и анализ данных временных рядов

Методы прогнозирования и машинное обучение для временных рядов

Нейронные сети и современный ИИ (около 2 дней)

Основы нейронных сетей и глубокого обучения

Машинное обучение для текстовых данных и обработка естественного языка

Базовые модели, крупные языковые модели и генеративный ИИ

Развертывание моделей машинного обучения (около 1 дня)

Хранение и предоставление обученных моделей

Разработка простых приложений машинного обучения

Интерфейсы и платформы для моделей машинного обучения

Работа над проектом (около 4 дней)

Закрепление изученного материала

Презентация результатов проекта

Введение в глубокое обучение (около 1 дня)

Глубокое обучение как разновидность машинного обучения

Основы нейронных сетей (около 4 дней)

Многослойные перцептроны

Расчет нейронных сетей

Оптимизация параметров модели, обратное распространение

Библиотеки глубокого обучения

Регрессия и классификация

Типичные функции потерь и активации

Оценка прогноза модели с помощью метрик

Метрики регрессии и классификации

Кривые обучения, оверфиттинг и регуляризация

Оптимизация гиперпараметров

Регуляризация L1/12

Отсев

Ранняя остановка

Стохастический градиентный спуск (СГС)

Момент, оптимизатор Адама

Оптимизация скорости обучения

Динамическая регулировка скорости обучения

Снижение скорости обучения на плато

Оптимизация скорости обучения с помощью TensorBoard

Управление процессом подгонки с помощью обратных вызовов

Сохранение и загрузка моделей

Конволюционная нейронная сеть (CNN) (около 2 дней)

Классификация изображений

Конволюционные слои, объединяющие слои

Перестраивающие слои, сглаживание, объединение глобальных средних

Архитектуры CNN ImageNet-Competition

Глубокие нейронные сети, исчезающие градиенты, пропуск связей, пакетная нормализация

Трансферное обучение (около 1 дня)

Адаптация и комбинирование моделей

Предварительное обучение без контроля

Дополнение данных изображениями, объяснимый ИИ

Загрузчик данных

Региональный CNN (около 1 дня)

Локализация объектов

Семантическая сегментация

Проблемы регрессии

Разветвленные нейронные сети

Архитектура YOLO

Модели U-Net

Методы творческой генерации изображений (около 1 дня)

Генеративные адверсарные сети (GAN)

Глубокие подделки

Диффузионные модели

Суперразрешение

Дополнение областей изображения

Применение базовых моделей из Hugging Face

Мультимодальные модели

LoRA-Fine-Tuning

Области применения генеративных моделей

Правовые ограничения

Рекуррентные нейронные сети (около 2 дней)

Анализ последовательностей

Рекуррентные слои

Обратное распространение во времени (BPTT)

Анализ временных рядов

Проблемы разрыва и исчезающего градиента

LSTM (Long Short-Term Memory)

GRU (Gated Recurrent Unit)

Глубокий RNN

Глубокий LSTM

Обработка текста с помощью нейронных сетей (около 2 дней)

Предварительная обработка текста

Встраивание слоев

Классификация текста

Анализ настроения

Обработка естественного языка (NLP)

Переводы

Генерация текста

Метод "последовательность-последовательность", архитектура кодер-декодер

Модели, использующие только кодер и только декодер

Локальное применение больших языковых моделей

Языковые модели (около 1 дня)

Архитектура трансфомеров

Внимание и многоголовое внимание

Позиционные кодировки

Тонкая настройка больших языковых моделей

Подсказки

Конвейеры генерации текста

Резюме

Чат-боты

Поиск Расширенная генерация

ИИ-агенты

Глубокое обучение с подкреплением (около 1 дня)

Управление динамическими системами

Агентские системы

Обучение через вознаграждение

Градиенты политики

Глубокое Q-обучение

Байесовские нейронные сети (около 1 дня)

Неопределенности в нейронных сетях

Статистическая оценка прогнозов

Доверие, стандартное отклонение

Несбалансированные данные

Методы выборки

Работа над проектом (около 3 дней)

Закрепление изученного материала

Презентация результатов проекта

Введение в обучение с подкреплением (около 1 дня)

Определение и основные понятия

Отличия от других методов обучения

Области применения и примеры

Марковские процессы принятия решений (МПП) (около 2 дней)

Определение и свойства MDP

Функции ценности и политика

Уравнения Беллмана

Подход динамического программирования

Q-Learning (около 2 дней)

Определение и алгоритм

Исследование и эксплуатация

Сходимость и свойства оптимизации

Применение в играх, робототехнике и других областях

Глубокое обучение с подкреплением (около 3 дней)

Глубокое Q-обучение

Глубокие детерминированные градиенты политики (DDPG)

Акторно-критические методы

Методы градиента политики

Продвинутые темы (около 4 дней)

Обучение с применением подкрепления на основе моделей

Многоагентное обучение с усилением

Инверсное обучение с усилением

Мета-обучение с усилением

Практические приложения (около 3 дней)

Реализация алгоритмов обучения с подкреплением

Применение к выбранным проблемам и тематическим исследованиям

Оценка и настройка алгоритмов

Резюме и перспективы (около 2 дней)

Краткое изложение наиболее важных концепций и результатов

Проблемы и будущие разработки в области обучения с подкреплением

Работа над проектом (около 3 дней)

Закрепление изученного материала

Презентация результатов проекта