Инженеры по большим данным занимаются междисциплинарным анализом и разработкой концепций ИТ-решений и решений для баз данных. Поэтому вначале курс знакомит с основами бизнес-аналитики, описывает требования к инженерии данных и объясняет моделирование хранилищ данных и ETL. Затем ты познакомишься с большими данными на примере отраслевого программного обеспечения, предназначенного для хранения, обработки и вычислений больших объемов данных. В заключение курс проведет вас через полный рабочий процесс машинного обучения — от подготовки данных и разработки моделей до оценки и интерпретации результатов — и познакомит с методами глубокого обучения на основе нейронных сетей с использованием соответствующих инструментов.
-
Тип степени: Сертификат "Инженер больших данных"
Сертификат "Машинное и глубокое обучение" -
Дополнительная квалификация: Сертификат "Data Engineer
Сертификат "Специалист по большим данным"
Сертификат "Машинное обучение
Сертификат "Глубокое обучение -
Итоговый экзамен: Praxisbezogene Projektarbeiten mit Abschlusspräsentationen
-
Время уроков: Полный рабочий деньС понедельника по пятницу с 8:30 до 15:35 (в праздничные дни с 8:30 до 17:10).
-
Язык обучения: Немецкий
-
Продолжительность: 16 Недели
Инженер по обработке данных
Основы инженерии данных и архитектуры данных (около 2 дней)
Задачи и области применения в области инженерии данных
Основы современных архитектур данных и платформ данных
Основы и сравнение облачных архитектур данных
OLTP и OLAP
Обработка структурированных, полуструктурированных и неструктурированных данных
Управление требованиями и моделирование данных (около 1 дня)
Требования к данным и источникам данных
Концептуальное моделирование данных
Моделирование структур данных и потоков данных
Контракты на данные, управление данными и прослеживаемость данных
Базы данных и обработка данных (около 1 дня)
Архитектура систем баз данных
Сравнение SQL, NoSQL и NewSQL
Реляционное моделирование данных
SQL для запроса и обработки данных
Хранение данных и современные архитектуры данных (около 2 дней)
Основы и архитектура систем хранилищ данных
Многомерное моделирование данных и проектирование схем
Факты, измерения и хранение исторических данных
Сравнение хранилищ данных, озер данных и lakehouse
Введение в dbt
Практическая реализация моделей данных
Интеграция данных и конвейеры данных (около 5 дней)
Интеграция данных и предоставление данных
Процессы ETL и ELT
Построение и оркестрация конвейеров данных
Очистка, валидация и качество данных
Пакетная и потоковая обработка
Практическое применение Airflow и Spark
Программирование и автоматизированная обработка данных (около 4 дней)
Среды Python и управление пакетами
Обработка и преобразование данных с помощью Python
Автоматизация процессов обработки данных
Подключение различных источников данных и интерфейсов
Разработка рабочих процессов в области инженерии данных
Контейнеризация с помощью Docker
ИИ-поддержка в процессах разработки и обработки данных
Работа над проектом (около 5 дней)
Закрепление изученного материала
Презентация результатов проекта
Специалист по большим данным
Что такое большие данные? (примерно 1 день)
Объем, скорость, разнообразие, ценность, достоверность
Возможности и риски больших объемов данных
Дифференциация: бизнес-аналитика, аналитика данных, наука о данных
Введение в добычу данных
Роль искусственного интеллекта и систем, управляемых данными, в среде больших данных
Введение во фреймворки для работы с большими данными (около 2 дней)
Решения для работы с большими данными в облаке (обзор AWS, Azure, GCP)
Модели доступа к данным
Хранение данных
Введение в озера данных и хранилища данных
Обзор Apache Hadoop и Spark
Распределенная обработка данных с помощью Spark (около 3 дней)
Основы распределенных систем
Apache Spark (ядро и SQL)
Сравнение различных подходов к обработке данных
Обработка больших объемов данных
Введение в простые рабочие процессы ML с помощью Spark
Конвейеры данных и интеграция данных (около 2 дней)
Процессы ETL и ELT
Пакетная и потоковая обработка
Основы конвейеров данных
Введение в оркестровку (например, обзор Airflow)
Качество и подготовка данных
Компоненты (около 2 дней)
Краткая презентация различных инструментов
Передача данных
Обзор управления ресурсами в системах больших данных
Экосистема Hadoop
Углубленное изучение Apache Spark
Введение в потоковые технологии
NoSQL и хранение данных (около 2 дней)
Теорема CAP
ACID и BASE
Типы баз данных
HBase
Введение в документо-ориентированные базы данных
Введение в форматы хранения данных
Обзор подходов к созданию озер данных
Визуализация больших данных (около 2 дней)
Теории визуализации
Выбор диаграмм
Новые типы диаграмм
Инструменты для визуализации данных
Введение в BI-инструменты (например, Power BI, Tableau)
Основы принятия решений на основе данных
Управление данными и защита данных (около 1 дня)
Основы GDPR в контексте данных
Этика данных и ответственное обращение с данными
Качество данных и концепции управления
Контроль доступа и безопасность
Основы ответственного использования искусственного интеллекта
Работа над проектом (около 5 дней)
Закрепление изученного материала
Презентация результатов проекта
Машинное обучение
Введение в машинное обучение и рабочий процесс ML (около 3 дней)
Основы, области применения и виды машинного обучения
Систематизация современных методов искусственного интеллекта и машинного обучения
Рабочий процесс машинного обучения с использованием scikit-learn
Данные для обучения, валидации и тестирования
Недообучение, переобучение и оценка моделей
Кросс-валидация
Подготовка данных и инжиниринг признаков (около 2 дней)
Качество данных и предварительная обработка данных
Масштабирование, нормализация и кодирование
Инженерия признаков и выбор признаков
Работа с отсутствующими значениями, выбросами и несбалансированными наборами данных
Обучение с учителем — регрессия и классификация (около 5 дней)
Методы регрессии и классификации
Линейные и регуляризованные модели
Методы, основанные на расстоянии, вероятности и деревьях
Ансамблевые и бустинг-методы
Сравнение моделей и оптимизация гиперпараметров
Метрики оценки и вероятностные прогнозы
Важность признаков и объяснимый ИИ
Обучение без контроля (около 2 дней)
Сведение размерности и извлечение признаков
Методы кластеризации и оценка результатов кластеризации
Обнаружение аномалий
Анализ временных рядов и прогнозы (около 1 дня)
Основы и анализ данных временных рядов
Методы прогнозирования и машинное обучение для временных рядов
Нейронные сети и современный ИИ (около 2 дней)
Основы нейронных сетей и глубокого обучения
Машинное обучение для текстовых данных и обработка естественного языка
Базовые модели, крупные языковые модели и генеративный ИИ
Развертывание моделей машинного обучения (около 1 дня)
Хранение и предоставление обученных моделей
Разработка простых приложений машинного обучения
Интерфейсы и платформы для моделей машинного обучения
Работа над проектом (около 4 дней)
Закрепление изученного материала
Презентация результатов проекта
Глубокое обучение
Введение в глубокое обучение (около 1 дня)
Глубокое обучение как разновидность машинного обучения
Основы нейронных сетей (около 4 дней)
Многослойные перцептроны
Расчет нейронных сетей
Оптимизация параметров модели, обратное распространение
Библиотеки глубокого обучения
Регрессия и классификация
Типичные функции потерь и активации
Оценка прогноза модели с помощью метрик
Метрики регрессии и классификации
Кривые обучения, оверфиттинг и регуляризация
Оптимизация гиперпараметров
Регуляризация L1/12
Отсев
Ранняя остановка
Стохастический градиентный спуск (СГС)
Момент, оптимизатор Адама
Оптимизация скорости обучения
Динамическая регулировка скорости обучения
Снижение скорости обучения на плато
Оптимизация скорости обучения с помощью TensorBoard
Управление процессом подгонки с помощью обратных вызовов
Сохранение и загрузка моделей
Конволюционная нейронная сеть (CNN) (около 2 дней)
Классификация изображений
Конволюционные слои, объединяющие слои
Перестраивающие слои, сглаживание, объединение глобальных средних
Архитектуры CNN ImageNet-Competition
Глубокие нейронные сети, исчезающие градиенты, пропуск связей, пакетная нормализация
Трансферное обучение (около 1 дня)
Адаптация и комбинирование моделей
Предварительное обучение без контроля
Дополнение данных изображениями, объяснимый ИИ
Загрузчик данных
Региональный CNN (около 1 дня)
Локализация объектов
Семантическая сегментация
Проблемы регрессии
Разветвленные нейронные сети
Архитектура YOLO
Модели U-Net
Методы творческой генерации изображений (около 1 дня)
Генеративные адверсарные сети (GAN)
Глубокие подделки
Диффузионные модели
Суперразрешение
Дополнение областей изображения
Применение базовых моделей из Hugging Face
Мультимодальные модели
LoRA-Fine-Tuning
Области применения генеративных моделей
Правовые ограничения
Рекуррентные нейронные сети (около 2 дней)
Анализ последовательностей
Рекуррентные слои
Обратное распространение во времени (BPTT)
Анализ временных рядов
Проблемы разрыва и исчезающего градиента
LSTM (Long Short-Term Memory)
GRU (Gated Recurrent Unit)
Глубокий RNN
Глубокий LSTM
Обработка текста с помощью нейронных сетей (около 2 дней)
Предварительная обработка текста
Встраивание слоев
Классификация текста
Анализ настроения
Обработка естественного языка (NLP)
Переводы
Генерация текста
Метод "последовательность-последовательность", архитектура кодер-декодер
Модели, использующие только кодер и только декодер
Локальное применение больших языковых моделей
Языковые модели (около 1 дня)
Архитектура трансфомеров
Внимание и многоголовое внимание
Позиционные кодировки
Тонкая настройка больших языковых моделей
Подсказки
Конвейеры генерации текста
Резюме
Чат-боты
Поиск Расширенная генерация
ИИ-агенты
Глубокое обучение с подкреплением (около 1 дня)
Управление динамическими системами
Агентские системы
Обучение через вознаграждение
Градиенты политики
Глубокое Q-обучение
Байесовские нейронные сети (около 1 дня)
Неопределенности в нейронных сетях
Статистическая оценка прогнозов
Доверие, стандартное отклонение
Несбалансированные данные
Методы выборки
Работа над проектом (около 3 дней)
Закрепление изученного материала
Презентация результатов проекта
Возможны изменения, содержание курса регулярно обновляется.
Вы хорошо знаете процессы, связанные со сбором, подготовкой, обогащением и передачей данных. Вы также можете обрабатывать большие неструктурированные объемы данных с помощью отраслевого программного обеспечения. Вы знаете фреймворк Apache и умеете визуализировать данные в привлекательной форме.
Вы также обладаете соответствующими знаниями в области машинного обучения и глубокого обучения. Вы знаете наиболее важные причины использования машинного обучения, области применения и различные категории и концепции машинного обучения. Вы также понимаете, в каких областях применяется глубокое обучение и как работают нейронные сети. Вы сможете обеспечить процессы машинного обучения и документирования.
Курс рассчитан на людей с высшим образованием в области компьютерных наук, бизнес-информатики, делового администрирования, математики или сопоставимой квалификации.
Большие данные используются в компаниях для междисциплинарного анализа и проектирования ИТ-решений в сотрудничестве с командами разработчиков и операторов. Инженеры по работе с большими данными востребованы как крупными, так и средними компаниями в промышленности, торговле, сфере услуг и финансов.
Вы также обладаете высокой квалификацией в специализированных областях машинного обучения и глубокого обучения, которые могут применяться во всех отраслях и пользуются большим спросом на рынке труда. Вы можете анализировать большие объемы данных для поиска закономерностей и моделей. Глубокое обучение часто используется в контексте искусственного интеллекта для распознавания лиц, объектов или речи.
Ваш значимый сертификат дает подробное представление о приобретенных вами квалификациях и улучшает ваши карьерные перспективы.
Дидактическая концепция
Ваши преподаватели обладают высокой профессиональной и дидактической квалификацией и будут обучать вас с первого до последнего дня (никакой системы самообучения).
Вы будете учиться в эффективных небольших группах. Обычно курсы состоят из 6-25 человек. Общие занятия дополняются многочисленными практическими упражнениями во всех модулях курса. Практический этап - важная часть курса, поскольку именно в это время вы обрабатываете полученные знания и обретаете уверенность и практичность в их применении. Заключительный раздел курса включает в себя проект, разбор конкретных ситуаций или итоговый экзамен.
Виртуальный класс alfaview®
BildungszentrumЗанятия проводятся с использованием современной видеотехнологии alfaview® - не выходя из дома или в нашем офисе по адресу . Весь курс может видеть друг друга лицом к лицу через alfaview®, общаться друг с другом с помощью синхронизированного по губам голоса и работать над совместными проектами. Разумеется, вы также можете в любое время видеть и разговаривать со своими преподавателями в прямом эфире, и на протяжении всего курса вас будут обучать преподаватели в режиме реального времени. Уроки - это не электронное обучение, а настоящее живое очное преподавание с помощью видеотехнологий.
alfatraining Agentur für Arbeit Учебные курсы субсидируются и сертифицируются в соответствии с положением об утверждении AZAV. Bildungsgutschein Aktivierungs- und VermittlungsgutscheinПри подаче заявки или заявки на обучение все расходы на курс обычно покрываются финансирующей организацией.
Europäischen Sozialfonds Deutsche Rentenversicherung Финансирование также возможно через программы (ESF), (DRV) или региональные программы финансирования. Berufsförderungsdienst Как постоянный солдат, вы можете посещать курсы повышения квалификации по программе (BFD). Agentur für Arbeit (Qualifizierungschancengesetz) Компании также могут повысить квалификацию своих сотрудников по программе финансирования от .