Факультет Data Engineering

С помощью этого курса Вы получите:

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark
• Проработка архитектуры разрабатываемых решений
• Опыт проектирования аналитических систем хранения и обработки больших данных
• Знание принципов работы БД (SQL/noSQL) и методологий моделирования
• Опыт работы с Airflow и другими инструментами для запуска регулярных задач
• Опыт с Devops (Docker, Kubernetes) инструментами
• Понимание принципов машинного обучения и подготовки данных для ML-приложений
• Опыт работы с ОС Linux
• Сбор процессов очистки и валидации данных
• Опыт работы с ETL-инструментами и сервисами
• Опыт работы с пакетной и потоковой выгрузкой данных в аналитическое хранилище
• Разработка витрин данных для бизнес-пользователей аналитики

Программа курса:

I четверть. Сбор данных

• Как учиться эффективно. Видеокурс от методистов GeekUniversity
• Базы данных
• Основы языка Python
• Методы сбора и обработки данных из сети Интернет

II четверть. Построение хранилищ данных для систем аналитики

• Построение хранилища данных и основы ETL
• OLAP + BI
• Введение в noSQL баз данных

III четверть. Big Data Engineering

• BigData. Введение в экосистему Hadoop
• BigData. Фреймворк Apache Spark
• Настройка потоков данных. Apache Airflowk

IV четверть. Потоковая обработка данных

• Обработка данных в реальном времени
• Работа с инфраструктурой

Курсы вне четверти. Предметы с индивидуальным выбором даты старта

• Linux. Рабочая станция
• Подготовка данных для ML Applications

Перспективы:

• Свидетельство установленного образца об окончании курса
• Бесплатный доступ к LinguaLeo (3 месяца) и средам разработки от JetBrains
• Средняя зарплата после окончания курса от 150 000 ₽
• Помощь в стажировке и трудоустройстве