О курсе
С помощью этого курса Вы:
- Работать SQL
Научитесь писать запросы, работать с данными в базе без переноса в таблицы, загружать данные и сохранять историю, работать с разными форматами файлов
- Использовать Python и библиотеки анализа данных
Автоматизировать работу с большими массивами, получать данные из внешних источников, обосновывать выводы, сделанные на основании данных
- Строить системы анализа больших данных
Освоите Hadoop и MapReduce. Научитесь проверять гипотезы, изучите машинные методы для обработки данных, сможете выявлять скрытые аномалии в данных и строить прогнозные модели
- Использовать сложную математику для анализа Big Data
Освоите необходимый математический аппарат для продуктивной работы с моделями данных, машинным обучением и нейронными сетями
Программа курса:
Блок 1: "Получение и подготовка данных: SQL"
- Основы SQL
- Обновление, добавление и удаление данных. Работа с таблицами
- Представления и хранимые процедуры. Особенности обработки транзакций
- Расширенные возможности SQL и основные ограничения
- Фильтрация данных и вычисляемые поля - практика (SELECT, SUM, AVG, GROUP BY, ..)
- Группировка данных, подзапросы и объединение таблиц - практика (INNER, LEFT, RIGHT, DISTINCT, ..)
- Обновление, добавление и удаление данных. Работа с таблицами (INSERT, UPDATE, DELETE, MERGE, FOREIGN KEY, ..)
- Работа с популярными программами (MySQL, SQL Server, Redash, Tableau)
Блок 2: "Python и обработка данных"
- Python: настройка окружения, базовые структуры данных и основные операторы
- Python: работа с файлами и форматированный вывод
- Python: пространства имен и области видимости, классы и объекты
- Python: инструменты функционального программирования
- Python: стандартные и сторонние библиотеки Python для анализа данных
Блок 3: "Python и математические модели"
- Основы линейной алгебры и теории множеств
- Методы математической оптимизации
- Основы описательной статистики
- Статистический анализ данных
- Python и мат.модели
- Использование базовых мат.моделей в Python
Блок 4: "Построение Machine Learning моделей"
- Линейные методы, логистическая регрессия и SVM
- Деревья решений
- Линейная и полиноминальная регрессия
- Алгоритмы кластеризации
- Способы повышения качества модели
- Функции потерь и оптимизация
- Оценка точности модели, борьба с переобучением, регуляризация
- Улучшение качества модели
Блок 5: "Аналитика больших данных"
- Машинные методы для обработки данных
- Культура сбора и источники данных
- Предобработка и визуализация данных в pandas
- Построение прогнозных и предсказательных моделей
- Основы работы в Hadoop и MapReduce
- Работа в pyspark
Блок 6: "Обработка больших данных"
- Улучшение качества работы с данными
- Основы архитектуры хранения и обработки больших данных, виды обработки и масштабирования
- Работа с облачными платформами: AWS, EMR, Azure
- Продвинутые подходы в MapReduce
- Организация команды для работы с данными. CRISP-DM
Блок 7: "Визуализация данных"
- Сравнительный обзор основных инструментов визуализации данных
- Основные ошибки при проектировании отчетности и визуализации данных
- Расширенные возможности визуализации данных + практика
- Организация хранения данных для целей анализа
- Презентация результата команде
- Решение бизнес-задач в команде
- Как управлять процессами по аналитике
Блок 8: "Рекомендательные системы"
- Неперсонализированные рекомендательные системы
- Сontent-based-рекомендации
- Collaborative Filtering
- Гибридные алгоритмы
- Поиск по картинкам
- Сегментация изображений, детекция объектов
- Применение свёрточных нейронных сетей для задач сегментации и детекции
- Применение рекуррентных сетей в задачах обработки изображений
- Генеративные конкурирующие сети (GAN)
Блок 9: "Обработка естественного языка (NLP)"
- Морфологический и синтаксический анализ
- Методы снижения размерности в векторной модели
- Информационный поиск
- Тематическое моделирование (LSA, LDA, HDP)
- Дистрибутивная семантика (word2vec, GloVe, AdaGram)
- Счётные языковые модели и вероятностные языковые модели. LSTM.
- Машинный перевод
- Генерация текстов (Natural Language Generation)
- Задача классификации в АОТ
Блок 10: Дипломная работа и помощь с трудоустройством
- Работа над дипломным проектом для портфолио
- Подготовка резюме
- Подготовка к собеседованию
- Финальная защита и консультации
Перспективы:
- Цифровой сертификат - Выпускники получают сертификат об успешном прохождении курса — что, вместе с дипломным проектом, будет хорошим аргументом при трудоустройстве
- Средняя зарплата от 145 000 ₽
- Помощь с трудоустройством и стажировкой