Курс DataOps
занятий
занятий в неделю
старт
За неделю записалось
Осталось
DataOps Engineer — это специалист, который работает на стыке Data Engeneering (db engeneers, bi engeneers, big data engeneers), DevOps (devops engeneers) и Data Science (data sientists, AI/ML engeneers).
Современные системы программного обеспечения требуют обработки все больших объемов данных, все большей скорости обработки и интеграций между множеством систем.
Углубить и расширить понимание роли и задач DataOps в современных проектах.
- Закрепить понятия проектирования систем данных
- Разобраться с technology tools
- Познакомиться и разобраться с Data Analysis, Data Science, Data Governance, Data Quality с точки зрения данных
Курс рассчитан на опытных db/bi разработчиков, хорошо знакомых с SQL и желающих углубить свои знания в DataOps.
Для записи на этот курс нужно пройти тест.
Программа курса
DataOps
16 занятий занятий
Advanced level
Дипломный проект
-
Introduction. What is DataOps
- What is data?
- Structured and unstructured data
- Big Data: 5 V (volume, variety, velocity, verbosity, value)
- World trends of collecting and processing data
- What is Data Analysis, Data Science, Data Governance, Data Quality
- ML and AI in terms of data
- Data + Operations = DataOps
-
Data Storage: RDBMS systems
- Conceptual, logical, physical models
- Codde’s rules to RDBMS
- Basic concepts: Tables, attributes, relationships, keys, constraints understanding
- Normalization (1,2,3 forms; 3.5 and 4 forms )
- ACID: Transactions
- Isolation Levels
-
Data Storage: RDBMS Performance optimization techniques
- What to check? Where to look? What to take into account?
- “Read the query”: execution plans
- Common best practices and quick wins
-
Data Storage: Warehouses
- Normalization Vs Denormalization
- Kimball vs Inmon approaches
- 4 step Kimball approach to build warehouse
- Granularity
- Facts
- Dimensions
- Natural Vs Surrogate keys
- Star and Snowflake schemas
- Data Marts
-
Data Storage: Warehouses. Facts
- Different types of fact tables:
- Additive facts, semi-additive, non-additive facts
- Conformed Facts
- Factless Facts
- Transaction Facts
- Snapshot Facts
- Cumulative/Consolidated Facts
-
Data Storage: Warehouses. Dimensions
- Different types of dimensions:
- Conformed dimension
- Degenerated dimension
- Junk dimension
- SCD
2. Date and Time dimensions
-
Data Storage: NoSQL
- CAP theorem
- BASE transactions
- ACID vs BASE transactions
- Overview of NoSQL main categories
-
Data Storage: NoSQL.
- Key-values databases
- Hadoop and MapReduce
-
Data Storage: NoSQL.
- Column-oriented databases
- Document-oriented
-
Data Storage: NoSQL.
- Full-text search systems
- Graph databases
-
Data Storage: NoSQL
- In-memory databases
- Scaling in NoSQL world: partitioning and sharding
-
Data Storage: Unstructured data
- How to collect:
- Blobs
- Data Lakes
- Buckets
2. How to process:
- Video
- Audio
- Images
-
Data Collecting: ETL
- Extract, Transform, Load
- Extract, Load, Transform
- Batches vs Row-by-row
- Good and bad patterns
- Data extraction methods
- Data loading methods
-
Data Collecting: ETL. Tools
- SSIS
- Talend
- Informatica
- Pentaho
-
Data Collecting: Streaming
- What is streaming?
- Types of streaming
- Good and bad patterns
- Spark Streaming
- Flink
- Storm
- Kafka Streams
-
Cloud data services. Azure
- Relational data services: SQL Database
- SQL Data Warehouse
- Azure Storage
- Azure Data Lake
- Streaming Services
- NoSQL: CosmosDB
-
Cloud data services. Google
- Relational data services: CloudSQL
- Big Query
- Google Storage
- Streaming Services
- NoSQL: BigTable, Spanner
-
Cloud data services. Amazon
- Relational data services: RDS
- Redshift
- Amazon Storage: S3
- Streaming Services: Kinesis
- NoSQL: DynamoDB
- Comparison: DynamoDB vs CosmosDB vs Spanner
- Comparison: Redshift vs SQL Data Warehouses vs Big Query
-
Data transformations tools
- SQL scripts
- Azure: Databricks
- Google: DataPrep, DataFlow
- Amazon
-
Data processing and preparation
- Basics of ML
- Populate missing values
- Anomaly detections
- Feature building
-
Data Management
- What, why and how?
- What is metadata?
- Data Governance
- Data Standardization
- Data Quality
-
Data Security
- What is sensitive data?
- HIPAA, GDPR and others
- Sync and async encryptions
- Encryption at rest
- Encryption at transit
- Data discovery and classification
- Labeling and Data Visibility
-
Continuous integration and Continuous Delivery
- What is CI?
- What is CD?
- CI with Data-related projects: deploy changes to structures
- CI with Data-related projects: deploy changes to data
- Data and CI: common difficulties
В конце курса выполняется дипломный проект.
Выпускники получают сертификат об окончании курса.
Бонусы курса
Преимущества обучения в Компьютерной школе Hillel
-
Группы по 14 человек Преподаватель уделяет время каждому студенту.
-
Преподаватели практики У нас преподают только практикующие специалисты из топовых IT-компаний.
-
Система личных кабинетов Эффективное и удобное обучение.
-
Оперативная служба поддержки студентов Срочный вопрос — своевременное решение.
-
Доступ к видеозаписям занятий Записи уроков остаются у студентов после окончания курса.
-
Практические занятия Большая часть занятий ориентирована на практику.
-
Трудоустройство
Что мы делаем для того, чтобы вы достигли успеха?
-
Проводим мастер-классы по подготовке резюме и поиску работы
-
Регулярно обновляем программы курсов под требования рынка
-
Приглашаем преподавать только лучших практикующих специалистов
-
Развиваем нашу сеть партнеров среди топовых IT-компаний
-
Наши преподаватели часто сами забирают к себе наших лучших Студентов ;)
Наши преподаватели и выпускники работают в топовых IT-компаниях мира
Часто задаваемые вопросы
-
Какой нужно иметь компьютер, чтобы обучаться на курсе DataOps?
Требования к компьютеру для обучения на курсе DataOps.
Операционная система:
- Windows 10 64-бит
- macOS 10.13 или выше
- Linux: Ubuntu 16.04 - 20.04
Процессор* :
- Минимум intel core i3 4-го поколения
- Рекомендуется i5 7-го
*Допустимы аналоги от AMD
Оперативная память:
- Минимум 8 Гб
- Рекомендуется 12 Гб
Память:
- Минимально 200 Гб HDD и более
- Рекомендуется 200 SSD и более
-
Где можно посмотреть отзывы о вашей Школе в Днепре?
Вы можете прочесть отзывы наших Студентов и Выпускников на нашем сайте, перейдя по данной ссылке. Еще вы сможете найти отзывы и информацию о нас, зайдя на сайт DOU.ua или же прописав название нашей Школы в Google, где вы также сможете увидеть отзывы о нашей Школе в нашем Google-аккаунте или на Google-картах.
-
Кем работают ваши Преподаватели? Имеют ли они опыт преподавания?
Мы всегда очень ответственно стараемся подходить к вопросу подбора Преподавателей в нашей Школе. Наши Преподаватели — практикующие специалисты в крупнейших IT-компаниях города. Также они имеют как опыт преподавания в нашей Школе, так и опыт менторства по месту их профессиональной деятельности. В своей манере обучения они делают упор на последние тенденции IT-рынка и исключительно на свой личный опыт для того, чтобы наши Выпускники имели наиболее востребованные знания и опыт работы с конкретными кейсами.
-
Что необходимо предпринять для записи на курс DataOps (бронирования себе места в группе)?
Для начала желательно оговорить с администратором наличие свободных мест в группе по тому курсу, который вас заинтересовал. Следующим этапом может быть ваш визит к нам в офис для подписания двустороннего договора и внесения оплаты за обучение на интересующем вас курсе. Так вы забронируете место в группе.
-
Теория или практика? Чему уделяется больше времени на занятиях курса DataOps?
Целью большинства курсов нашей школы является возможность дальнейшего трудоустройства наших Студентов и Выпускников. Поэтому мы делаем упор на проработку и изучение практических кейсов, наиболее актуальных на данный момент в работе той или иной специальности IT-сферы. Безусловно, мы отводим время на наших занятиях и на изучение важной теоретической базы, которая также необходима любому специалисту. Но обычно в процентном соотношении теории уделяется около 30% времени занятия и 70% — практике.
-
Как получить максимальный балл за домашнее задание на курсе DataOps?
Выполнение домашних работ, одна из самых важных составляющих обучения. Для того, чтобы получить максимальный балл за домашнее задание, нужно:
- Выполнить задание в указанные сроки
- Выполнить все условия задания
- Выполнить задание без ошибок
- Пересдача домашнего задания не более одного раза
-
- 9756
- 4.7
- 3 мин
![]()
Нужно ли высшее образование программисту?
-
- 3491
- 5
- 57 мин
![]()
Что такое Data и DataOps
-
- 1938
- 4.7
- 4 мин
![]()
Как стать Salesforce-разработчиком
-
- 1125
- 161 мин
![]()
Что такое Progressive Web Apps
-
- 2346
- 5
- 110 мин
![]()
Нейросети: как они работают и с чего начать изучение
-
- 28921
- 109 мин
![]()
Введение в Data Science и Machine Learning
