Advanced

Курс DataOps в Днепре

DataOps Engineer — это специалист, который работает на стыке Data Engeneering (db engeneers, bi engeneers, big data engeneers), DevOps (devops engeneers) и Data Science (data sientists, AI/ML engeneers).

Современные системы программного обеспечения требуют обработки все больших объемов данных, все большей скорости обработки и интеграций между множеством систем.

Цель курса

Углубить и расширить понимание роли и задач DataOps в современных проектах.

Курс поможет вам

  • Закрепить понятия проектирования систем данных
  • Разобраться с technology tools
  • Познакомиться и разобраться с Data Analysis, Data Science, Data Governance, Data Quality с точки зрения данных

Для кого курс

Курс рассчитан на опытных db/bi разработчиков, хорошо знакомых с SQL и желающих углубить свои знания в DataOps.

Для записи на этот курс нужно пройти тест, его можно пройти онлайн или у нас в Школе.

Преподаватель курса

Вас будет обучать практикующий специалист, работающий в топовой компании.

  • Алексей Косенко

    Алексей Косенко

    Data Solutions Architect

Программа курса DataOps

  1. Introduction. What is DataOps1

    • What is data?
    • Structured and unstructured data
    • Big Data: 5 V (volume, variety, velocity, verbosity, value)
    • World trends of collecting and processing data
    • What is Data Analysis, Data Science, Data Governance, Data Quality
    • ML and AI in terms of data
    • Data + Operations = DataOps
  2. Data Storage: RDBMS systems2

    • Conceptual, logical, physical models
    • Codde’s rules to RDBMS
    • Basic concepts: Tables, attributes, relationships, keys, constraints understanding
    • Normalization (1,2,3 forms; 3.5 and 4 forms )
    • ACID: Transactions
    • Isolation Levels
  3. Data Storage: RDBMS Performance optimization techniques3

    • What to check? Where to look? What to take into account?
    • “Read the query”: execution plans
    • Common best practices and quick wins
  4. Data Storage: Warehouses4

    • Normalization Vs Denormalization
    • Kimball vs Inmon approaches
    • 4 step Kimball approach to build warehouse
    • Granularity
    • Facts
    • Dimensions
    • Natural Vs Surrogate keys
    • Star and Snowflake schemas
    • Data Marts
  5. Data Storage: Warehouses. Facts5

    1. Different types of fact tables:
    • Additive facts, semi-additive, non-additive facts
    • Conformed Facts
    • Factless Facts
    • Transaction Facts
    • Snapshot Facts
    • Cumulative/Consolidated Facts
  6. Data Storage: Warehouses. Dimensions6

    1. Different types of dimensions:
    • Conformed dimension
    • Degenerated dimension
    • Junk dimension
    • SCD

    2. Date and Time dimensions

  7. Data Storage: NoSQL7

    • CAP theorem
    • BASE transactions
    • ACID vs BASE transactions
    • Overview of NoSQL main categories
  8. Data Storage: NoSQL.8

    • Key-values databases
    • Hadoop and MapReduce
  9. Data Storage: NoSQL.9

    • Column-oriented databases
    • Document-oriented
  10. Data Storage: NoSQL.10

    • Full-text search systems
    • Graph databases
  11. Data Storage: NoSQL11

    • In-memory databases
    • Scaling in NoSQL world: partitioning and sharding
  12. Data Storage: Unstructured data12

    1. How to collect:
    • Blobs
    • Data Lakes
    • Buckets

    2. How to process:

    • Video
    • Audio
    • Images
  13. Data Collecting: ETL13

    • Extract, Transform, Load
    • Extract, Load, Transform
    • Batches vs Row-by-row
    • Good and bad patterns
    • Data extraction methods
    • Data loading methods
  14. Data Collecting: ETL. Tools14

    • SSIS
    • Talend
    • Informatica
    • Pentaho
  15. Data Collecting: Streaming15

    • What is streaming?
    • Types of streaming
    • Good and bad patterns
    • Spark Streaming
    • Flink
    • Storm
    • Kafka Streams
  16. Cloud data services. Azure16

    • Relational data services: SQL Database
    • SQL Data Warehouse
    • Azure Storage
    • Azure Data Lake
    • Streaming Services
    • NoSQL: CosmosDB
  17. Cloud data services. Google17

    • Relational data services: CloudSQL
    • Big Query
    • Google Storage
    • Streaming Services
    • NoSQL: BigTable, Spanner
  18. Cloud data services. Amazon18

    • Relational data services: RDS
    • Redshift
    • Amazon Storage: S3
    • Streaming Services: Kinesis
    • NoSQL: DynamoDB
    • Comparison: DynamoDB vs CosmosDB vs Spanner
    • Comparison: Redshift vs SQL Data Warehouses vs Big Query
  19. Data transformations tools19

    • SQL scripts
    • Azure: Databricks
    • Google: DataPrep, DataFlow
    • Amazon
  20. Data processing and preparation20

    • Basics of ML
    • Populate missing values
    • Anomaly detections
    • Feature building
  21. Data Management21

    • What, why and how?
    • What is metadata?
    • Data Governance
    • Data Standardization
    • Data Quality
  22. Data Security22

    • What is sensitive data?
    • HIPAA, GDPR and others
    • Sync and async encryptions
    • Encryption at rest
    • Encryption at transit
    • Data discovery and classification
    • Labeling and Data Visibility
  23. Continuous integration and Continuous Delivery23

    • What is CI?
    • What is CD?
    • CI with Data-related projects: deploy changes to structures
    • CI with Data-related projects: deploy changes to data
    • Data and CI: common difficulties
Сертификат
Выпускники получают
сертификат об окончании курса

Наши преподаватели и выпускники работают в топовых IT-компаниях мира

Преимущества обучения в Компьютерной школе Hillel

  • Видеозаписи занятий
  • Преподаватели-практики
  • Классы с компьютерами
  • Программа Hillel EVO
Видеообзор школы

Трудоустройство

Что мы делаем для того, чтобы вы достигли успеха?

В процессе обучения Студенты работают над реальными проектами

Дополнительные видеокурсы по актуальным технологиям

Доступ к материалам остается после окончания курса

Регулярные мастер-классы по подготовке резюме и поиску работы

Программы всех курсов адаптированы под запросы рынка

Программа для реализации идей Студентов и Выпускников Школы
  • Идея
  • Питчинг
  • Команда
  • Реализация
  • Презентация

Часто задаваемые вопросы

Часто задаваемые вопросы

Требования к компьютеру для обучения на курсе DataOps.

Операционная система:

  • Windows 10 64-бит
  • macOS 10.13 или выше
  • Linux: Ubuntu 16.04 - 20.04

Процессор* :

  • Минимум intel core i3 4-го поколения
  • Рекомендуется i5 7-го
    *Допустимы аналоги от AMD

Оперативная память:

  • Минимум 8 Гб
  • Рекомендуется 12 Гб

Память:

  • Минимально 200 Гб HDD и более
  • Рекомендуется 200 SSD и более

Вы можете прочесть отзывы наших Студентов и Выпускников на нашем сайте, перейдя по данной ссылке. Еще вы сможете найти отзывы и информацию о нас, зайдя на сайт DOU.ua или же прописав название нашей Школы в Google, где вы также сможете увидеть отзывы о нашей Школе в нашем Google-аккаунте или на Google-картах.

Мы всегда очень ответственно стараемся подходить к вопросу подбора Преподавателей в нашей Школе. Наши Преподаватели — практикующие специалисты в крупнейших IT-компаниях города. Также они имеют как опыт преподавания в нашей Школе, так и опыт менторства по месту их профессиональной деятельности. В своей манере обучения они делают упор на последние тенденции IT-рынка и исключительно на свой личный опыт для того, чтобы наши Выпускники имели наиболее востребованные знания и опыт работы с конкретными кейсами.

Для начала желательно оговорить с администратором наличие свободных мест в группе по тому курсу, который вас заинтересовал. Следующим этапом может быть ваш визит к нам в офис для подписания двустороннего договора и внесения оплаты за обучение на интересующем вас курсе. Так вы забронируете место в группе.

Целью большинства курсов нашей школы является возможность дальнейшего трудоустройства наших Студентов и Выпускников. Поэтому мы делаем упор на проработку и изучение практических кейсов, наиболее актуальных на данный момент в работе той или иной специальности IT-сферы. Безусловно, мы отводим время на наших занятиях и на изучение важной теоретической базы, которая также необходима любому специалисту. Но обычно в процентном соотношении теории уделяется около 30% времени занятия и 70% — практике.

Выполнение домашних работ, одна из самых важных составляющих обучения. Для того, чтобы получить максимальный балл за домашнее задание, нужно:

  • Выполнить задание в указанные сроки
  • Выполнить все условия задания
  • Выполнить задание без ошибок
  • Пересдача домашнего задания не более одного раза

Материалы в блоге

Курс
DataOps

Днепр

Хотите начать карьеру в IT, но не определились с направлением?

Тогда этот тест для Вас! Ответы на вопросы теста помогут определить Ваши способности, чтобы было легче подобрать курс, подходящий именно Вам.