Курс DataOps
занять
занятий в неделю
старт
За тиждень записалося
Залишилося
DataOps Engineer — це фахівець, який працює на стику Data Engeneering (db engeneers, bi engeneers, big data engeneers), DevOps (devops engeneers) і Data Science (data sientists, AI/ML engeneers).
Сучасні системи програмного забезпечення вимагають обробки все більших обсягів даних, все більшої швидкості обробки та інтеграцій між безліччю систем.
Ціль курсу:
- Поглибити і розширити розуміння ролі і завдань DataOps в сучасних проектах
Курс допоможе:
- Закріпити поняття проектування систем даних
- Розібратися з technology tools
- Познайомитися і розібратися з Data Analysis, Data Science, Data Governance, Data Quality з точки зору даних
Курс розрахований на досвідчених db/bi розробників, добре знайомих з SQL і які бажають поглибити свої знання в DataOps.
Для записи на этот курс нужно пройти тест.
Програма курсу
DataOps
16 занять занять
-
Introduction. What is DataOps
- What is data?
- Structured and unstructured data
- Big Data: 5 V (volume, variety, velocity, verbosity, value)
- World trends of collecting and processing data
- What is Data Analysis, Data Science, Data Governance, Data Quality
- ML and AI in terms of data
- Data + Operations = DataOps
-
Data Storage: RDBMS systems
- Conceptual, logical, physical models
- Codde’s rules to RDBMS
- Basic concepts: Tables, attributes, relationships, keys, constraints understanding
- Normalization (1,2,3 forms; 3.5 and 4 forms)
- ACID: Transactions
- Isolation Levels
-
Data Storage: RDBMS Performance optimization techniques
- What to check? Where to look? What to take into account?
- «Read the query»: execution plans
- Common best practices and quick wins
-
Data Storage: Warehouses
- Normalization Vs Denormalization
- Kimball vs Inmon approaches
- 4 step Kimball approach to building a warehouse
- Granularity
- Facts
- Dimensions
- Natural Vs Surrogate keys
- Star and Snowflake schemas
- Data Marts
-
Data Storage: Warehouses. Facts
- Different types of fact tables:
- Additive facts, semi-additive, non-additive facts
- Confirmed Facts
- Factless Facts
- Transaction Facts
- Snapshot Facts
- Cumulative/Consolidated Facts
-
Data Storage: Warehouses. Dimensions
1. Different types of dimensions:
- Conformed dimension
- Degenerated dimension
- Junk dimension
- SCD
2. Date and Time dimensions
-
Data Storage: NoSQL
- CAP theorem
- BASE transactions
- ACID vs BASE transactions
- Overview of NoSQL main categories
-
Data Storage: NoSQL.
- Key-values databases
- Hadoop and MapReduce
-
Data Storage: NoSQL.
- Column-oriented databases
- Document-oriented
-
Data Storage: NoSQL.
- Full-text search systems
- Graph databases
-
Data Storage: NoSQL
- In-memory databases
- Scaling in NoSQL world: partitioning and sharding
-
Data Storage: Unstructured data
1. How to collect:
- Blobs
- Data Lakes
- Buckets
2. How to process:
- Video
- Audio
- Images
-
Data Collecting: ETL
- Extract, Transform, Load
- Extract, Load, Transform
- Batches vs Row-by-row
- Good and bad patterns
- Data extraction methods
- Data loading methods
-
Data Collecting: ETL. Tools
- SSIS
- Talend
- Informatica
- Pentaho
-
Data Collecting: Streaming
- What is streaming?
- Types of streaming
- Good and bad patterns
- Spark Streaming
- Flink
- Storm
- Kafka Streams
-
Cloud data services. Azure
- Relational data services: SQL Database
- SQL Data Warehouse
- Azure Storage
- Azure Data Lake
- Streaming Services
- NoSQL: CosmosDB
-
Cloud data services. Google
- Relational data services: CloudSQL
- Big Query
- Google Storage
- Streaming Services
- NoSQL: BigTable, Spanner
-
Cloud data services. Amazon
- Relational data services: RDS
- Redshift
- Amazon Storage: S3
- Streaming Services: Kinesis
- NoSQL: DynamoDB
- Comparison: DynamoDB vs CosmosDB vs Spanner
- Comparison: Redshift vs SQL Data Warehouses vs Big Query
-
Data transformations tools
- SQL scripts
- Azure: Databricks
- Google: DataPrep, DataFlow
- Amazon
-
Data processing and preparation
- Basics of ML
- Populate missing values
- Anomaly detections
- Feature building
-
Data Management
- What, why, and how?
- What is metadata?
- Data Governance
- Data Standardization
- Data Quality
-
Data Security
- What is sensitive data?
- HIPAA, GDPR, and others
- Sync and async encryptions
- Encryption at rest
- Encryption at transit
- Data discovery and classification
- Labeling and Data Visibility
-
Continuous integration and Continuous Delivery
- What is CI?
- What is CD?
- CI with Data-related projects: deploy changes to structures
- CI with Data-related projects: deploy changes to data
- Data and CI: common difficulties
В кінці курсу виконується дипломний проект.
Бонуси курсу
Випускники отримують сертифікат про закінчення курсу
Кожен сертифікат має унікальний номер за яким потенційний роботодавець може перевірити його валідність і побачити базові показники успішності.
Переваги навчання у Комп'ютерній школі Hillel
-
Групи по 14 осіб Викладач приділяє час кожному студенту.
-
Викладачі практики У нас викладають тільки практикуючі фахівці з топових IT-компаній.
-
Система особистих кабінетів Ефективне і зручне навчання.
-
Оперативна служба підтримки студентів Термінові питання - своєчасне рішення.
-
Доступ до відеозаписів занять Записи уроків залишаються у студентів після закінчення навчання.
-
Практичні заняття Велика частина занять орієнтована на практику.
-
Працевлаштування
Що ми робимо для того, щоб ви досягли успіху?
-
Проводимо майстер-класи з підготовки резюме та пошуку роботи
-
Регулярно оновлюємо програми курсів під вимоги ринку
-
Запрошуємо викладати тільки кращих практикуючих фахівців
-
Розвиваємо нашу мережу партнерів серед топових IT-компаній
-
Наші викладачі часто самі забирають до себе наших кращих Студентів ;)
Наші викладачі та випускники працюють в топових IT-компаніях світу
Часті питання
-
Який потрібно мати комп'ютер, щоб навчатися на курсі DataOps?
Вимоги до комп'ютера для навчання на курсі DataOps.
Операційна система:
- Windows 10 64-біт
- macOS 10.13 або вище
- Linux: Ubuntu 16.04 - 20.04
Процесор* :
- Мінімум intel core i5 4-го покоління
- Рекомендується i5 7-го
Оперативна пам'ять:
- Мінімум 8 Гб
- Рекомендується 16 Гб
Пам'ять:
- Мінімально 500 Гб HDD і більш
- Рекомендується 200 Гб SSD і більш
* Допустимі аналоги від AMD
-
Де можна подивитися відгуки про вашу Школу?
Ви можете прочитати відгуки наших Студентів та Випускників на нашому сайті за цим посиланням. Ще ви зможете знайти відгуки і інформацію про нас на DOU.ua або можете прописати назву нашої Школи у Google, де ви також зможете побачити відгуки про нашу Школу у Google-акаунті або на Google-картах.
-
Ким працюють ваші Викладачі? Чи мають вони досвід викладання?
Ми завжди дуже відповідально намагаємося підходити до питання підбору Викладачів у нашій Школі. Наші Викладачі — практикуючі фахівці в найбільших IT-компаніях міста. Також вони мають як досвід викладання в нашій Школі, так і досвід менторства за місцем їх професійної діяльності. У своїй манері навчання вони роблять упор на останні тенденції IT-ринку і виключно на свій особистий досвід для того, щоб наші Випускники мали найбільш затребувані знання і досвід роботи з конкретними кейсами.
-
Що необхідно зробити для запису на курс (бронювання собі місця у групі)?
Для початку бажано узгодити з адміністратором наявність вільних місць у групі за тим курсом, який вас зацікавив. Наступним етапом може бути ваш візит до нас в офіс для підписання двостороннього договору і внесення оплати за навчання на зацікавившем вас курсі. Таким чином вами буде заброньовано місце у групі.
-
Теорія або практика? Чому приділяється більше часу на заняттях?
Метою більшості курсів нашої Школи є можливість подальшого працевлаштування наших Студентів та Випускників. Тому ми робимо упор на опрацювання та вивчення практичних кейсів, найбільш актуальних на даний момент у роботі тієї чи іншої спеціальності IT-сфери. Безумовно, ми відводимо час на наших заняттях і на вивчення важливої теоретичної бази, яка також необхідна будь-якому фахівцеві. Але зазвичай у процентному співвідношенні теорії приділяється близько 30% часу заняття і 70% — практиці.
-
Як отримати максимальний бал за домашнє завдання?
Виконання домашніх робіт, одна з найважливіших складових навчання. Для того, щоб отримати максимальний бал за домашнє завдання, потрібно:
- Виконати завдання в зазначені терміни
- Виконати всі умови завдання
- Виконати завдання без помилок
- Перездача домашнього завдання не більше одного разу
-
- 1490
- 1
- 130 хв.
![]()
Як почати кар'єру в Data Science
-
- 9904
- 4.7
- 3 хв.
![]()
Чи потрібна вища освіта програмісту?
-
- 3513
- 5
- 57 хв.
![]()
Що таке Data і DataOps
-
- 2130
- 4.7
- 4 хв.
![]()
Як стати Salesforce-розробником
-
- 2366
- 3
- 110 хв.
![]()
Нейромережі: як вони працюють і з чого почати вивчення
-
- 28978
- 109 хв.
![]()
Введення у Data Science і Machine Learning
