Data Engineer - kurssi 89 000 hieroa. Otus, koulutus 4 kuukautta, päivämäärä 30.11.2023.

Miscellanea / by admin / December 03, 2023

click fraud protection

Mitä tämä kurssi antaa sinulle?

Ymmärtää tärkeimmät tavat integroida, käsitellä ja tallentaa big dataa
Kyky työskennellä Hadoopin ekosysteemikomponenttien, hajautetun tallennustilan ja pilviratkaisujen kanssa
Käytännön taidot datapalvelujen, julkisivujen ja sovellusten kehittämiseen
Seurannan, orkestroinnin, testauksen järjestämisen periaatteiden tuntemus

Kurssi on osoitettu kehittäjät, DBMS-järjestelmänvalvojat ja kaikki, jotka haluavat parantaa ammatillista tasoaan, hallita uusia työkaluja ja osallistua mielenkiintoisiin tehtäviin datan parissa.

Tietotekniikan opiskelun jälkeen sinusta tulee haluttu asiantuntija, joka:

ottaa käyttöön, säätää ja optimoi tietojenkäsittelytyökaluja
mukauttaa tietojoukot jatkotyötä ja analytiikkaa varten
luo palveluita, jotka käyttävät suurten tietomäärien käsittelyn tuloksia
vastaa yrityksen tietoarkkitehtuurista

Real Case Studies: esimerkkejä toteutuksista, työkalujen käytöstä, suorituskyvyn optimoinnista, ongelmista, virheistä ja sovelletuista tuloksista
Erittäin käytännöllinen perehtyminen:

instagram viewer

Kurssin aikana luomme asteittain toimivaa tuotetta, jossa ratkaistaan sovellettavia ongelmia
Kokonaiskuva modernin liiketoiminnan haasteista ja tehtävistä sekä tietoinsinöörin roolista niiden ratkaisemisessa
Kysyntä työnantajien keskuudessa

Jo 40 työnantajaa on valmis kutsumaan kurssin suorittaneita haastatteluun

Aleksei Zheleznoy

kurssit

Data-insinööri, Wildberries, DE Junior-kurssin puhuja. Yli 7 vuotta IT-alalla

Valmistunut Voronežin valtionyliopistosta arvosanoin. Tällä hetkellä opiskelija HSE: n maisteriohjelmassa "Järjestelmä- ja ohjelmistotekniikka". Ammattikokemus - 2 vuotta työskentelyä tietoanalyytikkona ja tietoinsinöörinä. Nyt hän työskentelee viiden suositun tietokannan kanssa, kehittyy Pythonissa ja kehittää taitojaan nopeasti. Valmis jakamaan kokemukseni.

Roman Bogatov

hyvin

Hän on kehittänyt analytiikkaa yrityksessä yli 10 vuotta. Saavutuksista: - Oman päästä päähän -verkkoanalytiikkajärjestelmämme rakentaminen - MPP Verticaan perustuvan analyyttisen varaston rakentaminen - Sparkiin perustuvan tietojenkäsittelyn organisointi, Kafka, HDFS;- Prosessien rakentaminen datan käsittelyä varten, mukaan lukien tiedon laatu;- Useiden sisäisten työkalujen luominen metatietojen käsittelyyn ja jäsentelyyn (Data Catalog);- Yrityksen raportointijärjestelmän rakentaminen, mukaan lukien reaaliaikainen; - Yli 5 vuoden ajan hän on kasvattanut tietolukutaitoa yrityksessä, järjestänyt erilaisia koulutusta tiedon kanssa työskentelystä, työkalut, SQL; Hän kehitti myös useita analytiikkajohtajia, jotka työskentelevät nykyään suurissa yrityksissä. Pääpaino on liiketoiminnan ongelmien ymmärtämisessä datan käsittelyssä ja niiden ratkaisemisessa.

Vasily Sushko

hyvin

Osastopäällikkö, Sberbank 8 vuoden kokemus teollisesta kehityksestä, mukaan lukien verkkosovellusten luominen ja ylläpito sekä suurissa yrityksissä että startupeissa. 3 vuotta hajautettujen järjestelmien kehitystä suurille valtion asiakkaille. Toteutti kolme projektia tyhjästä prototyypistä teolliseen käyttöön. Tällä hetkellä pankin sisäisten asiakkaiden täyden pinon kehitystyötä, data-analyysiin ja suunnitteluun liittyvien ongelmien ratkaisemista. Kokemusta ohjelmoinnista Java-, Scala-, Python-, Javascript-kielillä. Laaja valikoima ammatillisia kiinnostuksen kohteita hajautettujen järjestelmien rakentamisesta ennakoivaan analytiikkaan ja tarkoitusten analysointiin. Koulutus: UrFU: n kandidaatin tutkinto nimetty. B.N. Jeltsin "Informaatioteknologiat".

Tietoarkkitehtuuri
-Aihe 1. Data Engineer. Tehtävät, taidot, työkalut, markkinoiden tarpeet
-Aihe 2. Analyyttisten sovellusten arkkitehtuuri: peruskomponentit ja periaatteet
-Aihe 3.Tiloissa / Pilviratkaisut
-Aihe 4. Putkilinjan automaatio ja orkestrointi – 1
-Aihe 5. Putkilinjan automaatio ja orkestrointi – 2

Data Lake
-Aihe 6. Hajautetut tiedostojärjestelmät. HDFS/S3
-Aihe 7. SQL-käyttö Hadoopille. Apache Hive/Presto
-Aihe 8. Tietojen tallennusmuodot ja niiden ominaisuudet
-Aihe 9. Kaukosäätimen analyysi 1 tapaukselle
-Aihe 10. Viestijonot. Kafka yleiskatsaus.
-Aihe 11.Tietojen lataaminen ulkoisista järjestelmistä
-Aihe 12. Apache Spark – 1
-Aihe 13. Apache Spark – 2

DWH
-Aihe 14.Analyyttinen DBMS. MPP-tietokannat
-Aihe 15.DWH-mallinnus – 1. dbt perusasiat
-Aihe 16.DWH-mallinnus – 2. Data Vault 2.0
-Aihe 17. DevOps-käytännöt analyyttisissa sovelluksissa. CI+CD
-Aihe 18. Kaukosäätimen analyysi tapaukselle 2
-Aihe 19. Tietojen laatu. Tietojen laadunhallinta
-Aihe 20. BI-ratkaisun käyttöönotto
-Aihe 21. Valvonta / Metatiedot

NoSQL/NewSQL
-Aihe 22. NoSQL-tallennus. Leveä sarake ja avainarvo
-Aihe 23. NoSQL-tallennus. Asiakirjasuuntautunut
-Teema 24.ELK
-Teema 25.ClickHouse
-Aihe 26. Kaukosäätimen analyysi tapaukselle 3

MLOps
-Aihe 27. Koodin järjestäminen ja pakkaaminen
-Aihe 28. Docker- ja REST-arkkitehtuuri
-Teema 29.MLFlow + DVC
-Aihe 30. Mallien käyttöönotto
-Aihe 31. Kaukosäätimen analyysi tapaukselle 4
-Aihe 32. Kaukosäätimen analyysi tapaukselle 5

Valmistumisprojekti
-Aihe 33. Aiheen valinta ja projektityön organisointi
-Aihe 34. Konsultointi
-Aihe 35.Suojaus

Tunnisteet pilvi

Miscellanea

luokitus

näkymät

Kommentit