Kurssi "Data Engineer" - kurssi 95 000 hieroa. Yandex Workshopista, koulutus 6,5 kuukautta, Päivämäärä: 11.12.2023.

Tietomallin päivitys

1 moduuli 2 viikkoa

Yritys uppoaa jatkuvasti prosesseihinsa. Käsitellyt tiedot on päivitetty, joten sinun on vaihdettava tietomallia.

Tällä kurssilla sinä:
- ymmärtää kuinka yritys rakentaa tietokantaa;
- päivittää nykyisen tietokannan rakenne uusien liiketoimintavaatimusten mukaisesti;
- Valmistele uusia esityksiä ja mittareita analyytikoille ja johtajille.

Tekniikat ja työkalut:

• PostgreSQL

+1 projekti portfoliossa
Rakenna verkkokaupan yleisöanalytiikkaa varten asteittainen latauskeskus.

DWH: tietomallin versio

Moduuli 2 3 viikkoa

Yritys kasvaa, tietoarkkitehtuuri muuttuu monimutkaisemmaksi. Sinulle annetaan tehtävä - optimoida prosesseja datalla.

Tällä kurssilla sinä:
- harkitse läpi siirtymistä vanhasta tietokantajärjestelmästä uuteen ja minimoi samalla liiketoiminnan tappiot (käyttöönotto ilman seisokkeja);
- valmistelee tietojen siirtoa;
- ottaa huomioon mahdolliset ongelmat ja suunnitella vaihtoehto muutosten peruuttamiseksi;
- ottaa käyttöön uusi tietokantarakenne ja mukauttaa se olemassa oleviin datan ympärillä oleviin prosesseihin.

Tekniikat ja työkalut:

• PosgreSQL
• Python

+1 projekti portfoliossa
Laitat tietomallin järjestykseen ja siirrät tiedot verkkokaupan nykyisen tallennustilan sisällä.

ETL: tietojen valmisteluautomaatio

Moduuli 3 3 viikkoa

Tiedät nyt lähes kaiken yrityksen tietovarastosta. On aika miettiä ETL-prosessit uudelleen.

Tällä kurssilla sinä:
- automatisoida tietoputki;
- määrittää automaattisen tietojen lataamisen lähteistä;
- oppia lataamaan tietoja säännöllisesti ja asteittain tietokantaan.

Tekniikat ja työkalut:

• Python
• Ilmavirta
• PostgreSQL

+1 projekti portfoliossa
Rakenna putki tietojen automaattista vastaanottamista, käsittelyä ja lataamista varten lähteistä myymälään verkkokauppaprojektia varten.

Tietojen laadun tarkistus

Moduuli 4 1 viikko

Haluat olla varma, että ensimmäiset putket toimivat hyvin. Tietojen laatu on tarkistettava ja häiriöt on seurattava ajoissa.

Tällä kurssilla sinä:
- ymmärtää metainformaation ja dokumentaation käyttöä;
- arvioida tietojen laatua.

DWH useille lähteille

Moduuli 5 2 viikkoa

Jatkat DWH: n tutkimusta, koska yrityksen kehitystä ja siten datavolyymin kasvua ei voida pysäyttää.

Tällä kurssilla sinä:
- rakentaa DWH tyhjästä relaatiotietokantajärjestelmään;
- tutustu MongoDB: hen tietolähteenä.

Tekniikat ja työkalut:

• PostgreSQL
• MongoDB

+1 projekti portfoliossa
Suunnittelet ja toteutat DWH: n talon sisäiseen startupiin.

Analyyttiset tietokannat

Moduuli 6 2 viikkoa

On yhä enemmän erityistä jäsentämätöntä dataa, joka on myös tallennettava ja käsiteltävä. Siksi esittelemme sinulle analyyttisten tietokantojen käsitteen käyttämällä esimerkkinä Vertica DBMS: ää.

Tällä kurssilla sinä:
- tutkimusvaraston organisaatio Verticassa;
- Opi tekemään perustoimintoja datalla Verticassa;
- rakentaa yksinkertainen tietovarasto Verticaan.

Tekniikat ja työkalut:

• Vertica
• PostgreSQL
• Ilmavirta
• S3

+1 projekti portfoliossa
Rakenna DWH korkean kuormituksen ja matalarakenteisen messenger-tietojärjestelmän avulla Vertican avulla.

Data Lake -organisaatio

Moduuli 7 4 viikkoa

Klassiset ratkaisut eivät auta selviytymään datamäärästä. Voit selviytyä uusista liiketoiminnan haasteista rakentamalla ja täyttämällä Data Laken.

Tällä kurssilla sinä:
- harkitse Data Lake -arkkitehtuuria (trans. "datajärvi");
- oppia käsittelemään tietoja MPP-järjestelmässä;
- Täytä Data Lake tietoilla lähteistä;
- harjoitella tietojenkäsittelyä PySparkilla ja Airflowlla.

Tekniikat ja työkalut:

• Hadoop
• MapReduce
• HDFS
• Apache Spark (PySpark)

+1 projekti portfoliossa
Rakenna Data Lake ja automatisoi siinä olevien tietojen lataaminen ja käsittely.

Stream-käsittely

Moduuli 8 3 viikkoa

Olet voittanut vaikeudet suurella tietomäärällä, mutta uusi tehtävä on ilmaantunut - sinun on autettava yritystä tekemään päätöksiä nopeammin. Täällä tarvitset tietoa stream-tietojen käsittelystä. suoratoisto).

Tällä kurssilla sinä:
- harkita tietovirran tietojenkäsittelyn ominaisuuksia;
- rakentaa oma suoratoistojärjestelmäsi;
- Rakenna myymälä reaaliaikaisten tietojen avulla.

Tekniikat ja työkalut:

• Kafka
• Spark Streaming

+1 projekti portfoliossa
Kehität reaaliaikaisen tietojenkäsittelyjärjestelmän.

Pilviteknologiat

Moduuli 9 3 viikkoa

Nyt voit työskennellä sekä suurten tietomäärien että streamien kanssa. Jäljelle jää vain järjestelmien skaalauksen automatisointi pilvipalveluilla.

Tällä kurssilla opit toteuttamaan jo opittuja ratkaisuja, mutta pilvessä (esimerkiksi Yandex Cloudia).

Tekniikat ja työkalut:

• Yandex. Pilvi
• Kubernetes
• kubectl
• Redis
• PostgreSQL

+1 projekti portfoliossa
Kehität infrastruktuuria tietojen tallentamiseen ja käsittelyyn pilvessä.

Valmistumisprojekti

Moduuli 10 3 viikkoa

Vahvista, että olet oppinut uusia taitoja.

Täällä sinun on valittava ja toteutettava itsenäisesti ratkaisuja yritysongelmaan. Tämä auttaa sinua jälleen kerran vahvistamaan oppimiesi työkalujen käyttöä sekä itsenäisyyttäsi.