Data Engineer nollasta Junioriin - ilmainen kurssi Skillboxista, koulutus, päivämäärä: 29.11.2023.
Miscellanea / / November 30, 2023
Aloittelijoille
Opi Python ja SQL tyhjästä. Opi keräämään, analysoimaan ja käsittelemään dataa. Ratkaise ongelmia todellisten tapausten perusteella ja lisää ne portfolioosi. Voit aloittaa tietotekniikan uran opiskelun ohessa.
Ohjelmoijille
Paranna SQL-tuntemustasi, jotta voit työskennellä tietokantojen kanssa. Käyt läpi koko tietosuunnittelijan polun raakadatan keräämisestä mallin käyttöönottoon. Ohjelmointikokemus auttaa sinua ymmärtämään nopeasti uuden ammatin ja muuttamaan alaasi.
Aloitteleville analyytikoille
Opi kaikki datan käsittelyn vaiheet. Opi keräämään tietoa eri lähteistä, rakentamaan arkkitehtuuri niiden tallentamista varten ja visualisoimaan raportteja. Pystyt itsenäisesti valmistelemaan tietoja myöhempää analysointia varten.
Koneoppimiskurssin kirjoittaja. Vanhempi tietotutkija, tiiminvetäjä SberData, Sber. 5+ vuotta ammatissa
Kurssin puhuja, tutkimus- ja kehitysjohtaja, UBIC Tech. Yli 15 vuoden kokemus kehitystyöstä
Tietotutkija Sberbankissa, matemaatikko Venäjän tiedeakatemian laskentakeskuksessa. Lohko "Datatieteen matematiikan perusteet". Yli 4 vuoden kokemus korkeamman matematiikan opettamisesta
Ensimmäinen taso: peruskoulutus
Tutustu tietotieteen pääalueisiin, harjoittele ja toteuta ensimmäinen ML-mallisi. Hanki perustiedot matematiikasta, tilastoista ja todennäköisyysteoriasta. Kaikki tämä auttaa sinua ymmärtämään tietojen kanssa työskentelyn perusperiaatteet. Keskimääräinen valmistumisaika on 6 kuukautta.
Johdatus tietotieteeseen
Käyt läpi kaikki tietojen käsittelyn vaiheet. Opi tunnistamaan ongelmia, keräämään liiketoiminnan vaatimuksia. Lataat tietoja eri lähteistä, suoritat tutkivaa analyysiä ja valmistelet aineiston myöhempää käyttöä varten. Kouluta ja toteuta valmis ML-malli, kokeile itseäsi tuote- ja markkinointianalyytikona. Opi muotoilemaan ja testaamaan hypoteeseja. Hallitse työn perustyökalut: Python, SQL, Excel, Power Bi, Airflow.
Tietojen perusmatematiikka
Hanki perustiedot matematiikasta työskennelläksesi koneoppimisen kanssa. Ymmärrät mitä approksimaatio, interpolointi, funktiot, regressiot, matriisit ja vektorit ovat. Opi työskentelemään matemaattisten kokonaisuuksien kanssa SymPy Python -kirjastossa.
Tilastojen ja todennäköisyysteorian perusteet
Ymmärrät satunnaismuuttujien ja tapahtumien kanssa työskentelyn periaatteet. Tutustu tietyntyyppisiin jakaumiin ja tilastollisiin testeihin, joista on hyötyä mallien rakentamisessa ja hypoteesien testaamisessa.
Harjoittelumahdollisuus
Perustiedot ja -taidot riittävät harjoittelupaikkaan - voit jatkaa opiskelua kurssilla ja yrityksessä samaan aikaan.
Toinen taso: Data Engineer Junior
Opi keräämään monimutkaisia tietojoukkoja, valmistelemaan esityksiä ja rakentamaan putkia työhön, ottamaan käyttöön DS-projekteja alusta alkaen ja testaamaan koodia. Olet valmis työskentelemään nuorempana tietoinsinöörinä. Keskimääräinen valmistumisaika on 6 kuukautta.
Esittelylohko
Ota selvää, mitä tietoinsinööri tekee, mikä rooli hänellä on tietotiedeprojektissa ja mitkä ovat hänen urapolunsa. Ymmärrät kuinka kurssi on rakennettu ja mitä aiheita opiskelet.
SQL
Opi käsittelemään olemassa olevien taulukoiden tietoja, suorittamaan lisäys-, tyhjennys- ja päivitystoimintoja. Voit tallentaa tietoja tietokannasta eri muodoissa. Tutustu ikkunatoimintoihin ja perustietoihin datamarttien valmistelussa SQL: n avulla. Opi varmistamaan tietojen oikea lisäys tapahtumatilassa. Pystyt lukemaan ja ymmärtämään tapahtumalokia. Opi mitä indeksit ovat ja indeksiarkkitehtuuri ja missä niitä käytetään. Opi tekniikoita kyselyjen nopeuttamiseksi.
Python. 2 LVL
Harkitse tietotyyppejä, kuinka ne voidaan muuntaa ja miten Python ja SQL toimivat yhdessä – tietojen hakeminen tietokannasta, tietojen käsittely ja kyselyjen suorittaminen. Opi JSON- ja XML-tietoskeemojen peruskäsitteet. Voit määrittää sovellusten virheenkorjauksen, kirjoittaa testejä, anonymisoida ja salata tiedot.
Pythonin kirjastot
Opit mitä kirjastot graafien kanssa työskentelyyn ovat, ohjattua oppimista, mittareiden visualisointia ja tietojoukkojen lähteitä. Opi käyttämään Pythonia ja kirjastoja tietojen käsittelyyn. Voit jatkaa Pandan oppimista.
Ilmavirta
Tutustu Airflown kanssa työskentelyn tärkeimpiin käsitteisiin ja käytäntöihin. Opi arkkitehtuurin ja yhteentoimivuuden perusteet käyttöliittymästä CLI: hen. Rakenna ensimmäinen dataputki.
Spark perusteet
Master Spark: opi, mitä laskentaresursseja se käyttää, kuinka se tallentaa tietoja ja toimii muistin ja levyn kanssa. Perusta ensimmäinen paikallinen osastosi. Opi RDD: n perusteet: peruskäsitteet, lähteiden kanssa työskentely, toiminnot. Opi työskentelemään Dataframe API: n kanssa. Opi suorituskyky- ja optimointiongelmia käytettäessä Dataframea, tietolähteitä ja tyyppejä, työskentelyä kelvollisten/virheellisten tietojen kanssa, virheiden käsittelyä, UDF: ää, vuorovaikutusta Pythonin ja SQL: n kanssa.
Koneoppimisalgoritmien perusteet
Ymmärrät koneoppimismallien päätyypit, keskeiset termit ja määritelmät. Opi regressioalgoritmit ja klusterointialgoritmit.
Käyttöönotto
Opi mallin valmistelun päävaiheet käyttöönottoa varten, lähestymistapoja API: n rakentamiseen ja tapoja käsitellä virheitä ja virheenkorjaussovelluksia. Pystyt ratkaisemaan käyttöönottoongelmia ja hallitsemaan perusswagger-työkalut. Tutustu bashin avainprosesseihin: komentosarjojen kirjoittamiseen, muuttujien käsittelyyn sekä tekstieditoreihin sed ja awk.
Lopulliset projektit
Kun olet läpäissyt ensimmäisen tason, valmistele johdantoprojekti. Kurssin lopussa esittelet lopputyösi.
Johdatus tietotieteeseen
Yhdistä uusi tietosi yksittäiseen projektiin - siirryt tietojen lataamisesta mallin toteuttamiseen. Ratkaise tietoinsinöörin, ML-insinöörin ja data-analyytikon ongelmat päättääksesi erikoistumisestasi.
Tietojen insinööri
Lopputyö junioritasolla. Suorita kohorttianalyysi ja lataa API-viitteet. Rakenna kojelaudat vastaanotettujen tietojen perusteella.
Bonuskurssit
Kehittäjän ura: Työllisyys ja kehitys
Opit valitsemaan sopivan työpaikan, valmistautumaan haastatteluun ja neuvottelemaan työnantajan kanssa. Pääset nopeasti saamaan odotuksiasi ja taitojasi vastaavan tehtävän.
Git versionhallintajärjestelmä
Opi tekemään versiokoodin muutoksia, luomaan ja hallitsemaan tietovarastoja, haaroja ja ratkaisemaan versioristiriitoja. Opi hyödyllisiä sääntöjä Gitin kanssa työskentelemiseen.
Englanti IT-asiantuntijoille
Hanki kielitaitoa, joka auttaa sinua läpäisemään haastattelun ulkomaisessa yrityksessä ja kommunikoimaan mukavasti sekaryhmissä.