Tietojen analysointi Pythonissa ja tietokannat (SQL) - ilmainen kurssi RANEPAlta, koulutus, Päivämäärä: 6.3.2023.

Miscellanea / by admin / December 04, 2023

click fraud protection

Python Data Analysis and Database (SQL) -ohjelma antaa opiskelijoille ymmärryksen ML (Machine Learning) -algoritmien ohjelmoinnin perusteista Python-kielellä. Se auttaa myös hallitsemaan useita nykyaikaisten relaatiotietokantojen hallintaan liittyviä taitoja ja hankkia käytännön taitoja DBMS-kielityökalujen käytössä (Database Management Systems tiedot).

Liike-elämässä ja hallinnossa on jatkuvasti analysoitava valtavia tietomääriä hankkia tietoa työn laadun hallitsemiseksi, esittää tuoreita ideoita ja perustella hyväksyttyjä päätökset. Asiantuntijat, jotka ymmärtävät valtavia tietomääriä, voivat odottaa nopeaa uraa vaikuttavilla palkoilla.

Tietojen analysointiin liittyvissä työilmoituksissa mainitaan pääsääntöisesti useimmiten SQL ja Python.

Kurssille voivat hakea vain opiskelijat, jotka eivät opiskele seuraavilla aloilla:

Opiskelijalla on ohjelman masteroinnin aikana mahdollisuus keksiä uusia digitaalisia tuotteita (itsenäisesti tai ryhmässä). Parhaiden ratkaisujen tekijät saavat Akatemian tuen ja mahdollisuuden tehdä yhteistyötä RANEPAn Tekoälylaboratorion ja Platform Development Laboratoryn kanssa.

instagram viewer

Python

Miten se kaikki toimii? Pythonin ominaisuudet.
Miksi kaikki käyttävät Pythonia? Vertailu muihin ohjelmointikieliin. Kuinka kirjoittaa ohjelmia? Pythonin plussat. Pythonin käyttö tehtävissä: tekstinkäsittely, kuvien käsittely, osakerobottien kirjoittaminen, chat-bottien käynnistäminen. Syöttö ja tulostus Pythonissa. Nimet Pythonissa. Perustoiminnot. Ohjelman suorituksen edistymisen ohjaus (ehdolliset konstruktit). Esimerkkejä yksinkertaisista ohjelmista.

Pyörät. Linjat. Merkkijonomenetelmät.
Silmukka ennakkoehdoin. Katkaise ja jatka lausunnot. Silmukalle Viivan rakenne ja pituus. Viivaelementti ja viivojen leikkaaminen. Osamerkkijonon saaminen merkkijonosta. Linjan läpikulku. Osat.

Tuples. Luettelot. toimintokartta. Satunnaisarvoluettelogeneraattori.
Miksi tupleja tarvitaan? Työskentely luettelon kanssa. Listaa elementtejä. Tulosta luettelo. Listojen oikea kopiointi. Karttatoiminnon käytön ominaisuudet. Mitä ovat satunnaisarvogeneraattorit? Joukko. Toiminnot sarjoilla. Frozenset. Sanakirjat. hanki menetelmä Sanakirjan läpikulku.

Toiminnot. Matemaattisten funktioiden soveltaminen. Laajuus ja poissulkeminen.
Kuinka kirjoittaa funktioita oikein. Yksinkertaiset algoritmit. Ensimmäisten funktioiden kirjoittaminen. Kuinka lisätä matematiikkaa. Suosituksia omien funktioiden kirjoittamiseen. Kuinka kaukoputket toimivat. Globaalit muuttujat. Useiden arvojen palauttaminen funktiosta. Poikkeukset.

Työskentely tiedostojen kanssa. Matriisit. Lajittelutyypit
Mitä tiedostoilla voi tehdä? Tiedostojen avaaminen ja sulkeminen. Tekstitiedostojen lukeminen ja kirjoittaminen. Matriisit. Matriisien täyttäminen. Matriisien syöttäminen rivi riviltä. Luku- ja kirjoitusmatriisit. Kuplalajittelu. Algoritmin analyysi. Useita versioita ratkaisusta.

Yleiskatsaus NumPy-kirjastoon. Työskentely NumPy-funktioiden kanssa. SciPY-kirjasto.
Python-kirjastot ja niiden asennus. NumPy-perustietotyypit. Numeeriset funktiot. Työskentely taulukoiden kanssa. Toiminnot taulukoiden kanssa. Kaksiulotteiset taulukot. Matriisit. SciPy-kirjaston perusominaisuudet.

Pandas-kirjaston yleiskatsaus. Perusanalytiikka.
Kirjaston asentaminen. Sarjaobjektin luominen. DataFrame-indeksointi. Taulukot. Tiedostojen lukeminen ja kirjoittaminen. Indeksointi. Datan otanta. Toiminnot riveillä ja sarakkeilla. Työskentely NaN: n kanssa. Lajittelu.

Tietojen visualisoinnit. Käytännön esimerkkejä
Uuden datan tutkiminen, esikäsittely, datan visualisointi, ominaisuuksien välisten yhteyksien etsiminen, koulutusdatan valmistelu ja luottoriskien ennustemallien luominen. Hankitaan malli, joka vastaa kysymykseen: myöntää vai olla myöntämättä lainaa.

Rutiinitehtävien automatisointi. Käytännön esimerkkejä
Analyysi käytännön esimerkkejä tehtävien automatisoinnista, jotka liittyvät kootun tiedon hankkimiseen useista lähteistä (Excel-tiedostot) tai Internetistä.

Katsaus data-analyysissä käytettyihin koneoppimismenetelmiin. Käytännön esimerkkejä
Käytännön esimerkki perusominaisuuksien tunnistamisesta ja niiden tulkinnasta ohjatussa oppimisongelmassa.

Välivaiheen moduulin arviointi
Väliaikainen sertifiointi tapahtuu testin muodossa (tietokonetestaus). Esimerkki tyypillisestä testirakennuksesta:

Millä Python-funktiolla voit selvittää muuttujan tyypin?

hwoami
tyyppi
tyyppi
On

Mikä numeroalue luodaan seuraavaan koodiin: alue (9, 3, -2)

9 8 7 6 5 4 4
9 7 5 3
9 7 5
11 9 8 7 6 5 4

Mitä luettelossa oleva koodinpätkä mahdollistaa?

Koodinpätkä: print(math.sqrt(2))
näyttää numeron 2 matematiikan kirjastosta
matematiikan kirjaston yhdistäminen
matemaattisen luvun neliöinti
näyttää kahden neliöjuuren

SQL

Tietojen tallennus ja eheys.
Tiedon tallennus: datatiedostot, lokit, RAID-tasot, Tempdb. Suhteet tietokannoissa, yksi yhteen, yksi moniin, monta moniin. Tietojen eheys: ENSISIJAINEN AVAIN, TARKISTA, AINUTLAATUINEN ja ULKOAvain. Taulukoiden normalisointi.

Tietokannan ja taulukoiden luominen.
DBMS-arkkitehtuuri: looginen (taulukot ja tietotyypit, avaimet, hakemistot, näkymät, kokoonpanot, rajoitukset, säännöt, oletusarvot) ja fyysiset tasot (tiedostot ja tiedostoryhmät, sivut). Tietokannan luominen. Taulukkokenttien tietotyypit: Tarkat numerot, Unicode-merkkijonot, likimääräiset numerot, binääritiedot, päivämäärä ja kellonaika, muut tietotyypit, merkkijonot. Taulukoiden luominen. Minne kirjoittaa pyynnöt?

Indeksit. Kaaviot.
Indeksit: klusteroitu, ei-klusteroitu, yksilöllinen tunniste, suodatettu, sarakevarasto, hash, ei-klusteroitu, muistiin optimoitu indeksi. ER-kaaviot: Tietokantakaaviot, Tietokantasolmu. DML ja yleisimmät SQL-operaattorit: SELECT, INSERT, UPDATE, DELETE. Ainutlaatuisten tekijöiden merkitys.

Pyynnöt. Ulkoiset liitännät.
Kyselyt yhdessä pöydässä. Näytteenotto ilman toistoja. Kyselyt useissa taulukoissa. Ulkoliitokset: LEFT, RIGHT tai FULL.

Aggregaattifunktiot. Alakyselyt.
Alakyselyt: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Liittymistiedot: SELECT JOIN. Koontifunktiot: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Aggregaattifunktioiden ehdot.

Hyödyllisiä ominaisuuksia.
Hieman lisää operaattoreista. Teollinen pyyntö. Hyödyllisiä toimintoja: SQRT, RAND, CONCAT, numero- ja merkkijonofunktiot. Toiminnan ensisijaisuus ja tyypin muunnos: CAST, CONVERT.

Tapahtumat. Edustus.
Yksi pyyntö neljällä tavalla. Tapahtumat: tapahtumien käsite - atomiteetti, johdonmukaisuus, eristäminen, kestävyys, tapahtumien hallinta - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Rinnakkainen tiedonsaanti: likaisen, ei-toistuvan lukemisen, haamujen ongelmat. Näkymät: indeksoitu, osioitu, järjestelmä.

Muuttujat ja silmukat.
Ohjelmoinnin aloitus. Muuttujat: DECLARE, SET, SELECT. Koodirakenne. Tietojen kuvausoperaattorit: CREATE, DROP, ALTER jne. Tiedonkäsittelyoperaattorit: INSERT, DELETE, SELECT, UPDATE jne. Operaattorit pääsyoikeuksien asettamiseen tietokantaan: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operaattorit suojaamiseen, tietojen palautukseen ja muihin toimijoihin. Syklit: WHILE.

Tallennetut menettelyt ja toiminnot.
Väliaikaiset pöydät. Transact-SQL-kursorit, palvelin, asiakas. Kohdistintyypit: yksisuuntainen, staattinen, Keyset, dynaaminen. Tallennetut proseduurit ja toiminnot: CREATE PROCEDURE, CREATE PROC.

Liipaisimet. Poikkeukset.
Kuljetin HF. Liipaisimet: AFTER, INSTAADOF. Poikkeukset: EXCEPT. Dynaaminen SQL avainsanan ja tallennettujen menettelyjen avulla: SUORITA VÄLITTÖMÄSTI.

DBMS. NoSQL-tietokannat.
Tapahtumat ohjelmoinnissa/DBMS/SQL: ssä. Kuinka pyynnöt toteutetaan. Kuinka parantaa kyselyn suorituskykyä. NoSQL-tietokanta ja sen edut.

Välivaiheen moduulin arviointi
Väliaikainen sertifiointi tapahtuu testin muodossa (tietokonetestaus). Esimerkki tyypillisestä testirakennuksesta:

Minkä tyyppiset kenttätiedot ovat NUMBER-tyyppisiä?