Big datan käsittely ja analysointi - Open Educationin ilmainen kurssi, koulutus 2 viikkoa, noin 36 tuntia viikossa, päivämäärä 29.11.2023.
Miscellanea / / November 30, 2023
Ph.D. Tehtävä: apulaisprofessori, ohjausjärjestelmien ja robotiikan tiedekunta, apulaisprofessori, digitaalisen kulttuurin korkeakoulu, ITMO-yliopisto
Fysikaalisten ja matemaattisten tieteiden kandidaatin asema: apulaisprofessori, digitaalisen kulttuurin korkeakoulu, ITMO-yliopisto
Ph.D. Tehtävä: apulaisprofessori, Digitaalisen kulttuurin korkeakoulu, ITMO-yliopisto
Moduuli 1 Aihe 1.1 Johdatus tietotieteeseen Keskustelee tietotyypeistä ja lähteistä, periaatteista tietojen erottelu ja yhdistäminen, vaakatyypit, tiedon puhdistus- ja aukkojen täyttötavat, ohjaus vaihteluvälit. Aihe 1.2 Tietojenkäsittelytyökalut Keskustelee ensisijaisista tietojenkäsittelytyökaluista, kuten laskentataulukoista (Google-laskentataulukot ja Excel), kattaa tietojen lajittelun ja suodattamisen, taulukkotietojen yhdistämis- ja analysointikeinot (pivot-taulukot) Aihe 1.3 Visualisointi data Datan visualisoinnin tehtävät ja menetelmät eri työkaluissa (Google Taulukot ja Excel), määrällisten ja laadullisia tietoja. Kognitiivisen datan visualisointia harkitaan. Aihe 1.4 Tietojen analysointi ja muuntaminen Käsitellään datan tasoitus- ja normalisointimenetelmiä, datan muuntamisen kysymyksiä. Kuvailevien tilastojen tyypit ja niiden laskentamenetelmät kuvataan yksityiskohtaisesti. Aihe 1.5 Työskentely aikasarjojen kanssa Käsitellään aikasarjojen kanssa työskentelyn periaatteita ja niiden analysointimenetelmiä. Erityistä huomiota kiinnitetään aikasarjojen tasoitustekniikoihin, trendien ja aikasarjojen kausikomponenttien määrittämiseen.
Moduuli 2 Big Data Storage -aihe 2.1. Tietokannan hallintajärjestelmät Tarkastellaan tietojärjestelmien arkkitehtuuria ja tietokantojen hallintajärjestelmien päätoimintoja. Aihe 2.2. Strukturoidun datan suunnittelu Käsitellään relaatiomallin (taulukkomallin) peruskäsitteitä data, datan suunnittelu relaatiomallissa, säännöt taulukoiden luomiseksi ja eheysrajoitusten määrittely. Aihe 2.3. SQL - kyselyt tietoihin ja tietokantaobjekteihin Tarkastellaan SQL-kielen tietokyselyjen muodostamisen periaatteita, mukaan lukien projektio, lajittelu, valintaehtojen asettaminen, useiden taulukoiden yhdistäminen, joukkoteoreettiset operaatiot, sisäkkäiset pyynnöt. Luennolla käsitellään myös tietokantaobjekteja - näkymiä, proseduureja/funktioita, triggereitä. Indeksien käsite on annettu, mikä voi parantaa useiden kyselyjen suorittamisen tehokkuutta. Aihe 2.4. NoSQL-tallennus Tarkastellaan NoSQL-järjestelmien peruskäsitteitä ja ominaisuuksia, NoSQL-järjestelmien eri tyyppejä ja luokituksia: avainarvo, dokumentti, sarake ja graafi. Tietojen kyselyjen rakentamisen periaatteet NoSQL-varastoissa. Aihe 2.5. MongoDB - työskentely asiakirjojen tallennuksen kanssa Keskustelee tietojen järjestämisestä ja kyselyjen rakentamisesta MongoDB: ssä. Esimerkkejä kyselyjen rakentamisesta MongoDB-demotietokannassa tarjotaan.