Povezano s tem projektom je raziskal še štiri hipoteze.
Na tej bazi je postavil orodje Debezium, ki je zajemalo spremembe na konfiguriranih tabelah na tej virni bazi, ter te spremembe posredoval v streaming orodje, v tem primeru je bilo to Azure Event Hubs.
Ta hipoteza je bila potrjena, saj je ugotovil, da imajo orodja za streaming pri treh največjih oblačnih ponudnikih zelo podobne funkcije in obnašanje.
V diplomskem delu je predstavljen projekt, pri katerem je postavil podatkovni tok v oblačnem okolju Azure. Podatkovni tok se je začel na virni bazi, ki je bila Azure SQL Database. Na tej bazi je postavil orodje Debezium, ki je zajemalo spremembe na konfiguriranih tabelah na tej virni bazi, ter te spremembe posredoval v streaming orodje, v tem primeru je bilo to Azure Event Hubs. Ta hipoteza je bila potrjena, saj je ugotovil, da imajo orodja za streaming pri treh največjih oblačnih ponudnikih zelo podobne funkcije in obnašanje. Zatem je preiskoval podatkovne baze v oblačnem okolju Azure, pri čemer je bila hipoteza H2, da je za podatkovno skladiščenje najustreznejša Synapse Serverless SQL Pool.
Zakaj je problem resničen
V diplomskem delu je predstavljen projekt, pri katerem je postavil podatkovni tok v oblačnem okolju Azure. Podatkovni tok se je začel na virni bazi, ki je bila Azure SQL Database.
Metoda
Na tej bazi je postavil orodje Debezium, ki je zajemalo spremembe na konfiguriranih tabelah na tej virni bazi, ter te spremembe posredoval v streaming orodje, v tem primeru je bilo to Azure Event Hubs. Prihod sporočila v instanco Azure Event Hubs je prožilo instanco Azure Functions, ki omogoča izvajanje kode brez strežnika. Tam se je sprožil program, spisan v programskem jeziku Python, ki je podatke razbral in shranil v ponorno bazo Synapse Dedicated SQL Pool.
Na ponorni bazi so se podatki shranili v več različnih načinih hrambe historičnih podatkov, potem so se sestavile SQL-poizvedbe, s katerimi se je evalvirala performanca teh načinov. Povezano s tem projektom je raziskal še štiri hipoteze. Prva hipoteza, H1, je bila, da so orodja za streaming podatkov v različnih oblačnih storitvah zelo podobna.
Kaj je nastalo
Ta hipoteza je bila potrjena, saj je ugotovil, da imajo orodja za streaming pri treh največjih oblačnih ponudnikih zelo podobne funkcije in obnašanje. Zatem je preiskoval podatkovne baze v oblačnem okolju Azure, pri čemer je bila hipoteza H2, da je za podatkovno skladiščenje najustreznejša Synapse Serverless SQL Pool. Ta hipoteza je bila ovržena, saj je ugotovil, da Synapse Dedicated SQL Pool vsebuje vse funkcionalnosti Serverless SQL Poola, vendar poleg tega omogoča tudi uporabo standardne podatkovne baze, kar je bilo v njihovem primeru obvezno, in da je tudi v drugih primerih bolje imeti standardno podatkovno bazo, če ne drugega, za administrativne tabele.
Kot omenjeno v opisu projekta je preiskoval tudi oblike hrambe historičnih podatkov, pri čemer je bila hipoteza H3, da je SCD 6 najustreznejši. Ta hipoteza je bila ovržena, saj je ugotovil, da je SCD 2 ekvivalenten pri vseh testnih primerih, ki je si jih zamislil, a hkrati dosti boljši pri vstavljanju podatkov. Zadnja hipoteza, H4, je bila, da bodo relacijske podatkovne baze obdržale svojo dominanco in da novi tipi baz, kot so vektorske in NoSQL-baze, ne bodo nadomestile relacijskih baz.
To hipotezo je potrdil.
Objavljeno 19. 7. 2024 · licenca CC BY-NC 4.0 (besedilo in PDF diplomskega dela; fotografije in videi © Academia) · izvirna objava: academia.si.
Slike, sheme in zaslon
Še iz modula Programsko inženirstvo
Varnostna analiza lokalnega in oblačnega shranjevanja podatkov pri celičnih terapijah
Avtomatizacija backend procesov z uporabo umetne inteligence
Primerjava dveh orodij za statično analizo kode (SAST) za začetnike: SonarQube CE proti Semgrep
Želite v dveh letih narediti tak projekt?
Pustite e-pošto. V enem delovnem dnevu dobite osebni odgovor karierne svetovalke: ali je modul pravi za vas, kako se prizna vaša služba kot praksa in koliko stane – plus predmetnik, urnik in cenik.
Go Higher.