Gilon

Gilon - Data Quality Assurance

Az adattárház projektek és üzleti intelligencia projektek egyik legnagyobb kihívása a megfelelő adatminőség biztosítása.

Veszélyek:

A nem megfelelő adatminőség jobb esetben azt okozza, hogy az üzleti intelligencia megoldások felhasználói nem tudnak dolgozni a vállalat adataival. Rosszabb esetben felmérhetetlen károkat okozhat egy rossz döntés meghozatala miatt.

LEGYEN BIZTOS AZ ADATMINŐSÉGBEN - A megoldás

A DQA egy teljesen automatizált folyamatot kínál amellyel a szükséges adatminőséget folyamatosan képes biztosítani. Széleskörű adattesztelési lehetőségeket nyújt kényelmes grafikus felületen keresztül, könnyen kezelhetően. A működése során folyamatosan értesíti az adminisztrátort az eredményekről, akár SMS-ben, e-mailben is, előre beállítható események bekövetkeztekor.

Architektúra

Data Quality Repository

Egy olyan adatbázis amely tartalmazza az összes minőségbiztosítási eljárást definícióját, és az elosztás fogalmát.

1. Tesztek
2. Teszt típusok
3. Test subjects
4. Szigorúság minden teszttípushoz
5. Lista címzettjei

A Data Quality Job a következőket hajtja végre :

• Paraméterek visszanyerése a repository-ból
• Végrehajtja a teszteket, amik az aktuális eljárások terveztek
• A Data Quality LOGBAN ledokumentálja a teszteket és eredményeket

Data Quality Log

Az adatbázisban eltárolásra kerül minden olyan teszteredmény, ami az adatminőség audit alatt futtattak.

Minden teszteredmény tartalmaz egy önálló azonosítót (ID) és egy töltési dátumot

A DQA kétféle eredmény táblát tesz lehetővé:

• Két tábla minden teszttípushoz (egy részletes és egy aggregált)
• Tabulált összegzések az eljárások eredményéről

Teszt Típusok

• Cross Footing - Összehasonlítás az adatforrás és a DWH között (Count, Sum, Sample)
• Thresholds - Határértékekkel kapcsolatos adatok megbízhatósága (History data, Constants)
• Slowly - Lassan változó dimenziók tesztelése
• Uniqueness - Kulcs egyediség ellenőrzés
• Combination - Értékkombinációk érvényességének ellenőrzése
• Referential Integrity - A tény és dimenzió táblák közti integritás
• Value Validation - Üzleti szabályok szerinti adat érvényesség
• Full Overlap - Vonatkozó integritások, átfedések, duplikációk
• General - Free hand SQL

Súlyossági szintek

a rendszer 4 súlyossági szintet tud rendelni minden egyes teszttípushoz.

Például:

1. 0% - 10% - rossz rekordok
2. 10% - 20% - rossz rekordok
3. 20% - 60% - rossz rekordok
4. 60% - 100% - rossz rekordok

Distribution Job

Az értesítő motor képes minden DQA felhasználó részére értesítéseket küldeni

1. Mely releváns forrásrendszerre vonatkozik
2. Alkalmazott szigorúsági szint

Információközlés: SMS, E-mail, Report

Teszteredmények

Minden egyes teszt során a rendszer az alábbi eredményeket tárolja:

1. megvizsgált bemenő rekordok száma
2. rossz bemenő rekordok
3. rossz értékek száma
4. Százalékos analízis
5. Szigorúsági analízis