Kapitola 2.1**: Metody pro zajištění správnosti dat
Co se naučíš: V této kapitole se naučíš, jak zajistit, aby data byla správná, úplná a kvalitní. Zjistíš, jaké metody a nástroje se používají pro kontrolu a čištění dat v praxi.
1. Proč je kvalita dat důležitá?
Představ si, že firma posílá faktury zákazníkům. Pokud jsou adresy špatně, dopisy se vrátí. Pokud jsou částky špatně, firma přijde o peníze nebo naštve zákazníky. Špatná data = špatná rozhodnutí.
Příklad z praxe: V roce 1999 ztratila NASA sondu Mars Climate Orbiter za 125 milionů dolarů. Proč? Jeden tým používal metrické jednotky a druhý imperiální. Chyba v datech = ztráta mise.
2. Dimenze kvality dat
Kvalitu dat hodnotíme podle několika dimenzí:
Přesnost (Accuracy): Odpovídají data realitě? Je adresa správná?
Úplnost (Completeness): Jsou všechna povinná pole vyplněná?
Konzistence (Consistency): Jsou data stejná napříč systémy?
Aktuálnost (Timeliness): Jsou data aktuální?
Validita (Validity): Odpovídají data definovaným pravidlům?
Jedinečnost (Uniqueness): Nejsou záznamy duplicitní?
Pokročilá analýza dat - vizualizace a interpretace
3. Metody kontroly dat
3.1 Validace při zadávání
Nejlepší je zachytit chybu hned při zadávání dat:
Kontrola formátu: E-mail musí obsahovat @ a tečku.
Kontrola rozsahu: Věk 0-150, PSČ 5 číslic.
Kontrola povinnosti: Jméno nemůže být prázdné.
Kontrola seznamu: Země musí být ze seznamu zemí.
3.2 Čištění dat (Data Cleaning)
Pokud už máme "špinavá" data, musíme je vyčistit:
Odstranění duplicit: Najít a sloučit duplicitní záznamy.
Doplnění chybějících hodnot: Použít průměr, medián nebo "neznámé".
Příklad v Excelu: Pro odstranění duplicit vyber data a použij: Data → Odebrat duplicity. Excel ti ukáže, kolik duplicit odstranil.
3.3 Kontrolní součty a hashe
Pro ověření, že data nebyla změněna při přenosu:
Kontrolní součet: Jednoduchý součet hodnot pro rychlou kontrolu.
Hash (MD5, SHA-256): Kryptografický "otisk" dat – jakákoliv změna vytvoří úplně jiný hash.
4. Praktické nástroje
Excel – Validace dat
V Excelu můžeš nastavit pravidla pro zadávání dat:
Vyber buňky, kde chceš validaci.
Jdi na: Data → Ověření dat.
Vyber typ ověření:
Celé číslo: Například věk mezi 1 a 100.
Seznam: Pouze hodnoty ze seznamu (např. Ano, Ne).
Délka textu: PSČ přesně 5 znaků.
Vlastní: Vlastní vzorec (např. e-mail obsahuje @).
Kontrola dat pomocí vzorců v Excelu
V Excelu můžeš použít vzorce pro automatickou kontrolu dat:
=KDYŽ(DÉLKA(A2)>=2;"OK";"Příliš krátké") // Kontrola délky jména
=KDYŽ(POČET.ZNAKŮ(B2)-POČET.ZNAKŮ(SUBSTITUCE(B2;"@";""))=1;"OK";"Chybí @") // Kontrola e-mailu
=KDYŽ(A(C2>=13;C2<=100);"OK";"Neplatný věk") // Kontrola rozsahu věku
Statistické metody - distribuce a korelace
Člověk a digitální svět
V digitálním světě platí pravidlo "Garbage In, Garbage Out" – pokud vložíš špatná data, dostaneš špatné výsledky. Schopnost zajistit kvalitu dat je klíčová pro jakékoliv rozhodování založené na datech, ať už jde o osobní finance, školní projekty nebo profesní práci.
Proces analýzy dat - od surových dat k poznatkům
** Úkoly pro maturitní obory
Excel – Komplexní validace: Vytvoř tabulku "Registrace uživatelů" se sloupci: Jméno, E-mail, Věk, PSČ, Země. Nastav validaci: Jméno min. 2 znaky, E-mail obsahuje @, Věk 13-100, PSČ přesně 5 číslic, Země ze seznamu.
Excel – Čištění dat: Stáhni dataset s "špinavými" daty (např. z Kaggle – "messy data"). Vyčisti ho: odstraň duplicity, oprav formáty, standardizuj hodnoty. Zdokumentuj, co jsi udělal.
Word – Dokumentace pravidel: Napiš dokument "Pravidla kvality dat pro e-shop". Definuj pravidla pro každé pole (jméno, adresa, e-mail, telefon). Uveď příklady správných a špatných hodnot.
PowerPoint – Prezentace: Vytvoř prezentaci "6 dimenzí kvality dat" (8-10 snímků). Ke každé dimenzi uveď definici, příklad a jak ji zajistit.
Canva – Plakát: Vytvoř v Canvě plakát "Pravidla pro kvalitní data" pro kancelář. Použij ikony, krátké texty a barevné rozlišení. Formát A3.
Excel – Kontrolní vzorce: Vytvoř tabulku s daty a přidej sloupec "Kontrola", který automaticky ověří správnost každého řádku pomocí vzorců KDYŽ, DÉLKA, POČET.ZNAKŮ. Barevně zvýrazni chybné řádky pomocí podmíněného formátování.
*** Rozšíření pro IT obory
Jako budoucí IT specialista musíš chápat validaci a integritu dat na hlubší teoretické úrovni. Tato kapitola rozšiřuje základy bez programování.
Formální definice integrity dat
Integrita dat znamená, že data jsou správná, úplná a konzistentní po celou dobu jejich životního cyklu. Rozlišujeme několik typů:
Typ integrity
Popis
Příklad porušení
Entitní integrita
Každý záznam má unikátní identifikátor
Dva studenti mají stejné ID
Doménová integrita
Hodnoty jsou v povoleném rozsahu/typu
Věk = -5 nebo "patnáct"
Referenční integrita
Odkazy mezi tabulkami jsou platné
Objednávka odkazuje na neexistujícího zákazníka
Uživatelská integrita
Obchodní pravidla jsou dodržena
Student je zapsán do kurzu bez prerekvizit
Kontrolní mechanismy
Paritní bit
Nejjednodušší forma kontroly chyb. Přidá se jeden bit, aby celkový počet jedniček byl sudý (sudá parita) nebo lichý (lichá parita).