Webarchiv

Webarchiv je projekt Národní knihovny, který uchovává české dokumenty a bohemika vydané na internetu. Řeší způsob, jak takový sběr ukustečnit, třídit, uchovat a pak také zpřístupnit a to dlouhodobě.

Historie

Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se však sklizeň nedokončila. Pro nestálé zpomalování a jiné problémy byl NEDLIB v roce 2004 nahrazen Heritrixem. S tímto systémem se dodnes každý rok pořádá celoplošná sklizen. Stále se přitom vylepšuje systém i výsledky.

Metody

Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu. Kritéria jsou samozřejmě pečlivě zvolena, aby se vybraly stránky s určitou kulturně obsahovou hodnotou. Získávání dokumentů je navíc ještě podmíněno legislativně, zejména zákonnými úpravami povinného výtisku. Používány jsou tři typy archivace: celoplošná, výběrová a tematická sklizeň.

Celoplošná sklizeň

Snaží se pokrýt celý "český"(s doménou : .cz) web v daném čase. Provádí se jednou za rok.

Výběrová sklizeň

Úložného místa není neomezeně, a tak je budována kolekce hodnotných(historicky, kulturně, atp.) zdrojů s cílem vytvořit vzorek českého kulturního dědictví, jež vzniklo elektronicky.

Tematická sklizeň

Zabývá se tématy, jež mají větší ohlas v české společnosti; například české volby, ale také třeba povodně v roce 2002 či útok na redakci Charlie Hebdo.

Kritéria výběru

Pro celoplošné sklizně se používá seznam stránek s českou doménou - .cz a jsou spravovány sdružením CZ.NIC.

Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii, tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje.

Zpřístupnění

Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně mohou objevit na webových stránkách Webarchivu.

Legislativa

Legislativa je vymezena zákonem č. 121/2000 Sb. Naneštětí zákon dovoluje rozmnoženiny díla pouze k archivaci, ne však k volnému zpřístupnění. Toho lze dosáhnout jedině se souhlasem vydavatele stránek.

Nástroje Webarchivu

Heritrix je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu.

DeDuplicatorvytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím zamezuje duplicitě dat.

WARC je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem.

Waybackje aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům.

NutchWAX Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů.

Další vývoj

Problematika archivace a ochrany webových dat je stále otevřenou oblastí. Některé problémy jsou známy od začátku a některé se objevují později. Jednou z částí problému jsou metadata, tedy data o stažených datech. Metada umožňují uložení a utřídění zaznamenýnch dat ze sklizní. Neexistuje žádný univerzální metadatový formát. Státy, které se také snaží o archivaci vlastního webového kulturního bohatství, mají často svoje vlastní formáty. Takže případné porovnávání či rady jsou často protichůdné. Dalším problémem, který vznikl až s tímto projektem, je, že není žádný standard pro archivačně přívětivý web. U spousty stránek se vyskytnou problémy při stahování dat jenom kvůlu jejich naprogramování. Nejspíše se hlavním tvůrcem a koordinátorem takových standardů stane IIPC (International Internet Preservation Consortium). Dalším problémem je tzv. Migrace, tedy převedení zastaralého formátu do nového. Musí se rozhodnout, kdy je formát zastaralý, tedy kdy ho vyměnit, a také na jaký formát ho převést, protože vývoj jde stále rychleji a rychleji dopředu, takže dnes moderní formáty a technologie budou během několika málo let nepoužitelné. Webarchiv se jako projekt NKČR snaží spolupracovat se státy, kde už s archivací webu také pracují. Tato problematika s postupujícími roky nabývá na důležitosti a rozhodně by se neměla podceňovat.

Odkazy

Externí odkazy

Webarchiv

Související články

• Digitalizace
• Internet

Klíčová slova

Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument,