Webarchiv: Porovnání verzí
| (Není zobrazeno 25 mezilehlých verzí od 2 dalších uživatelů.) | |||
| Řádek 1: | Řádek 1: | ||
| − | Webarchiv je projekt [[Národní knihovna ČR|Národní knihovny]], který uchovává české dokumenty a bohemika | + | '''Webarchiv''' je projekt [[Národní knihovna ČR|Národní knihovny]], který uchovává české dokumenty a bohemika vydané na internetu. Řeší způsob, jak takový sběr ukustečnit, třídit, uchovat a pak také zpřístupnit a to dlouhodobě. |
==Historie== | ==Historie== | ||
| − | Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se sklizeň nedokončila. Pro | + | Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se však sklizeň nedokončila. Pro nestálé zpomalování a jiné problémy byl NEDLIB v roce 2004 nahrazen Heritrixem. S tímto systémem se dodnes každý rok pořádá celoplošná sklizen. Stále se přitom vylepšuje systém i výsledky.<ref name="PW">A. Brokeš. Projekt Webarchiv - archiv českého webu. Zpravodaj ÚVT MU. ISSN 1212-0901, 2008, roč. XVIII, č. 4, s. 10-13.</ref> |
| + | |||
==Metody== | ==Metody== | ||
| − | Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu.Kritéria jsou samozřejmě pečlivě | + | Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu. Kritéria jsou samozřejmě pečlivě zvolena, aby se vybraly stránky s určitou kulturně obsahovou hodnotou. Získávání dokumentů je navíc ještě podmíněno legislativně, zejména zákonnými úpravami [[Povinný výtisk|povinného výtisku]].<ref name="OW">Webarchiv: památník českého internetu [online]. Praha, 2000 [cit. 2017-01-14]. Dostupné z: http://webarchiv.cz/cs</ref> |
| − | Používány jsou tři typy archivace: | + | Používány jsou tři typy archivace: celoplošná, výběrová a tematická sklizeň. |
===Celoplošná sklizeň=== | ===Celoplošná sklizeň=== | ||
| Řádek 15: | Řádek 16: | ||
===Tematická sklizeň=== | ===Tematická sklizeň=== | ||
| − | Zabývá se tématy jež mají | + | Zabývá se tématy, jež mají větší ohlas v české společnosti; například české volby, ale také třeba povodně v roce 2002 či útok na redakci Charlie Hebdo. |
| − | |||
==Kritéria výběru== | ==Kritéria výběru== | ||
Pro celoplošné sklizně se používá seznam stránek s českou doménou - '''.cz''' a jsou spravovány sdružením CZ.NIC. | Pro celoplošné sklizně se používá seznam stránek s českou doménou - '''.cz''' a jsou spravovány sdružením CZ.NIC. | ||
| − | Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje. | + | Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii, tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje.<ref name="OW" /> |
| + | |||
==Zpřístupnění== | ==Zpřístupnění== | ||
| − | Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně | + | Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně mohou objevit na webových stránkách Webarchivu.<ref name="OW" /> |
==Legislativa== | ==Legislativa== | ||
| − | Legislativa je vymezena zákonem č. 121/2000 Sb. Naneštětí zákon | + | Legislativa je vymezena [https://portal.gov.cz/app/zakony/zakonPar.jsp?idBiblio=49278&nr=121~2F2000&rpp=15#local-content zákonem č. 121/2000 Sb]. Naneštětí zákon dovoluje rozmnoženiny díla pouze k archivaci, ne však k volnému zpřístupnění. Toho lze dosáhnout jedině se souhlasem vydavatele stránek.<ref name="OW" /> |
==Nástroje Webarchivu== | ==Nástroje Webarchivu== | ||
| − | '''Heritrix''' je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu. | + | '''Heritrix''' je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu.<br /> |
| − | '''DeDuplicator'''vytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím | + | |
| − | '''WARC''' je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem. | + | '''DeDuplicator'''vytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím zamezuje duplicitě dat.<br /> |
| − | '''Wayback'''je aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům. | + | |
| − | '''NutchWAX''' Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů. | + | '''WARC''' je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem.<br /> |
| + | |||
| + | '''Wayback'''je aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům.<br /> | ||
| + | |||
| + | '''NutchWAX''' Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů.<ref name="PW" /> | ||
| + | ==Další vývoj== | ||
| + | Problematika archivace a ochrany webových dat je stále otevřenou oblastí. Některé problémy jsou známy od začátku a některé se objevují později. Jednou z částí problému jsou [[metadata]], tedy data o stažených datech. Metada umožňují uložení a utřídění zaznamenýnch dat ze sklizní. Neexistuje žádný univerzální metadatový formát. Státy, které se také snaží o archivaci vlastního webového kulturního bohatství, mají často svoje vlastní formáty. Takže případné porovnávání či rady jsou často protichůdné. Dalším problémem, který vznikl až s tímto projektem, je, že není žádný standard pro '''archivačně přívětivý web'''. U spousty stránek se vyskytnou problémy při stahování dat jenom kvůlu jejich naprogramování. Nejspíše se hlavním tvůrcem a koordinátorem takových standardů stane '''IIPC''' (International Internet Preservation Consortium). Dalším problémem je tzv. '''Migrace''', tedy převedení zastaralého formátu do nového. Musí se rozhodnout, kdy je formát zastaralý, tedy kdy ho vyměnit, a také na jaký formát ho převést, protože vývoj jde stále rychleji a rychleji dopředu, takže dnes moderní formáty a technologie budou během několika málo let nepoužitelné. Webarchiv se jako projekt NKČR snaží spolupracovat se státy, kde už s archivací webu také pracují. Tato problematika s postupujícími roky nabývá na důležitosti a rozhodně by se neměla podceňovat.<ref>Kratochvílová, Zuzana. Dlouhodobá ochrana a zpřístupnění dat z webových archivů : WebArchiv Národní knihovny České republiky. Knihovna [online]. 2012, roč. 23, č. 2, s. 35-47 [cit. 2017-01-27]. Dostupný z WWW: <http://knihovna.nkp.cz/knihovna122/kratochv.htm>. ISSN 1801-3252.</ref> | ||
==Odkazy== | ==Odkazy== | ||
===Reference=== | ===Reference=== | ||
| − | + | <references/> | |
| + | |||
===Externí odkazy=== | ===Externí odkazy=== | ||
| − | + | [http://webarchiv.cz/cs Webarchiv] | |
| + | |||
===Související články=== | ===Související články=== | ||
| + | * [[Digitalizace]] | ||
| + | * [[Internet]] | ||
| + | * [[Open source]] | ||
| + | * [[Archiv]] | ||
| + | * [[Národní knihovna ČR]] | ||
| + | * [[Digitální knihovna]] | ||
| + | |||
===Klíčová slova=== | ===Klíčová slova=== | ||
Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument, | Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument, | ||
| + | |||
| + | [[Kategorie:Informační studia a knihovnictví]] | ||
| + | [[Kategorie:Informační zdroje, podpora, kanály]] | ||
| + | [[Kategorie:Články k ověření učitelem Marek]] | ||
Aktuální verze z 31. 3. 2017, 14:45
Webarchiv je projekt Národní knihovny, který uchovává české dokumenty a bohemika vydané na internetu. Řeší způsob, jak takový sběr ukustečnit, třídit, uchovat a pak také zpřístupnit a to dlouhodobě.
Obsah
Historie
Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se však sklizeň nedokončila. Pro nestálé zpomalování a jiné problémy byl NEDLIB v roce 2004 nahrazen Heritrixem. S tímto systémem se dodnes každý rok pořádá celoplošná sklizen. Stále se přitom vylepšuje systém i výsledky.[1]
Metody
Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu. Kritéria jsou samozřejmě pečlivě zvolena, aby se vybraly stránky s určitou kulturně obsahovou hodnotou. Získávání dokumentů je navíc ještě podmíněno legislativně, zejména zákonnými úpravami povinného výtisku.[2] Používány jsou tři typy archivace: celoplošná, výběrová a tematická sklizeň.
Celoplošná sklizeň
Snaží se pokrýt celý "český"(s doménou : .cz) web v daném čase. Provádí se jednou za rok.
Výběrová sklizeň
Úložného místa není neomezeně, a tak je budována kolekce hodnotných(historicky, kulturně, atp.) zdrojů s cílem vytvořit vzorek českého kulturního dědictví, jež vzniklo elektronicky.
Tematická sklizeň
Zabývá se tématy, jež mají větší ohlas v české společnosti; například české volby, ale také třeba povodně v roce 2002 či útok na redakci Charlie Hebdo.
Kritéria výběru
Pro celoplošné sklizně se používá seznam stránek s českou doménou - .cz a jsou spravovány sdružením CZ.NIC.
Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii, tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje.[2]
Zpřístupnění
Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně mohou objevit na webových stránkách Webarchivu.[2]
Legislativa
Legislativa je vymezena zákonem č. 121/2000 Sb. Naneštětí zákon dovoluje rozmnoženiny díla pouze k archivaci, ne však k volnému zpřístupnění. Toho lze dosáhnout jedině se souhlasem vydavatele stránek.[2]
Nástroje Webarchivu
Heritrix je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu.
DeDuplicatorvytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím zamezuje duplicitě dat.
WARC je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem.
Waybackje aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům.
NutchWAX Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů.[1]
Další vývoj
Problematika archivace a ochrany webových dat je stále otevřenou oblastí. Některé problémy jsou známy od začátku a některé se objevují později. Jednou z částí problému jsou metadata, tedy data o stažených datech. Metada umožňují uložení a utřídění zaznamenýnch dat ze sklizní. Neexistuje žádný univerzální metadatový formát. Státy, které se také snaží o archivaci vlastního webového kulturního bohatství, mají často svoje vlastní formáty. Takže případné porovnávání či rady jsou často protichůdné. Dalším problémem, který vznikl až s tímto projektem, je, že není žádný standard pro archivačně přívětivý web. U spousty stránek se vyskytnou problémy při stahování dat jenom kvůlu jejich naprogramování. Nejspíše se hlavním tvůrcem a koordinátorem takových standardů stane IIPC (International Internet Preservation Consortium). Dalším problémem je tzv. Migrace, tedy převedení zastaralého formátu do nového. Musí se rozhodnout, kdy je formát zastaralý, tedy kdy ho vyměnit, a také na jaký formát ho převést, protože vývoj jde stále rychleji a rychleji dopředu, takže dnes moderní formáty a technologie budou během několika málo let nepoužitelné. Webarchiv se jako projekt NKČR snaží spolupracovat se státy, kde už s archivací webu také pracují. Tato problematika s postupujícími roky nabývá na důležitosti a rozhodně by se neměla podceňovat.[3]
Odkazy
Reference
- ↑ 1,0 1,1 A. Brokeš. Projekt Webarchiv - archiv českého webu. Zpravodaj ÚVT MU. ISSN 1212-0901, 2008, roč. XVIII, č. 4, s. 10-13.
- ↑ 2,0 2,1 2,2 2,3 Webarchiv: památník českého internetu [online]. Praha, 2000 [cit. 2017-01-14]. Dostupné z: http://webarchiv.cz/cs
- ↑ Kratochvílová, Zuzana. Dlouhodobá ochrana a zpřístupnění dat z webových archivů : WebArchiv Národní knihovny České republiky. Knihovna [online]. 2012, roč. 23, č. 2, s. 35-47 [cit. 2017-01-27]. Dostupný z WWW: <http://knihovna.nkp.cz/knihovna122/kratochv.htm>. ISSN 1801-3252.
Externí odkazy
Související články
Klíčová slova
Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument,
Text je dostupný pod licencí Creative Commons Uveďte autora 3.0 Česko při dodržení případných autorských práv a dalších podmínek
© 2013 ISSN: 2336-5897
