Webarchiv: Porovnání verzí

 
(Není zobrazeno 24 mezilehlých verzí od 2 dalších uživatelů.)
Řádek 1: Řádek 1:
Webarchiv je projekt [[Národní knihovna ČR|Národní knihovny]], který uchovává české dokumenty a bohemika vydaná po internetu. Řeší jak takový sběr ukustečnit, třídit, uchovat a pak také zpřístupnit a to dlouhodobě.
+
'''Webarchiv''' je projekt [[Národní knihovna ČR|Národní knihovny]], který uchovává české dokumenty a bohemika vydané na internetu. Řeší způsob, jak takový sběr ukustečnit, třídit, uchovat a pak také zpřístupnit a to dlouhodobě.
  
 
==Historie==
 
==Historie==
Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se sklizeň nedokončila. Pro stálé zpomalování a problémy byl NEDLIB v roce 2004 nahrazen Heritrixem. S tímto systémem se dodnes každý rok pořádá celoplošná sklizen. Stále se přitom vylepšuje systém i výsledky.
+
Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se však sklizeň nedokončila. Pro nestálé zpomalování a jiné  problémy byl NEDLIB v roce 2004 nahrazen Heritrixem. S tímto systémem se dodnes každý rok pořádá celoplošná sklizen. Stále se přitom vylepšuje systém i výsledky.<ref name="PW">A. Brokeš. Projekt Webarchiv - archiv českého webu. Zpravodaj ÚVT MU. ISSN 1212-0901, 2008, roč. XVIII, č. 4, s. 10-13.</ref>
 +
 
 
==Metody==
 
==Metody==
Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu.Kritéria jsou samozřejmě pečlivě vybírána aby se vybraly stránky nějakou kulturně obsahovou hodnotou.Získávání dokumentů je navíc ještě podmíněno legislativou, zejména zákonné úpravy [[Povinný výtisk|povinného výtisku]].
+
Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu. Kritéria jsou samozřejmě pečlivě zvolena, aby se vybraly stránky s určitou kulturně obsahovou hodnotou. Získávání dokumentů je navíc ještě podmíněno legislativně, zejména zákonnými úpravami [[Povinný výtisk|povinného výtisku]].<ref name="OW">Webarchiv: památník českého internetu [online]. Praha, 2000 [cit. 2017-01-14]. Dostupné z: http://webarchiv.cz/cs</ref>
Používány jsou tři typy archivace: Celoplošná, Výběrová a Tematická sklizeň.
+
Používány jsou tři typy archivace: celoplošná, výběrová a tematická sklizeň.
  
 
===Celoplošná sklizeň===
 
===Celoplošná sklizeň===
Řádek 15: Řádek 16:
 
===Tematická sklizeň===
 
===Tematická sklizeň===
  
Zabývá se tématy jež mají vetší ohlas v české společnosti například české volby, ale také například Povodně v roce 2002 či útok na redakci Charlie Hebdo.
+
Zabývá se tématy, jež mají větší ohlas v české společnosti; například české volby, ale také třeba povodně v roce 2002 či útok na redakci Charlie Hebdo.
  
[[Kategorie: Informační studia a knihovnictví]] [[Kategorie:Hesla ke zpracování UISK]]
 
 
==Kritéria výběru==
 
==Kritéria výběru==
 
Pro celoplošné sklizně se používá seznam stránek s českou doménou - '''.cz''' a jsou spravovány sdružením CZ.NIC.
 
Pro celoplošné sklizně se používá seznam stránek s českou doménou - '''.cz''' a jsou spravovány sdružením CZ.NIC.
  
Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje.
+
Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii, tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje.<ref name="OW" />
 +
 
 
==Zpřístupnění==
 
==Zpřístupnění==
Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně ukázat na webových stránkách Webarchivu.
+
Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně mohou objevit na webových stránkách Webarchivu.<ref name="OW" />
  
 
==Legislativa==
 
==Legislativa==
Legislativa je vymezena zákonem č. 121/2000 Sb. Naneštětí zákon dovolujet rozmnoženiny díla pouze k archivaci a ne k volnému zpřístupnění. Toho lze dosáhnout jedině se souhlasem vydavatele stránek.
+
Legislativa je vymezena [https://portal.gov.cz/app/zakony/zakonPar.jsp?idBiblio=49278&nr=121~2F2000&rpp=15#local-content zákonem č. 121/2000 Sb]. Naneštětí zákon dovoluje rozmnoženiny díla pouze k archivaci, ne však k volnému zpřístupnění. Toho lze dosáhnout jedině se souhlasem vydavatele stránek.<ref name="OW" />
  
 
==Nástroje Webarchivu==
 
==Nástroje Webarchivu==
 
'''Heritrix''' je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu.<br />
 
'''Heritrix''' je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu.<br />
  
'''DeDuplicator'''vytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím umožňuje zamezení duplicitě dat.<br />
+
'''DeDuplicator'''vytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím zamezuje duplicitě dat.<br />
  
 
'''WARC''' je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem.<br />
 
'''WARC''' je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem.<br />
Řádek 37: Řádek 38:
 
'''Wayback'''je aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům.<br />
 
'''Wayback'''je aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům.<br />
  
'''NutchWAX''' Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů.
+
'''NutchWAX''' Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů.<ref name="PW" />
 +
 
 +
==Další vývoj==
 +
Problematika archivace a ochrany webových dat je stále otevřenou oblastí. Některé problémy jsou známy od začátku a některé se objevují později. Jednou z částí problému jsou [[metadata]], tedy data o stažených datech. Metada umožňují uložení a utřídění zaznamenýnch dat ze sklizní. Neexistuje žádný univerzální metadatový formát. Státy, které se také snaží o archivaci vlastního webového kulturního bohatství, mají často svoje vlastní formáty. Takže případné porovnávání či rady jsou často protichůdné. Dalším problémem, který vznikl až s tímto projektem, je, že není žádný standard pro '''archivačně přívětivý web'''. U spousty stránek se vyskytnou problémy při stahování dat jenom kvůlu jejich naprogramování. Nejspíše se hlavním tvůrcem a koordinátorem takových standardů stane '''IIPC''' (International Internet Preservation Consortium). Dalším problémem je tzv. '''Migrace''', tedy převedení zastaralého formátu do nového. Musí se rozhodnout, kdy je formát zastaralý, tedy kdy ho vyměnit, a také na jaký formát ho převést, protože vývoj jde stále rychleji a rychleji dopředu, takže dnes moderní formáty a technologie budou během několika málo let nepoužitelné. Webarchiv se jako projekt NKČR snaží spolupracovat se státy, kde už s archivací webu také pracují. Tato problematika s postupujícími roky nabývá na důležitosti a rozhodně by se neměla podceňovat.<ref>Kratochvílová, Zuzana. Dlouhodobá ochrana a zpřístupnění dat z webových archivů : WebArchiv Národní knihovny České republiky. Knihovna [online]. 2012, roč. 23, č. 2, s. 35-47 [cit. 2017-01-27]. Dostupný z WWW: <http://knihovna.nkp.cz/knihovna122/kratochv.htm>. ISSN 1801-3252.</ref>
  
 
==Odkazy==
 
==Odkazy==
 
===Reference===
 
===Reference===
===Použitá literatura===
+
<references/>
 +
 
 
===Externí odkazy===
 
===Externí odkazy===
Stránky webarchivu - http://www.webarchiv.cz/cs
+
[http://webarchiv.cz/cs Webarchiv]
 +
 
 
===Související články===
 
===Související články===
 +
* [[Digitalizace]]
 +
* [[Internet]]
 +
* [[Open source]]
 +
* [[Archiv]]
 +
* [[Národní knihovna ČR]]
 +
* [[Digitální knihovna]]
 +
 
===Klíčová slova===
 
===Klíčová slova===
 
Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument,
 
Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument,
 +
 +
[[Kategorie:Informační studia a knihovnictví]]
 +
[[Kategorie:Informační zdroje, podpora, kanály]]
 +
[[Kategorie:Články k ověření učitelem Marek]]

Aktuální verze z 31. 3. 2017, 14:45

Webarchiv je projekt Národní knihovny, který uchovává české dokumenty a bohemika vydané na internetu. Řeší způsob, jak takový sběr ukustečnit, třídit, uchovat a pak také zpřístupnit a to dlouhodobě.

Historie

Projekt Webarchivu vznikl v roce 2000. Podílí se na něm Moravská zemská knihovna v Brně a Ústav výpočetní techniky Masarykovy univerzity v Brně. Programovou část má na starosti tým studentů Fakulty informatiky. V roce 2001 se uskutečnil první pokus o celo plošnou sklizeň nástrojem NEDLIB Harvester. Kvůli technickým potížím se však sklizeň nedokončila. Pro nestálé zpomalování a jiné problémy byl NEDLIB v roce 2004 nahrazen Heritrixem. S tímto systémem se dodnes každý rok pořádá celoplošná sklizen. Stále se přitom vylepšuje systém i výsledky.[1]

Metody

Získávání dat je převážně automatické. Přes speciální software se zadanými kritérii se data stahují, indexují a pote ukládají do digitálního archivu. Kritéria jsou samozřejmě pečlivě zvolena, aby se vybraly stránky s určitou kulturně obsahovou hodnotou. Získávání dokumentů je navíc ještě podmíněno legislativně, zejména zákonnými úpravami povinného výtisku.[2] Používány jsou tři typy archivace: celoplošná, výběrová a tematická sklizeň.

Celoplošná sklizeň

Snaží se pokrýt celý "český"(s doménou : .cz) web v daném čase. Provádí se jednou za rok.

Výběrová sklizeň

Úložného místa není neomezeně, a tak je budována kolekce hodnotných(historicky, kulturně, atp.) zdrojů s cílem vytvořit vzorek českého kulturního dědictví, jež vzniklo elektronicky.

Tematická sklizeň

Zabývá se tématy, jež mají větší ohlas v české společnosti; například české volby, ale také třeba povodně v roce 2002 či útok na redakci Charlie Hebdo.

Kritéria výběru

Pro celoplošné sklizně se používá seznam stránek s českou doménou - .cz a jsou spravovány sdružením CZ.NIC.

Pro výběrové sbírky se používá pravidlo výběru dokumentů registrovaných v národní bibliografii, tedy dle území, jazyka, autorství a předmětu/obsahu díla. Ukládají se především kulturně obohacující zdroje.[2]

Zpřístupnění

Kompletní data z Webarchivu jsou zpřístupňována pouze v terminálech Národní knihovny ČR. Pomocí nástroje Wazback Machine se určité výběrové sklizně mohou objevit na webových stránkách Webarchivu.[2]

Legislativa

Legislativa je vymezena zákonem č. 121/2000 Sb. Naneštětí zákon dovoluje rozmnoženiny díla pouze k archivaci, ne však k volnému zpřístupnění. Toho lze dosáhnout jedině se souhlasem vydavatele stránek.[2]

Nástroje Webarchivu

Heritrix je open-source sklízecí robot. Vyvíjen je společnosti Internet Archive. Je páteřním programem pro chod Webarchivu.

DeDuplicatorvytváří indexy sklizených dat. Porovnává indexy jak dat sklizených, tak dat teprve na sklizení čekajících. Tím zamezuje duplicitě dat.

WARC je formát pro sklizená data. Dříve se používal ARC, ale ten nevyhovoval požadavkům knihovnického personálu a nevyužíval všech možností Heritrixu. WARC je jeho nástupcem.

Waybackje aplikace vyvíjená společností Internet Archive pro zpřistupnění dat koncovým uživatelům.

NutchWAX Další systém pro indexování sklizených dat. Ve Webarchivu se používá k indexování smluvních zdrojů.[1]

Další vývoj

Problematika archivace a ochrany webových dat je stále otevřenou oblastí. Některé problémy jsou známy od začátku a některé se objevují později. Jednou z částí problému jsou metadata, tedy data o stažených datech. Metada umožňují uložení a utřídění zaznamenýnch dat ze sklizní. Neexistuje žádný univerzální metadatový formát. Státy, které se také snaží o archivaci vlastního webového kulturního bohatství, mají často svoje vlastní formáty. Takže případné porovnávání či rady jsou často protichůdné. Dalším problémem, který vznikl až s tímto projektem, je, že není žádný standard pro archivačně přívětivý web. U spousty stránek se vyskytnou problémy při stahování dat jenom kvůlu jejich naprogramování. Nejspíše se hlavním tvůrcem a koordinátorem takových standardů stane IIPC (International Internet Preservation Consortium). Dalším problémem je tzv. Migrace, tedy převedení zastaralého formátu do nového. Musí se rozhodnout, kdy je formát zastaralý, tedy kdy ho vyměnit, a také na jaký formát ho převést, protože vývoj jde stále rychleji a rychleji dopředu, takže dnes moderní formáty a technologie budou během několika málo let nepoužitelné. Webarchiv se jako projekt NKČR snaží spolupracovat se státy, kde už s archivací webu také pracují. Tato problematika s postupujícími roky nabývá na důležitosti a rozhodně by se neměla podceňovat.[3]

Odkazy

Reference

  1. 1,0 1,1 A. Brokeš. Projekt Webarchiv - archiv českého webu. Zpravodaj ÚVT MU. ISSN 1212-0901, 2008, roč. XVIII, č. 4, s. 10-13.
  2. 2,0 2,1 2,2 2,3 Webarchiv: památník českého internetu [online]. Praha, 2000 [cit. 2017-01-14]. Dostupné z: http://webarchiv.cz/cs
  3. Kratochvílová, Zuzana. Dlouhodobá ochrana a zpřístupnění dat z webových archivů : WebArchiv Národní knihovny České republiky. Knihovna [online]. 2012, roč. 23, č. 2, s. 35-47 [cit. 2017-01-27]. Dostupný z WWW: <http://knihovna.nkp.cz/knihovna122/kratochv.htm>. ISSN 1801-3252.

Externí odkazy

Webarchiv

Související články

Klíčová slova

Webarchiv, internetová bohemika, sběr dat, uchování dokumentů, dokument,