Lisa 1: Kasutatud programmi lühike dokumentatsioon

Üldine

Uurimuse läbiviimiseks loodud programm on avalikult veebist kättesaadav: batchval.tar.gz

Programm valideerib W3C validaatorit kasutades talle ette antud veebilehed ning salvestab statistika nii failide, validaatori veateadete kui programmi töö käigus tekkinud vigade kohta.

Terviklik programm koosneb ühest peaprogrammist ja kahest alamprogrammist. Peaprogramm on kirjutatud Python’is ning alamprogrammid Perl’is. Peaprogramm on teostatud Python’is, sest see keel võimaldab internetist faile alla laadida ja teisi programme käivitada ning nende antavaid veateateid registreerida – saavutades seda kõike väga vähese koodihulgaga. Alamprogrammid tegelevad allalaetud failidest mustrite otsimisega ning on seetõttu teostatud Perl’is – keeles, mis on kuulus oma mitmekülgsete regulaaravaldiste poolest.

Nõudmised süsteemile

• Python (testitud versiooniga 2.3.3),
• Perl (testitud versiooniga 5.8.3),
• Linux või mõni muu UNIX-i laadne süsteem (testitud SuSE ja Gentoo Linux peal).

Sisend ja väljund

Programmi sisendiks on fail aadressidega, kus aadressid on eraldatud reavahetustega ning ei sisalda protokolli tunnust, s.t. mitte http://www.domeen.ee vaid www.domeen.ee. Vaikimisi eeldatakse, et kõik aadressid kasutavad HTTP protokolli. (Vaikimisi on selleks failiks „servers.list“.)

Programmi väljundiks on kolm faili:

• veateadete fail, kuhu salvestatakse kõik programmi töö käigus tekkinud probleemid (vaikimisi „err.log“),
• lehekülje statistika fail, kuhu salvestatakse info lehelt leitud HTML-i kohta tabelina eraldades väljad komadega (vaikimisi „sitestat.csv“), genereeritud alamprogrammi „checkpage.pl“ poolt,
• validaatori statistika fail, kuhu salvestatakse info selle kohta kas leht valideerus või ei valideerunud ning statistika erinevate veateadete arvu kohta tabelina eraldades välad komadega (vaikimisi „results.csv“), genereeritud alamprogrammi „validate.pl“ poolt .

Kasutamine

Programmiga töö alustamiseks tuleks luua uus kataloog ning sinna sisse programm arhiivist lahti pakkida:

$ tar xvfz bachval.tar.gz

Kui Perl ja Python ei asu kataloogis /usr/bin, siis tuleks modifitseerida failide „batchval.py“, „validate.pl“ ja „checkpage.pl“ esimesi ridu, näiteks asendada rida

#!/usr/bin/python

reaga

#!/usr/local/bin/python

Lihtsaimal juhul toimub programmi kasutamine järgmiselt (oluline on olla programmi kataloogis):

$ ./batchval.py --prepare

Programm võtab sellisel juhul oma sisendi vaikimisi kasutatavast failist ning kirjutab väljundid samuti vaikimisi märgitud failidesse. Parameeter „--prepare“ (lühendatult „-p“) käsib väljundiks kasutatavad failid eelnevalt tühjendada/luua ning paigutab nendesse ühtlasi komadega eraldatud tabeli tulpade pealkirjad. Kui sooviks on näiteks poolelijäänud programmi tööd jätkata nii, et väljundifaile ei tühjendataks ja lihtsalt jätkataks nendesse ridade lisamist, siis tuleb „--prepare“ parameeter ära jätta.

Soovi korral võib nii sisend kui väljundfailide nimed programmile eraldi ette määrata:

$ ./batchval.py --input <sisendfail>  
                --error <veateadete fail>
                --check <HTML-i statistika fail>
                --validation <validaatori statistika fail>

Vaikimisi salvestab programm allalaetud leheküljed ajutiselt faili „check.html“, sedagi faili võib ette määrata kasutades parameetrit --download <failinimi>.

Kasutades parameetrit --debug katkestab programm töö alati kui kohtab mõnda programmi jaoks tundmatut W3C validaatori veateadet. See parameeter on kasulik täiendamaks veateatemustrite loetelu, mida sisaldab fail „validate.pl“.

Abi erinevate parameetrite kohta on alati kättesaadav käsurealt, kirjutades:

$ ./batchval.py –-help

Veateated

Olulist rolli selle programmi juures mängivad veateated, mis kannavad mitmesugust olulist infot ning ei tähenda reeglina viga programmis endas vaid pigem probleeme valideerimiseks määratud lehekülgedega. Mugavamaks analüüsiks salvestatakse kõik veateated vaikimisi faili „err.log“.

Järgnevad veateated on kõige tavalisemad ning tähistavad probleeme valideeritava lehekülje või seda vahendava serveriga:

Page redirected

lehekülje koodis oli ümbersuunamist tähistav <meta> element.

URL unreachable

nimetatud aadressilt ei õnnestunud dokumenti alla laadida.

Not an HTML-document

lehekülje koodis ei leitud ühtegi üldtuntud HTML-i elementi.

Page unavailable or access denied for W3C validator

W3C validaatoril ei õnnestunud leheküljele ligi pääseda.

Error downloading from W3C validator

ebaõnnestus valideerimise tulemuste allalaadimine.

W3C validaatori poolt antavad veateated:

Cannot continue because of previous errors

validaator katkestab lehekülje valideerimise eelnenud vigade tõttu.

This is not an SGML document

validaator ei tunnista antud faili SGML-iks (seega ei saa antud dokument olla ka ei HTML ega XHTML).

A Fatal Error occurred (with encoding or DTD)

hoolimata sellest, et validaatorile määrati eraldi kasutamiseks kodeering ISO-8859-1, polnud valideerimise teostamine võimalik.

Programmi enda puudustest tingitud veateated:

Unknown Error message recovered

W3C validaator andis veateate, mida programm ei tunne.

Error in script

tundmatu viga alamprogrammis „validate.pl“.

A Mystery Error

seni avastamata viga, mis registreeritakse failis „validate.pl“ real 676.