Logide parsimise koodinäidiseid ja nippe kuidas käsureal paremini hakkama saada
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
Lauri Võsandi 6b9db62031 Veel näidiseid 2 years ago
..
README.md Veel näidiseid 2 years ago
filter2 Veel näidiseid 2 years ago
filter3 filter3 näidis kasutades dialog programmi 2 years ago
top2 Lisatud bin kaust näidistega 2 years ago
top3 Veel näidiseid 2 years ago
top4 Lisatud bin kaust näidistega 2 years ago
top5 Lisatud bin kaust näidistega 2 years ago

README.md

Skriptide kasutamine

Allolevates näidetes on programmid käivitatud nii et kaust milles skript paikneb on lisatud PATH keskkonnamuutujasse:

PATH=/tee/kaustani/logide-parsimine/bin:$PATH

Näiteks kodukataloogis bin kausta puhul:

PATH=~/bin:$PATH

Skripti käisitsi alla laadimisel ja kausta paigutamisel tuleb anda ka käivitamise õigsed, näiteks:

chmod +x ~/bin/top2

Selleks et PATH muutujasse automaatselt näiteks ~/bin kaust lisataks võib ~/.bashrc faili lisada PATH=~/bin/:$PATH.

top2

Bashis kirjutatud skript mis parsib standardsisendist ning kuvab tulemused standardväljundisse

Käivitamiseks:

(cat access.log; zcat access.log.1.gz) | top2

top3

Pythoni skript mis loeb standardsisendist Apache logikirjed sisse ning genereerib neist värvitud maailmakaardi SVG faili top.svg.

Skripti sõltuvuste paigaldamiseks:

apt install python-geoip python-numpy geoip-database # Ubuntu, Debian
dnf install python2-GeoIP # Fedora

Käivitamiseks:

cat access.log | top3 tee/failini/BlankMap-World6.svg

top4

Pythonis kirjutatud skript mis leiab enim külastatud URL-id.

Käivitamiseks:

cat access.log  | top4 | head

top5

Leiab top 5 enim külastatud URL-i, päringuid teinud IP aadressi ning enim kasutatud veebilehitsejat.

Käivitamiseks, nii et veateated kirjutatakse errors faili

cat access.log  | top4 2>errors

filter2

Python programm kaustast Apache logisid otsimiseks ning nende seest alguse kuupäeva/kellaaja ning ajavahemiku järgi logikirjete otsimiseks.

Käsk võtab kolm argumenti:

  • tee logide kaustani
  • otsitava ajavahemiku alguse kuupäev/kellaaeg, kujul “YYYY-MM-DD HH:MM:SS”
  • ajavahemik minutites

Käivitamiseks:

filter2 /tee/logide/kaustani "2015-12-12 18:25:10" 10

Käsurea analoog teatavate mööndustega on järgnev:

grep -E '12/Dec/2015:18:(2[5-9]|3[0-5])' -r /tee/logide/kaustani

Pythoni variandi põhilised erisused:

  • Jooksvalt pakib lahti .gz lõpulised failid
  • Jätab vahele failid mille sees otsitavat ajavahemikku kindlasti ei ole

filter3

Küsib pseudograafilise kasutajaliidese abil kuupäeva ja minutite vahemikku ning paneb sama filter2 programmi käima

Sõltuvuste paigaldamiseks

apt install dialog

Käivitamiseks:

filter3 /var/log