V spolupráci so SOIT sme nadviazali na Open Scraper Challenge 2011 (http://www.soit.sk/sk/odborne-sekcie/gov/2011-10-26/149-report-z-open-scraper-challenge-2011) a pokračujeme vo vývoji nových scraperov ako aj v udržiavaní starších, existujúcich. Cieľom je odstraňovať mreže uväzneným dátam a poukázať na to, že zverejňovať údaje bez možnosti si ich stiahnuť je kontraproduktívne.

Kto má záujem pomôcť oslobodiť zatiaľ ťažko dostupné údaje, preňho sú určené časti "Scrapre ktoré ešte chceme sprevádzkovať" a "Čo môžem robiť hneď?". Kto by rád prispel aspoň drobnými úpravami ale pre tých, čo hľadajú už oslobodené údaje, pre tých je sekcia "Existujúce scrapre":

Open Scraper Challenge 2017: október 2017, http://ossvikend.sk/osc2017.html

Možno spojiť s účasťou na Hacktoberfest.

Pripomienky čí návrhy možno posielať či už cez túto Wiki, GitHub alebo mailom na scrapers@soit.sk .

Existujúce scrapre

Vrámci Open Scraper Challenge koncentrujeme všetky sprevádzkované alebo rozpracované scrapre na Morph.io, pod hlavičkou SOIT:

https://morph.io/soit-sk

Podrobnejšie informácie sú potom vedené v tejto Wiki stránke a jej podstránkach.

Kto hľadáte údaje, nájdete ich na Morph.io na stránke konkrétneho scrapera v časti "Data". Údaje si tam možno priamo prezerať alebo stiahnuť (ako súbor CSV alebo SQLite databázu).

Kto by rád pomohol s údržbou alebo vylepšeniami, je vhodné priebežne sledovať stav scrapra a zistené problémy hlásiť (napr. v Issue trackeri daného scrapra na GitHub-e). Kto má potom čas a znalosti, uvítame pomoc s opravami nahlásených problémov. Opravy potom možno poslať cez pull request alebo ako praobyčajný patch.

Vysvetlivky:

pri poslednej review fungoval
sú tam nejaké menšie veci na opravu či vylepšenie
nefunguje

Scrapre ktoré ešte chceme sprevádzkovať

Kto má záujem pomôcť oslobodiť zatiaľ ťažko dostupné údaje, môže námety čerpať v tejto sekcii:

Informácie s Challange

Open Scraper Challenge organizujeme, aby sa scrapovanie robilo ľahšie a veselšie. Tu nájdete odkazy na poznámky z jednotlivých challenge:

^{Foto: By Ryan G. Wilber, U.S. Navy [Public domain], via Wikimedia Commons}

Čo môžem robiť hneď?

Tí, čo vedia programovať sa môžu vrámci Scraper Challange 2017 (ale aj po nej) zahryznúť napr. do implementovania niektorých nových scraprov či funkcií, alebo do opravy chýb, viď:

https://public.etherpad-mozilla.org/p/osc2017

Space shortcuts

Child pages

Existujúce scrapre

Scrapre ktoré ešte chceme sprevádzkovať

Informácie s Challange

Čo môžem robiť hneď?

1 Comment

Hanečák Peter