Restructure crawlers

[tweska]

I wrote a decorator to automatically register crawler functions and slightly simplified the crawler code and data structure. I believe this will make adding new crawlers to Argostimè easier for potential new contributors.

This pull request will also close #7 since you can disable shops using the configuration file.

I am currently writing documentation on how to write a new crawler for this version of Argostimè, then we can tick off #32 as well.

[m-rtijn]

Ziet er goed uit, heb het zelf nog niet gedraaid maar als het bij jou werkt zal het wel prima zijn. Wat me wel een beetje onduidelijk is, is wanneer enabled_shops nou daadwerkelijk gevuld wordt - gewoon eenmalig op startup neem ik aan? Kan niet zo goed een duidelijke call vinden die dat doet

[tweska]

Ziet er goed uit, heb het zelf nog niet gedraaid maar als het bij jou werkt zal het wel prima zijn.

Famous last words...

Wat me wel een beetje onduidelijk is, is wanneer enabled_shops nou daadwerkelijk gevuld wordt - gewoon eenmalig op startup neem ik aan? Kan niet zo goed een duidelijke call vinden die dat doet

Ja, eenmalig op startup. Iets precieser als je deze import doet:

from argostime.crawler.shop import *

dan import je __all__ wat gedefineerd is in argostime.crawler.shop.__init__.py. En als je deze import doet worden de decorators @register_crawler(name: str, host: str) aangeroepen. Die decorator is in argostime.crawler.crawl_utils.py gedefineerd en maakt de entry in enabled_shops aan (tenzij de shop disabled is).

[m-rtijn]

I have added one minor nitpick. I think it's OK for merge except for one issue: the logger does not seem to work at all on this branch in my testing environment; which is rather odd since you didn't seem to change anything regarding the logger. Is it working for you @tweska?