#!/usr/bin/env python2 # vim:fileencoding=utf-8 ## # 1st Version: 17. December 2011 ## # Version: 3.1 # Last update: 2016-01-13 ## __license__ = 'GPL v3' __copyright__ = '2011, Kovid Goyal , Armin Geller' ''' Fetch echo-online.de ''' from calibre.web.feeds.recipes import BasicNewsRecipe class Echo_Online(BasicNewsRecipe): title = u'Echo Online' # 2016-01-12 Update AGe description = '-Echo Online-' publisher = 'Echo Medien GmbH' category = 'News, Germany' __author__ = 'Armin Geller' language = 'de' lang = 'de-DE' encoding = 'utf-8' timefmt = ' [%a, %d %b %Y]' oldest_article = 1 max_articles_per_feed = 50 no_stylesheets = True # auto_cleanup = True remove_javascript = True remove_empty_feeds = True ignore_duplicate_articles = {'title', 'url'} feeds = [ (u'Politik', u'http://www.echo-online.de/politik/index.rss'), (u'- Thema des Tages', u'http://www.echo-online.de/politik/thema-des-tages/index.rss'), (u'- Hessen', u'http://www.echo-online.de/politik/hessen/index.rss'), (u'- Deutschland', u'http://www.echo-online.de/politik/deutschland/index.rss'), (u'- Ausland', u'http://www.echo-online.de/politik/ausland/index.rss'), (u'- Flüchtlinge', u'http://www.echo-online.de/politik/fluechtlinge/index.rss'), (u'Wirtschaft', u'http://www.echo-online.de/wirtschaft/index.rss'), (u'- Wirtschaft Südhessen', u'http://www.echo-online.de/wirtschaft/wirtschaft-suedhessen/index.rss'), (u'- Wirtschaft überregional', u'http://www.echo-online.de/wirtschaft/wirtschaft-ueberregional/index.rss'), (u'- Geld & Recht', u'http://www.echo-online.de/wirtschaft/geld-und-recht/index.rss'), (u'- Geldmarkt aktuell', u'http://www.echo-online.de/wirtschaft/geldmarkt-aktuell/index.rss'), (u'- Verbrauchertipps', u'http://www.echo-online.de/wirtschaft/verbrauchertipps/index.rss'), (u'Lokales', u'http://www.echo-online.de/lokales/index.rss'), (u'- Darmstadt', u'http://www.echo-online.de/lokales/darmstadt/index.rss'), (u'- Darmstadt-Dieburg', u'http://www.echo-online.de/lokales/darmstadt-dieburg/index.rss'), (u'-- Alsbach-Hähnlein', u'http://www.echo-online.de/lokales/darmstadt-dieburg/alsbach-haehnlein/index.rss'), (u'-- Babenhausen', u'http://www.echo-online.de/lokales/darmstadt-dieburg/babenhausen/index.rss'), (u'-- Bickenbach', u'http://www.echo-online.de/lokales/darmstadt-dieburg/bickenbach/index.rss'), (u'-- Dieburg', u'http://www.echo-online.de/lokales/darmstadt-dieburg/dieburg/index.rss'), (u'-- Eppertshausen / Münster', u'http://www.echo-online.de/lokales/darmstadt-dieburg/eppertshausen-muenster/index.rss'), (u'-- Griesheim', u'http://www.echo-online.de/lokales/darmstadt-dieburg/griesheim/index.rss'), (u'-- Groß-Bieberau / Fischbachtal', u'http://www.echo-online.de/lokales/darmstadt-dieburg/gross-bieberau-fischbachtal/index.rss'), (u'-- Groß-Umstadt / Otzberg', u'http://www.echo-online.de/lokales/darmstadt-dieburg/gross-umstadt-otzberg/index.rss'), (u'-- Groß-Zimmern', u'http://www.echo-online.de/lokales/darmstadt-dieburg/gross-zimmern/index.rss'), (u'-- Messel', u'http://www.echo-online.de/lokales/darmstadt-dieburg/messel/index.rss'), (u'-- Mühltal', u'http://www.echo-online.de/lokales/darmstadt-dieburg/muehltal/index.rss'), (u'-- Ober-Ramstadt / Modautal', u'http://www.echo-online.de/lokales/darmstadt-dieburg/ober-ramstadt-modautal/index.rss'), (u'-- Pfungstadt', u'http://www.echo-online.de/lokales/darmstadt-dieburg/pfungstadt/index.rss'), (u'-- Reinheim', u'http://www.echo-online.de/lokales/darmstadt-dieburg/reinheim/index.rss'), (u'-- Roßdorf', u'http://www.echo-online.de/lokales/darmstadt-dieburg/rossdorf/index.rss'), (u'-- Schaafheim', u'http://www.echo-online.de/lokales/darmstadt-dieburg/schaafheim/index.rss'), (u'-- Seeheim-Jugenheim', u'http://www.echo-online.de/lokales/darmstadt-dieburg/seeheim-jugenheim/index.rss'), (u'-- Weiterstadt / Erzhausen', u'http://www.echo-online.de/lokales/darmstadt-dieburg/weiterstadt-erzhausen/index.rss'), (u'- Bergstraße', u'http://www.echo-online.de/lokales/bergstrasse/index.rss'), (u'-- Kreis Bergstraße', u'http://www.echo-online.de/lokales/bergstrasse/kreis-bergstrasse/index.rss'), (u'-- Bensheim', u'http://www.echo-online.de/lokales/bergstrasse/bensheim/index.rss'), (u'-- Biblis', u'http://www.echo-online.de/lokales/bergstrasse/biblis/index.rss'), (u'-- Birkenau', u'http://www.echo-online.de/lokales/bergstrasse/birkenau/index.rss'), (u'-- Bürstadt', u'http://www.echo-online.de/lokales/bergstrasse/buerstadt/index.rss'), (u'-- Einhausen', u'http://www.echo-online.de/lokales/bergstrasse/einhausen/index.rss'), (u'-- Fürth', u'http://www.echo-online.de/lokales/bergstrasse/fuerth/index.rss'), (u'-- Grasellenbach', u'http://www.echo-online.de/lokales/bergstrasse/grasellenbach/index.rss'), (u'-- Groß-Rohrheim', u'http://www.echo-online.de/lokales/bergstrasse/gross-rohrheim/index.rss'), (u'-- Heppenheim', u'http://www.echo-online.de/lokales/bergstrasse/heppenheim/index.rss'), (u'-- Lautertal', u'http://www.echo-online.de/lokales/bergstrasse/lautertal/index.rss'), (u'-- Lindenfels', u'http://www.echo-online.de/lokales/bergstrasse/lindenfels/index.rss'), (u'-- Lorsch', u'http://www.echo-online.de/lokales/bergstrasse/lorsch/index.rss'), (u'-- Märlenbach', u'http://www.echo-online.de/lokales/bergstrasse/moerlenbach/index.rss'), (u'-- Rimbach', u'http://www.echo-online.de/lokales/bergstrasse/rimbach/index.rss'), (u'-- Wald-Michelbach', u'http://www.echo-online.de/lokales/bergstrasse/wald-michelbach/index.rss'), (u'-- Zwingenberg', u'http://www.echo-online.de/lokales/bergstrasse/zwingenberg/index.rss'), (u'- Kreis Groß-Gerau', u'http://www.echo-online.de/lokales/kreis-gross-gerau/index.rss'), (u'-- Kreis Groß-Gerau', u'http://www.echo-online.de/lokales/kreis-gross-gerau/kreis-gross-gerau/index.rss'), (u'-- Biebesheim', u'http://www.echo-online.de/lokales/kreis-gross-gerau/biebesheim/index.rss'), (u'-- Bischofsheim', u'http://www.echo-online.de/lokales/kreis-gross-gerau/bischofsheim/index.rss'), (u'-- Büttelborn', u'http://www.echo-online.de/lokales/kreis-gross-gerau/buettelborn/index.rss'), (u'-- Gernsheim', u'http://www.echo-online.de/lokales/kreis-gross-gerau/gernsheim/index.rss'), (u'-- Ginsheim-Gustavsburg', u'http://www.echo-online.de/lokales/kreis-gross-gerau/ginsheim-gustavsburg/index.rss'), (u'-- Groß-Gerau', u'http://www.echo-online.de/lokales/kreis-gross-gerau/gross-gerau/index.rss'), (u'-- Mörfelden-Walldorf', u'http://www.echo-online.de/lokales/kreis-gross-gerau/moerfelden-walldorf/index.rss'), (u'-- Nauheim', u'http://www.echo-online.de/lokales/kreis-gross-gerau/nauheim/index.rss'), (u'-- Raunheim', u'http://www.echo-online.de/lokales/kreis-gross-gerau/raunheim/index.rss'), (u'-- Riedstadt', u'http://www.echo-online.de/lokales/kreis-gross-gerau/riedstadt/index.rss'), (u'-- Rüsselsheim / Mainspitze', u'http://www.echo-online.de/lokales/kreis-gross-gerau/ruesselsheim/index.rss'), (u'-- Stockstadt', u'http://www.echo-online.de/lokales/kreis-gross-gerau/stockstadt/index.rss'), (u'-- Trebur', u'http://www.echo-online.de/lokales/kreis-gross-gerau/trebur/index.rss'), (u'- Odenwaldkreis', u'http://www.echo-online.de/lokales/odenwaldkreis/index.rss'), (u'-- Odenwaldkreis', u'http://www.echo-online.de/lokales/odenwaldkreis/odenwaldkreis/index.rss'), (u'-- Bad-König', u'http://www.echo-online.de/lokales/odenwaldkreis/bad-koenig/index.rss'), (u'-- Beerfelden', u'http://www.echo-online.de/lokales/odenwaldkreis/beerfelden/index.rss'), (u'-- Brensbach', u'http://www.echo-online.de/lokales/odenwaldkreis/brensbach/index.rss'), (u'-- Breuberg', u'http://www.echo-online.de/lokales/odenwaldkreis/breuberg/index.rss'), (u'-- Brombachtal', u'http://www.echo-online.de/lokales/odenwaldkreis/brombachtal/index.rss'), (u'-- Erbach', u'http://www.echo-online.de/lokales/odenwaldkreis/erbach/index.rss'), (u'-- Fränkisch-Crumbach', u'http://www.echo-online.de/lokales/odenwaldkreis/fraenkisch-crumbach/index.rss'), (u'-- Hesseneck', u'http://www.echo-online.de/lokales/odenwaldkreis/hesseneck/index.rss'), (u'-- Höchst im Odenwald', u'http://www.echo-online.de/lokales/odenwaldkreis/hoechst-im-odenwald/index.rss'), (u'-- Lützelbach', u'http://www.echo-online.de/lokales/odenwaldkreis/luetzelbach/index.rss'), (u'-- Michelstadt', u'http://www.echo-online.de/lokales/odenwaldkreis/michelstadt/index.rss'), (u'-- Mossautal', u'http://www.echo-online.de/lokales/odenwaldkreis/mossautal/index.rss'), (u'-- Reichelsheim', u'http://www.echo-online.de/lokales/odenwaldkreis/reichelsheim/index.rss'), (u'-- Rothenberg', u'http://www.echo-online.de/lokales/odenwaldkreis/rothenberg/index.rss'), (u'-- Sensbachtal', u'http://www.echo-online.de/lokales/odenwaldkreis/sensbachtal/index.rss'), (u'Rhein-Main', u'http://www.echo-online.de/lokales/rhein-main/index.rss'), (u'Rhein-Neckar', u'http://www.echo-online.de/lokales/nachrichten-rhein-neckar/index.rss'), (u'Polizei', u'http://www.echo-online.de/lokales/polizei/index.rss'), (u'Sport', u'http://www.echo-online.de/sport/index.rss'), (u'- Top-Clubs', u'http://www.echo-online.de/sport/top-clubs/index.rss'), (u'-- Darmstadt 98', u'http://www.echo-online.de/sport/top-clubs/darmstadt98/index.rss'), (u'-- Eintracht Frankfurt', u'http://www.echo-online.de/sport/top-clubs/eintracht-frankfurt/index.rss'), (u'-- Mainz 05', u'http://www.echo-online.de/sport/top-clubs/mainz-05/index.rss'), (u'-- Rhein-Neckar Löwen', u'http://www.echo-online.de/sport/top-clubs/rhein-neckar-loewen/index.rss'), (u'-- Adler Mannheim', u'http://www.echo-online.de/sport/top-clubs/adler-mannheim/index.rss'), (u'-- Fraport Skyliners', u'http://www.echo-online.de/sport/top-clubs/skyliners/index.rss'), (u'-- United Volleys', u'http://www.echo-online.de/sport/top-clubs/tg-ruesselsheim/index.rss'), (u'- Lokalsport', u'http://www.echo-online.de/sport/lokalsport/index.rss'), (u'-- Fußball', u'http://www.echo-online.de/sport/lokalsport/fussball/index.rss'), (u'-- Handball', u'http://www.echo-online.de/sport/lokalsport/handball/index.rss'), (u'-- Ballsport', u'http://www.echo-online.de/sport/lokalsport/ballsport/index.rss'), (u'-- Tischtennis', u'http://www.echo-online.de/sport/lokalsport/tischtennis/index.rss'), (u'-- Andere Sportarten', u'http://www.echo-online.de/sport/lokalsport/andere-sportarten/index.rss'), (u'- Sport überregional', u'http://www.echo-online.de/sport/national-und-international/index.rss'), (u'-- Fußball', u'http://www.echo-online.de/sport/national-und-international/fussball/index.rss'), (u'-- Handball', u'http://www.echo-online.de/sport/national-und-international/handball/index.rss'), (u'-- Leichtathletik', u'http://www.echo-online.de/sport/national-und-international/leichtathletik/index.rss'), (u'-- Tennis', u'http://www.echo-online.de/sport/national-und-international/tennis/index.rss'), (u'-- Wintersport', u'http://www.echo-online.de/sport/national-und-international/wintersport/index.rss'), (u'-- Motorsport', u'http://www.echo-online.de/sport/national-und-international/motorsport/index.rss'), (u'-- Schwimmen', u'http://www.echo-online.de/sport/national-und-international/schwimmen/index.rss'), (u'-- Sportmix', u'http://www.echo-online.de/sport/national-und-international/sportmix/index.rss'), (u'Vermischtes', u'http://www.echo-online.de/vermischtes/index.rss'), (u'- Vermischtes', u'http://www.echo-online.de/vermischtes/vermischtes/index.rss'), (u'- Wissenschaft', u'http://www.echo-online.de/vermischtes/wissenschaft/index.rss'), (u'- Campus', u'http://www.echo-online.de/vermischtes/campus/index.rss'), (u'-- Darmstadt', u'http://www.echo-online.de/vermischtes/campus/darmstadt/index.rss'), (u'Freizeit', u'http://www.echo-online.de/freizeit/index.rss'), (u'- Kunst & Kultur', u'http://www.echo-online.de/freizeit/kunst-und-kultur/index.rss'), (u'-- Kulturnachrichten', u'http://www.echo-online.de/freizeit/kunst-und-kultur/kulturnachrichten/index.rss'), (u'-- Ausstellungen', u'http://www.echo-online.de/freizeit/kunst-und-kultur/ausstellungen/index.rss'), (u'-- Literatur', u'http://www.echo-online.de/freizeit/kunst-und-kultur/literatur/index.rss'), (u'-- Musik', u'http://www.echo-online.de/freizeit/kunst-und-kultur/musik/index.rss'), (u'-- Theater', u'http://www.echo-online.de/freizeit/kunst-und-kultur/theater/index.rss'), (u'- Essen & Trinken', u'http://www.echo-online.de/freizeit/essen-trinken/index.rss'), (u'-- Gastro-Tipps', u'http://www.echo-online.de/freizeit/essen-trinken/gastro-tipps/index.rss'), (u'-- Kneipenführer', u'http://www.echo-online.de/freizeit/essen-trinken/kneipenfuehrer/index.rss'), (u'- Freizeittipps', u'http://www.echo-online.de/freizeit/freizeittipps/index.rss'), (u'-- Ausflugstipps', u'http://www.echo-online.de/freizeit/freizeittipps/ausflugstipps/index.rss'), (u'-- Unterwegs mit Kindern', u'http://www.echo-online.de/freizeit/freizeittipps/unterwegs-mit-kindern/index.rss'), (u'-- Museen', u'http://www.echo-online.de/freizeit/freizeittipps/museen/index.rss'), (u'-- Klettern & Hochseilgärten', u'http://www.echo-online.de/freizeit/freizeittipps/klettern-und-hochseilgaerten/index.rss'), (u'-- Burgen & Schlösser', u'http://www.echo-online.de/freizeit/freizeittipps/burgen-und-schloesser/index.rss'), (u'-- Zoos & Wildparks', u'http://www.echo-online.de/freizeit/freizeittipps/zoos-und-wildparks/index.rss'), (u'-- Badeseen & Erlebnisbäder', u'http://www.echo-online.de/freizeit/freizeittipps/badeseen-und-erlebnisbaeder/index.rss'), (u'-- Freizeit & Themenparks', u'http://www.echo-online.de/freizeit/freizeittipps/freizeit-und-themenparks/index.rss'), (u'- Ausgehtipps', u'http://www.echo-online.de/freizeit/ausgehtipps/index.rss'), (u'- Kino', u'http://www.echo-online.de/freizeit/kino/index.rss'), (u'Ratgeber', u'http://www.echo-online.de/ratgeber/index.rss'), (u'- Auto & Motorrad', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/index.rss'), (u'-- Rund ums Kfz', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/kfz/index.rss'), (u'-- Motorräder', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/motorraeder/index.rss'), (u'-- Verkehrsmeldungen', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/verkehrsmeldungen/index.rss'), (u'-- Oldtimer & Gebrauchte', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/oldtimer-und-gebrauchte/index.rss'), (u'-- Neue Modelle', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/neue-modelle/index.rss'), (u'-- Auto-ABC', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/auto-abc/index.rss'), (u'-- Recht im Verkehr', u'http://www.echo-online.de/ratgeber/auto-und-motorrad/recht-im-verkehr/index.rss'), (u'- Gesundheit & Wellness', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/index.rss'), (u'-- Rund um Gesundheit', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/gesundheit/index.rss'), (u'-- Wellness und Fitness', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/wellness-und-fitness/index.rss'), (u'-- Recht auf Gesundheit', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/recht-auf-gesundheit/index.rss'), (u'-- Rat und Hilfe', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/rat-und-hilfe/index.rss'), (u'-- Notdienste', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/notdienste/index.rss'), (u'-- Erste Hilfe', u'http://www.echo-online.de/ratgeber/gesundheit-und-wellness/erste-hilfe/index.rss'), (u'- Reise & Umwelt', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/index.rss'), (u'-- Rund ums Reisen', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/reisen/index.rss'), (u'-- Reiseberichte', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/reiseberichte/index.rss'), (u'-- Deutschland-Reise', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/deutschland-reise/index.rss'), (u'-- Radreisen', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/radreisen/index.rss'), (u'-- Schiffsreisen', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/schiffsreisen/index.rss'), (u'-- Städtereisen', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/staedtereisen/index.rss'), (u'-- Snowspecial', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/snowspecial/index.rss'), (u'-- Gesundheit auf Reisen', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/gesundheit-auf-reisen/index.rss'), (u'-- Recht auf Reisen', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/recht-auf-reisen/index.rss'), (u'-- Umwelt', u'http://www.echo-online.de/ratgeber/reise-und-umwelt/umwelt/index.rss'), (u'- Leben & Genießen', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/index.rss'), (u'-- Rund um Familie', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/familie/index.rss'), (u'-- Rund um Erziehung', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/erziehung/index.rss'), (u'-- Recht im Familienleben', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/recht-im-familienleben/index.rss'), (u'-- Rund ums Tier', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/tier/index.rss'), (u'-- Rund um Ernährung', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/ernaehrung/index.rss'), (u'-- Küche mit Köpfchen', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/kueche-mit-koepfchen/index.rss'), (u'-- Rezept der Woche', u'http://www.echo-online.de/ratgeber/leben-und-geniessen/rezept-der-woche/index.rss'), (u'- Bauen & Wohnen', u'http://www.echo-online.de/ratgeber/bauen-und-wohnen/index.rss'), (u'-- Rund ums Wohnen', u'http://www.echo-online.de/ratgeber/bauen-und-wohnen/wohnen/index.rss'), (u'-- Rund um den Garten', u'http://www.echo-online.de/ratgeber/bauen-und-wohnen/garten/index.rss'), (u'-- Miet- und Baurecht', u'http://www.echo-online.de/ratgeber/bauen-und-wohnen/mietrecht/index.rss'), (u'-- Haushaltstipps', u'http://www.echo-online.de/ratgeber/bauen-und-wohnen/haushaltstipps/index.rss'), (u'-- Pflanzenpflege', u'http://www.echo-online.de/ratgeber/bauen-und-wohnen/pflanzenpflege/index.rss'), (u'- Internet & Elektronik', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/index.rss'), (u'-- Digitales', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/digitales/index.rss'), (u'-- Netzwelten', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/netzwelten/index.rss'), (u'-- Surf-Tipps', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/surftipps/index.rss'), (u'-- Games', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/games/index.rss'), (u'-- Technik-ABC', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/technik-abc/index.rss'), (u'-- Recht im Netz', u'http://www.echo-online.de/ratgeber/internet-und-elektronik/recht-im-netz/index.rss'), (u'- Ausbildung & Beruf', u'http://www.echo-online.de/ratgeber/ausbildung-und-beruf/index.rss'), (u'-- Rund um den Beruf', u'http://www.echo-online.de/ratgeber/ausbildung-und-beruf/beruf/index.rss'), (u'-- Ausbildung & Studium', u'http://www.echo-online.de/ratgeber/ausbildung-und-beruf/ausbildung-und-studium/index.rss'), (u'-- Recht im Beruf', u'http://www.echo-online.de/ratgeber/ausbildung-und-beruf/recht-im-beruf/index.rss'), ] keep_only_tags = [ dict(name='div', attrs={'class': 'box inset article'}), ] remove_tags = [ dict(name='div', attrs={'class': 'skip'}), dict(name='ul', attrs={'class': 'funcs'}), ] def preprocess_html(self, soup): for img in soup.findAll('img', attrs={'data-lazy':True}): img['src'] = img['data-lazy'] return soup # cover_url = 'http://adcounter.darmstaedter-echo.de/webdav/files/config/gui/images/Zeitungsfaecher.gif'