Cutlery/calibre
1
0
Fork 0
mirror of https://github.com/kovidgoyal/calibre.git synced 2025-07-09 03:04:10 -04:00
Code Issues Packages Projects Releases Wiki Activity

Update El Correo

Browse Source
This commit is contained in:
Kovid Goyal 2017-09-26 08:43:12 +05:30
parent 8af58a4af2
commit fcae8b3e04
No known key found for this signature in database
GPG Key ID: 06BC317B515ACE7C
1 changed files with 77 additions and 90 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

167
recipes/el_correo.recipe
View File

@ -3,8 +3,8 @@ __license__ = 'GPL v3'
__copyright__ = '08 Januery 2011, desUBIKado' __copyright__ = '08 Januery 2011, desUBIKado'
__author__ = 'desUBIKado' __author__ = 'desUBIKado'
__description__ = 'Daily newspaper from Biscay' __description__ = 'Daily newspaper from Biscay'
__version__ = 'v0.13' __version__ = 'v0.14'
__date__ = '28, July 2016' __date__ = '10, September 2017'
''' '''
http://www.elcorreo.com/ http://www.elcorreo.com/
''' '''
@ -33,75 +33,58 @@ class elcorreo(BasicNewsRecipe):
remove_javascript = True remove_javascript = True
feeds = [ feeds = [
(u'Portada', u'http://www.elcorreo.com/bizkaia/rss/atom/portada'), (u'Portada', u'http://www.elcorreo.com/rss/atom/portada'),
(u'Mundo', u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=internacional'), (u'Mundo', u'http://www.elcorreo.com/rss/atom/?section=internacional'),
(u'Bizkaia', (u'Bizkaia', u'http://www.elcorreo.com/rss/atom/?section=bizkaia'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=bizkaia'), (u'Guipuzkoa', u'http://www.elcorreo.com/rss/atom/?section=gipuzkoa'),
(u'Guipuzkoa', (u'Araba', u'http://www.elcorreo.com/rss/atom/?section=araba'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=gipuzkoa'), (u'La Rioja', u'http://www.elcorreo.com/rss/atom/?section=larioja'),
(u'Araba', (u'Miranda', u'http://www.elcorreo.com/rss/atom/?section=miranda'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=araba'), (u'Economía', u'http://www.elcorreo.com/rss/atom/?section=economia'),
(u'La Rioja', (u'Culturas', u'http://www.elcorreo.com/rss/atom/?section=culturas'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=larioja'), (u'Politica', u'http://www.elcorreo.com/rss/atom/?section=politica'),
(u'Miranda', (u'Tecnología', u'http://www.elcorreo.com/rss/atom/?section=tecnologia'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=miranda'), (u'Gente - Estilo', u'http://www.elcorreo.com/rss/atom/?section=gente-estilo'),
(u'Economía', (u'Planes', u'http://www.elcorreo.com/rss/atom/?section=planes'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=economia'), (u'Athletic', u'http://www.elcorreo.com/rss/atom/?section=athletic'),
(u'Culturas', (u'Alavés', u'http://www.elcorreo.com/rss/atom/?section=alaves'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=culturas'), (u'Bilbao Basket', u'http://www.elcorreo.com/rss/atom/?section=bilbaobasket'),
(u'Politica', (u'Baskonia', u'http://www.elcorreo.com/rss/atom/?section=baskonia'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=politica'), (u'Deportes', u'http://www.elcorreo.com/rss/atom/?section=deportes'),
(u'Tecnología', (u'Jaiak', u'http://www.elcorreo.com/rss/atom/?section=jaiak'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=tecnologia'), (u'La Blanca', u'http://www.elcorreo.com/rss/atom/?section=la-blanca-vitoria'),
(u'Gente - Estilo', (u'Aste Nagusia', u'http://www.elcorreo.com/rss/atom/?section=aste-nagusia-bilbao'),
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=gente-estilo'), (u'Semana Santa', u'http://www.elcorreo.com/rss/atom/?section=semana-santa'),
(u'Planes', (u'Festivales', u'http://www.elcorreo.com/rss/atom/?section=festivales')
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=planes'),
(u'Athletic',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=athletic'),
(u'Alavés',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=alaves'),
(u'Bilbao Basket',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=bilbaobasket'),
(u'Baskonia',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=baskonia'),
(u'Deportes',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=deportes'),
(u'Jaiak',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=jaiak'),
(u'La Blanca',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=la-blanca-vitoria'),
(u'Aste Nagusia',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=aste-nagusia-bilbao'),
(u'Semana Santa',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=semana-santa'),
(u'Festivales',
u'http://www.elcorreo.com/bizkaia/rss/atom?seccion=festivales')
] ]
keep_only_tags = [ keep_only_tags = [
dict(name='article', attrs={'class': ['story media-list ']}) dict(name='div', attrs={'class': ['col-xs-12 col-sm-12 col-md-8 col-lg-8']})
] ]
remove_tags = [ remove_tags = [
dict(name='span', attrs={'class': ['no-comments']}), dict(
dict(name='div', attrs={'class': ['compApoyosText compNoticiasR']}) name='div',
attrs={
'class': [
'voc-topics voc-detail-grid ', 'voc-newsletter ',
'voc-author-social'
]
}
),
dict(name='section', attrs={'class': ['voc-ficha-detail voc-file-sports']})
] ]
remove_tags_before = dict(name='article', attrs={ remove_tags_before = dict(
'class': 'story media-list '}) name='div', attrs={'class': 'col-xs-12 col-sm-12 col-md-8 col-lg-8'}
remove_tags_after = dict(name='article', attrs={ )
'class': 'story media-list '}) remove_tags_after = dict(
name='div', attrs={'class': 'col-xs-12 col-sm-12 col-md-8 col-lg-8'}
# Usamos la versión para móviles )
def print_version(self, url):
return url.replace('http://www.', 'http://m.')
_processed_links = [] _processed_links = []
def get_article_url(self, article): def get_article_url(self, article):
link = article.get('link', None) link = article.get('link', None)
if link is None: if link is None:
@ -114,35 +97,38 @@ class elcorreo(BasicNewsRecipe):
parte = link.split('/') parte = link.split('/')
if parte[2] == 'athletic.elcorreo.com': if parte[2] == 'athletic.elcorreo.com':
link = 'http://m.elcorreo.com/' + \ link = 'http://www.elcorreo.com/' + parte[3] + '/' + parte[
parte[3] + '/' + parte[4] + '/' + parte[5] + \ 4
'/' + parte[6] + '?external=deportes/athletic' ] + '/' + parte[5] + '/' + parte[6] + '?external=deportes/athletic'
else: else:
if parte[2] == 'baskonia.elcorreo.com': if parte[2] == 'baskonia.elcorreo.com':
link = 'http://m.elcorreo.com/' + \ link = 'http://www.elcorreo.com/' + parte[3] + '/' + parte[
parte[3] + '/' + parte[4] + '/' + parte[5] + \ 4
'/' + parte[6] + '?external=deportes/baskonia' ] + '/' + parte[5] + '/' + parte[6] + '?external=deportes/baskonia'
else: else:
if parte[2] == 'bilbaobasket.elcorreo.com': if parte[2] == 'bilbaobasket.elcorreo.com':
link = 'http://m.elcorreo.com/' + parte[3] + '/' + parte[4] + '/' + parte[ link = 'http://www.elcorreo.com/' + parte[3] + '/' + parte[
5] + '/' + parte[6] + '?external=deportes/bilbaobasket' 4
] + '/' + parte[5] + '/' + parte[
6
] + '?external=deportes/bilbaobasket'
else: else:
if parte[2] == 'alaves.elcorreo.com': if parte[2] == 'alaves.elcorreo.com':
link = 'http://m.elcorreo.com/' + \ link = 'http://www.elcorreo.com/' + parte[3] + '/' + parte[
parte[3] + '/' + parte[4] + '/' + parte[5] + \ 4
'/' + parte[6] + '?external=deportes/alaves' ] + '/' + parte[5] + '/' + parte[
6
] + '?external=deportes/alaves'
# A veces el mismo articulo aparece en la versión de Alava y en la de Bizkaia. Por ejemplo: # A veces el mismo articulo aparece en la versión de Alava y en la de Bizkaia. Por ejemplo:
# http://www.elcorreo.com/alava/deportes/motor/formula-1/201407/27/ecclestone-quiere-briatore-ayude-20140727140820-rc.html # http://www.elcorreo.com/alava/deportes/motor/formula-1/201407/27/ecclestone-quiere-briatore-ayude-20140727140820-rc.html
# http://www.elcorreo.com/bizkaia/deportes/motor/formula-1/201407/27/ecclestone-quiere-briatore-ayude-20140727140820-rc.html # http://www.elcorreo.com/bizkaia/deportes/motor/formula-1/201407/27/ecclestone-quiere-briatore-ayude-20140727140820-rc.html
# para controlar los duplicados, unificamos las url para que sean # para controlar los duplicados, unificamos las url para que sean siempre de bizkaia (excepto para la sección "araba")
# siempre de bizkaia (excepto para la sección "araba")
if ((parte[3] == 'alava') and (parte[4] != 'araba')): if ((parte[3] == 'alava') and (parte[4] != 'araba')):
link = link.replace('elcorreo.com/alava', 'elcorreo.com/bizkaia') link = link.replace('elcorreo.com/alava', 'elcorreo.com/bizkaia')
# Controlamos si el artículo ha sido incluido en otro feed para # Controlamos si el artículo ha sido incluido en otro feed para eliminarlo
# eliminarlo
if not (link in self._processed_links): if not (link in self._processed_links):
self._processed_links.append(link) self._processed_links.append(link)
@ -151,8 +137,7 @@ class elcorreo(BasicNewsRecipe):
return link return link
# Recuperamos la portada de papel (la imagen format=1 tiene mayor # Recuperamos la portada de papel (la imagen format=1 tiene mayor resolucion)
# resolucion)
def get_cover_url(self): def get_cover_url(self):
cover = None cover = None
@ -173,24 +158,26 @@ class elcorreo(BasicNewsRecipe):
# Para cambiar el estilo del texto # Para cambiar el estilo del texto
extra_css = ''' extra_css = '''
h4 {font-family:Arial,Helvetica,sans-serif; font-weight:bold;font-size:28px;} h1 {font-family:Arial,Helvetica,sans-serif; font-weight:bold;font-size:28px;}
.place {font-family:Arial,Helvetica,sans-serif; font-weight:normal;font-size:12px;} h2 {font-family:georgia,serif; font-style:italic; font-weight:normal;font-size:16px;color:#4D4D4D;}
.name {font-family:Arial,Helvetica,sans-serif; font-weight:bold;font-size:12px;} h3 {font-family:georgia,serif; font-weight:bold;font-size:18px;}
.overhead, .compLadillo, description {font-family:georgia,serif; font-weight:bold;font-size:18px;} '''
.compSumario, .detalle-titular {font-family:georgia,serif; font-style:italic; font-weight:normal;font-size:22px;color:#4D4D4D;}
img{margin-bottom: 0.4em}
'''
preprocess_regexps = [ preprocess_regexps = [
# Para presentar la imagen de los video incrustados # Para presentar la imagen de los video incrustados
(re.compile(r'stillURLVideo: \'', re.DOTALL | re.IGNORECASE), (
lambda match: '</script><img src="'), re.compile(r'stillURLVideo: \'', re.DOTALL | re.IGNORECASE),
(re.compile(r'.jpg\',', re.DOTALL | re.IGNORECASE), lambda match: '</script><img src="'
lambda match: '.jpg"><SCRIPT TYPE="text/JavaScript"'), ),
(
re.compile(r'.jpg\',', re.DOTALL | re.IGNORECASE),
lambda match: '.jpg"><SCRIPT TYPE="text/JavaScript"'
),
# Para quitar el punto de la lista # Para quitar el punto de la lista
(re.compile(r'<li class="destacada">', re.DOTALL | re.IGNORECASE), (
lambda match: '<div class="destacada"></div>') re.compile(r'<li class="destacada">', re.DOTALL | re.IGNORECASE),
lambda match: '<div class="destacada"></div>'
)
] ]