Akkariin/youtube-dl
1
0
Fork 0
mirror of https://github.com/l1ving/youtube-dl synced 2025-01-23 20:02:51 +08:00
Code Issues Releases Wiki Activity

url matching regex fixed, imports and tests

Browse Source
This commit is contained in:
Ales Jirasek 2019-02-06 00:13:31 +01:00
parent 14ea152002
commit 0ba2ab5754
2 changed files with 17 additions and 13 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
test/test_InfoExtractor.py
View File

@ -42,6 +42,7 @@ class TestInfoExtractor(unittest.TestCase):
<meta content='Foo' property=og:foobar> <meta content='Foo' property=og:foobar>
<meta name="og:test1" content='foo > < bar'/> <meta name="og:test1" content='foo > < bar'/>
<meta name="og:test2" content="foo >//< bar"/> <meta name="og:test2" content="foo >//< bar"/>
<meta property=og-test3 content='Ill-formatted opengraph'/>
''' '''
self.assertEqual(ie._og_search_title(html), 'Foo') self.assertEqual(ie._og_search_title(html), 'Foo')
self.assertEqual(ie._og_search_description(html), 'Some video\'s description ') self.assertEqual(ie._og_search_description(html), 'Some video\'s description ')
@ -50,6 +51,7 @@ class TestInfoExtractor(unittest.TestCase):
self.assertEqual(ie._og_search_property('foobar', html), 'Foo') self.assertEqual(ie._og_search_property('foobar', html), 'Foo')
self.assertEqual(ie._og_search_property('test1', html), 'foo > < bar') self.assertEqual(ie._og_search_property('test1', html), 'foo > < bar')
self.assertEqual(ie._og_search_property('test2', html), 'foo >//< bar') self.assertEqual(ie._og_search_property('test2', html), 'foo >//< bar')
self.assertEqual(ie._og_search_property('test3', html), 'Ill-formatted opengraph')
self.assertEqual(ie._og_search_property(('test0', 'test1'), html), 'foo > < bar') self.assertEqual(ie._og_search_property(('test0', 'test1'), html), 'foo > < bar')
self.assertRaises(RegexNotFoundError, ie._og_search_property, 'test0', html, None, fatal=True) self.assertRaises(RegexNotFoundError, ie._og_search_property, 'test0', html, None, fatal=True)
self.assertRaises(RegexNotFoundError, ie._og_search_property, ('test0', 'test00'), html, None, fatal=True) self.assertRaises(RegexNotFoundError, ie._og_search_property, ('test0', 'test00'), html, None, fatal=True)

28
youtube_dl/extractor/malltv.py
View File

@ -1,14 +1,13 @@
# coding: utf-8 # coding: utf-8
from __future__ import unicode_literals from __future__ import unicode_literals
import hashlib
from .common import InfoExtractor
from ..utils import parse_duration
import re import re
from .common import InfoExtractor
from ..utils import parse_duration, merge_dicts
class MallTVIE(InfoExtractor): class MallTVIE(InfoExtractor):
_VALID_URL = r'https?://(?:www\.)?mall\.tv/(?:.+/)?(?P<id>.+)' _VALID_URL = r'https?://(?:www\.)?mall\.tv/(?:.+/)?(?P<id>.+)(?:\?.*$|$)'
_TESTS = [ _TESTS = [
{ {
'url': 'https://www.mall.tv/18-miliard-pro-neziskovky-opravdu-jsou-sportovci-nebo-clovek-v-tisni-pijavice', 'url': 'https://www.mall.tv/18-miliard-pro-neziskovky-opravdu-jsou-sportovci-nebo-clovek-v-tisni-pijavice',
@ -17,17 +16,22 @@ class MallTVIE(InfoExtractor):
'id': 't0zzt0', 'id': 't0zzt0',
'ext': 'mp4', 'ext': 'mp4',
'title': '18 miliard pro neziskovky. Opravdu jsou sportovci nebo Člověk v tísni pijavice?', 'title': '18 miliard pro neziskovky. Opravdu jsou sportovci nebo Člověk v tísni pijavice?',
'description': "Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice', jak o nich hovoří And" 'description': 'Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice", jak o nich hovoří And',
'upload_date': '20181007',
'timestamp': 1538870400
} }
}, },
{ {
'url': 'https://www.mall.tv/kdo-to-plati/18-miliard-pro-neziskovky-opravdu-jsou-sportovci-nebo-clovek-v-tisni-pijavice', 'url': 'https://www.mall.tv/kdo-to-plati/18-miliard-pro-neziskovky-opravdu-jsou-sportovci-nebo-clovek-v-tisni-pijavice',
'md5': '9ced0de056534410837077e23bfba796', 'md5': '9ced0de056534410837077e23bfba796',
'only_matching': 1,
'info_dict': { 'info_dict': {
'id': 't0zzt0', 'id': 't0zzt0',
'ext': 'mp4', 'ext': 'mp4',
'title': '18 miliard pro neziskovky. Opravdu jsou sportovci nebo Člověk v tísni pijavice?', 'title': '18 miliard pro neziskovky. Opravdu jsou sportovci nebo Člověk v tísni pijavice?',
'description': "Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice', jak o nich hovoří And" 'description': 'Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice", jak o nich hovoří And',
'upload_date': '20181007',
'timestamp': 1538870400
} }
} }
] ]
@ -35,12 +39,12 @@ class MallTVIE(InfoExtractor):
def _real_extract(self, url): def _real_extract(self, url):
display_id = self._match_id(url) display_id = self._match_id(url)
webpage = self._download_webpage(url, display_id) webpage = self._download_webpage(url, display_id)
src_id_regex = r'(?P<before><source src=([\"\'])?)(?P<src>.+?/(?P<id>\w{6,}?)/index)(?P<after>\1?[^>]*?>)' src_id_regex = r'(?P<src><source src=([\"\'])?.+?/(?P<id>\w{6,}?)/index)(?P<after>\1?[^>]*?>)'
video_id = self._html_search_regex(src_id_regex, webpage, 'ID', video_id = self._search_regex(src_id_regex, webpage, 'ID',
group='id') group='id')
info = self._search_json_ld(webpage, video_id, default={}) info = self._search_json_ld(webpage, video_id, default={})
html = re.sub(src_id_regex, r'\g<before>\g<src>.m3u8\g<after>', webpage) html = re.sub(src_id_regex, r'\g<src>.m3u8\g<after>', webpage)
media = self._parse_html5_media_entries('', html, video_id) media = self._parse_html5_media_entries(url, html, video_id)
thumbnail = info.get('thumbnail', self._og_search_thumbnail(webpage)) thumbnail = info.get('thumbnail', self._og_search_thumbnail(webpage))
duration = parse_duration(info.get('duration')) duration = parse_duration(info.get('duration'))
result = { result = {
@ -48,9 +52,7 @@ class MallTVIE(InfoExtractor):
'title': info.get('title', self._og_search_title(webpage)), 'title': info.get('title', self._og_search_title(webpage)),
'description': self._og_search_description(webpage) 'description': self._og_search_description(webpage)
} }
if media:
result.update(media[0])
result.update({'thumbnail': thumbnail}) result.update({'thumbnail': thumbnail})
result.update({'duration': duration}) result.update({'duration': duration})
return result return merge_dicts(media[0], info, result)