diff --git a/test/test_InfoExtractor.py b/test/test_InfoExtractor.py index 4833396a5..22018ede1 100644 --- a/test/test_InfoExtractor.py +++ b/test/test_InfoExtractor.py @@ -42,6 +42,7 @@ class TestInfoExtractor(unittest.TestCase): + ''' self.assertEqual(ie._og_search_title(html), 'Foo') self.assertEqual(ie._og_search_description(html), 'Some video\'s description ') @@ -50,6 +51,7 @@ class TestInfoExtractor(unittest.TestCase): self.assertEqual(ie._og_search_property('foobar', html), 'Foo') self.assertEqual(ie._og_search_property('test1', html), 'foo > < bar') self.assertEqual(ie._og_search_property('test2', html), 'foo >//< bar') + self.assertEqual(ie._og_search_property('test3', html), 'Ill-formatted opengraph') self.assertEqual(ie._og_search_property(('test0', 'test1'), html), 'foo > < bar') self.assertRaises(RegexNotFoundError, ie._og_search_property, 'test0', html, None, fatal=True) self.assertRaises(RegexNotFoundError, ie._og_search_property, ('test0', 'test00'), html, None, fatal=True) diff --git a/youtube_dl/extractor/malltv.py b/youtube_dl/extractor/malltv.py index 7a0e5e6fa..7e0876ecc 100644 --- a/youtube_dl/extractor/malltv.py +++ b/youtube_dl/extractor/malltv.py @@ -1,14 +1,13 @@ # coding: utf-8 from __future__ import unicode_literals -import hashlib -from .common import InfoExtractor -from ..utils import parse_duration import re +from .common import InfoExtractor +from ..utils import parse_duration, merge_dicts class MallTVIE(InfoExtractor): - _VALID_URL = r'https?://(?:www\.)?mall\.tv/(?:.+/)?(?P.+)' + _VALID_URL = r'https?://(?:www\.)?mall\.tv/(?:.+/)?(?P.+)(?:\?.*$|$)' _TESTS = [ { 'url': 'https://www.mall.tv/18-miliard-pro-neziskovky-opravdu-jsou-sportovci-nebo-clovek-v-tisni-pijavice', @@ -17,17 +16,22 @@ class MallTVIE(InfoExtractor): 'id': 't0zzt0', 'ext': 'mp4', 'title': '18 miliard pro neziskovky. Opravdu jsou sportovci nebo Člověk v tísni pijavice?', - 'description': "Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice', jak o nich hovoří And" + 'description': 'Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice", jak o nich hovoří And', + 'upload_date': '20181007', + 'timestamp': 1538870400 } }, { 'url': 'https://www.mall.tv/kdo-to-plati/18-miliard-pro-neziskovky-opravdu-jsou-sportovci-nebo-clovek-v-tisni-pijavice', 'md5': '9ced0de056534410837077e23bfba796', + 'only_matching': 1, 'info_dict': { 'id': 't0zzt0', 'ext': 'mp4', 'title': '18 miliard pro neziskovky. Opravdu jsou sportovci nebo Člověk v tísni pijavice?', - 'description': "Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice', jak o nich hovoří And" + 'description': 'Pokud někdo hospodaří s penězmi daňových poplatníků, pak logicky chceme vědět, jak s nimi nakládá. Objem dotací pro neziskovky roste, ale opravdu jsou tyto organizace „pijavice", jak o nich hovoří And', + 'upload_date': '20181007', + 'timestamp': 1538870400 } } ] @@ -35,12 +39,12 @@ class MallTVIE(InfoExtractor): def _real_extract(self, url): display_id = self._match_id(url) webpage = self._download_webpage(url, display_id) - src_id_regex = r'(?P.+?/(?P\w{6,}?)/index)(?P\1?[^>]*?>)' - video_id = self._html_search_regex(src_id_regex, webpage, 'ID', + src_id_regex = r'(?P\w{6,}?)/index)(?P\1?[^>]*?>)' + video_id = self._search_regex(src_id_regex, webpage, 'ID', group='id') info = self._search_json_ld(webpage, video_id, default={}) - html = re.sub(src_id_regex, r'\g\g.m3u8\g', webpage) - media = self._parse_html5_media_entries('', html, video_id) + html = re.sub(src_id_regex, r'\g.m3u8\g', webpage) + media = self._parse_html5_media_entries(url, html, video_id) thumbnail = info.get('thumbnail', self._og_search_thumbnail(webpage)) duration = parse_duration(info.get('duration')) result = { @@ -48,9 +52,7 @@ class MallTVIE(InfoExtractor): 'title': info.get('title', self._og_search_title(webpage)), 'description': self._og_search_description(webpage) } - if media: - result.update(media[0]) result.update({'thumbnail': thumbnail}) result.update({'duration': duration}) - return result + return merge_dicts(media[0], info, result)