Мультимедодты бейнені біріктіру - Video Multimethod Assessment Fusion - Wikipedia

Мультимедодты бейнені біріктіру (VMAF) объективті толық анықтама болып табылады бейне сапасы метрикалық Netflix ынтымақтастықта Оңтүстік Калифорния университеті және кескін және бейне техникасы зертханасы (LIVE) Остиндегі Техас университеті. Ол анықтамалық және бұрмаланған бейне бірізділігі негізінде субъективті бейне сапасын болжайды. Көрсеткіш әр түрлі сапаны бағалау үшін қолданыла алады видео кодектер, кодтаушылар, кодтау параметрлері немесе беру нұсқалары.

Тарих

Метрика профессор C.-C тобының алғашқы жұмысына негізделген. Джей Куо Оңтүстік Калифорния университетінде.[1][2][3] Мұнда әр түрлі бейне сапасының көрсеткіштерін біріктіру қолдануға болады векторлық машиналар (SVM) зерттеліп, «FVQA (Fusion-негізделген бейне сапасын бағалау) индексі» пайда болды, ол субъективті бейне сапасының дерекқорында кескін сапасы көрсеткіштерін асып түсетіні анықталды.

Әдіс Netflix-пен ынтымақтастықта әр түрлі субъективті бейне деректер жиынтығын, соның ішінде Netflix-ке тиесілі деректер жиынтығын («NFLX») қолдана отырып дамыды. Кейіннен «Бейне мультиметодты бағалау синтезі» деп өзгертілді, бұл туралы жарияланды Netflix TechBlog 2016 жылдың маусымында[4] және анықтамалық іске асырудың 0.3.1 нұсқасы ашық бастапқы коэффициенті бар лицензия бойынша қол жетімді болды.[5]

2017 жылы метрика жаңартылды, ол ұялы телефонның экранын көруге бейімделуді қамтитын, сол кіріс материалы үшін жоғары сапалы ұпайларды қалыптастыратын тұтынушы моделін қолдайды. 2018 жылы сапаны болжайтын модель 4K ажыратымдылық мазмұны шығарылды. Осы модельдер оқытылған деректер жиынтығы көпшілікке қол жетімді болмады.

Компоненттер

VMAF бейне сапасын болжау үшін қолданыстағы сурет сапасының көрсеткіштерін және басқа мүмкіндіктерді пайдаланады:

Жоғарыда келтірілген функциялар SVM негізіндегі регрессияны біріктіріп, бір нәтиже үшін 0-100 диапазонында бірыңғай нәтиже береді. бейне жақтауы, 100 сапасы анықтамалық бейнеге сәйкес келеді. Содан кейін бұл ұпайлар уақытша барлық бейне тізбегіне жинақталады орташа арифметикалық жалпы дифференциалды қамтамасыз ету пікірдің орташа мәні (DMOS).

Тренингтің бастапқы кодының («VMAF Development Kit», VDK) жалпыға қол жетімділігіне байланысты, синтездеу әдісі әр түрлі бейне деректері мен ерекшеліктері негізінде қайта оқытылып, бағалануы мүмкін.

Өнімділік

VMAF-тің ерте нұсқасы басқа кескіндер мен бейне сапасының көрсеткіштерінен асып түсетіні көрсетілген SSIM, PSNR -HVS және VQM-VFD болжамдардың дәлдігі тұрғысынан төрт мәліметтер жиынтығының үшеуінде субъективті рейтингтер.[4] Сондай-ақ, оның өнімділігі басқа құжатта талданып, VMAF-тің бейне деректер жиынтығында SSIM және MS-SSIM-ге қарағанда жақсы жұмыс істемейтіндігі анықталды.[7] 2017 жылы инженерлер RealNetworks Netflix өнімділігінің жақсы репродукциясы туралы хабарлады.[8]

Бағдарламалық жасақтама

A анықтамалық енгізу жазылған C және Python («VMAF Development Kit, VDK») келесі түрде шығарылады ақысыз бағдарламалық жасақтама BSD + Патенттік лицензия шарттары бойынша.[9] Оның бастапқы коды мен қосымша материалы қол жетімді GitHub.[5]

Сондай-ақ қараңыз

Әдебиеттер тізімі

  1. ^ Лю, Цун-Джун; Лин, Джо Ючие; Лин, Вейси; Куо, C.-C. Джей (2013). «Көрнекі сапаны бағалау: соңғы әзірлемелер, кодтау қосымшалары және болашақ трендтер». Сигнал және ақпаратты өңдеу бойынша APSIPA операциялары. 2. дои:10.1017 / atsip.2013.5. ISSN  2048-7703.
  2. ^ Лин, Джо Ючие; Лю, Т. Дж .; Wu, E. C. H .; Kuo, C. C. J. (желтоқсан 2014). «Фьюжнге негізделген бейне сапасын бағалау индексі» (FVQA). Сигнал және ақпаратты өңдеу қауымдастығы Жыл сайынғы саммит және конференция (APSIPA), 2014 Азия-Тынық мұхиты: 1–5. дои:10.1109 / apsipa.2014.7041705. ISBN  978-6-1636-1823-8. S2CID  7742774.
  3. ^ Лин, Джо Ючие; Ву, Чи-Хао; Иоаннис, Катсавоунидис; Ли, Чжи; Аарон, Анна; Куо, C.-C. Джей (маусым 2015). «EVQA: ансамбльдік оқыту негізінде бейне сапасын бағалау индексі». Multimedia & Expo Workshops (ICMEW), 2015 IEEE Халықаралық конференциясы: 1–5. дои:10.1109 / ICMEW.2015.7169760. ISBN  978-1-4799-7079-7. S2CID  6996075.
  4. ^ а б Блог, Netflix Technology (2016-06-06). «Бейне сапасының практикалық метрикалық көрсеткішіне қарай». Netflix TechBlog. Алынған 2017-07-15.
  5. ^ а б vmaf: көп әдіспен біріктіру негізінде бейне сапасын бағалауды қабылдау, Netflix, Inc., 2017-07-14, алынды 2017-07-15
  6. ^ Ли, С .; Чжан, Ф .; Ма, Л .; Ngan, K. N. (қазан 2011). «Бөлшектердің жоғалуы мен қоспалардың бұзылуын бөлек бағалау арқылы кескін сапасын бағалау». Мультимедиядағы IEEE транзакциялары. 13 (5): 935–949. дои:10.1109 / tmm.2011.2152382. ISSN  1520-9210. S2CID  8618041.
  7. ^ Бампис, Христос Дж.; Бовик, Алан С. (2017-03-02). «QoE ағынды бейнесін болжауды үйрену: бұрмаланулар, бас тарту және есте сақтау». arXiv:1703.00633 [cs.MM ].
  8. ^ Rassool, Reza (2017). «VMAF репродуктивтілігі: бейне сапасының өлшенетін қабылдауының практикалық мәні» (PDF). 2017 IEEE Халықаралық кең жолақты мультимедиялық жүйелер және хабар тарату симпозиумы (BMSB): 1–2. дои:10.1109 / BMSB.2017.7986143. ISBN  978-1-5090-4937-0. S2CID  5449498. Алынған 2017-11-30.
  9. ^ https://opensource.org/licenses/BSDplusPatent

Сыртқы сілтемелер