Дженсен - Шеннонның алшақтығы - Jensen–Shannon divergence - Wikipedia

Жылы ықтималдықтар теориясы және статистика, ДженсенШеннон алшақтық екеуінің ұқсастығын өлшеу әдісі болып табылады ықтималдық үлестірімдері. Ол сондай-ақ ретінде белгілі ақпарат радиусы (IRad)[1] немесе орташа дивергенция.[2] Ол негізделеді Каллбэк - Лейблер дивергенциясы, кейбір маңызды (және пайдалы) айырмашылықтармен, оның ішінде ол симметриялы және ол әрқашан шекті мәнге ие. Дженсен - Шеннон дивергенциясының квадрат түбірі - а метрикалық жиі Дженсен-Шеннон қашықтығы деп аталады.[3][4][5]

Анықтама

Жинақты қарастырыңыз ықтималдықтың үлестірілуінің мәні, мұндағы А - кейбірімен берілген жиынтық σ-алгебра ішкі өлшемдер. Атап айтқанда, біз А-ны ақырлы немесе есептелетін жиынтық ретінде қабылдай аламыз, барлық ішкі жиындар өлшенеді.

Дженсен-Шеннонның алшақтығы (JSD) симметрияланған және тегістелген нұсқасы болып табылады Каллбэк - Лейблер дивергенциясы . Ол анықталады

қайда

Жақында арифметикалық ортаның орнына абстрактілі құралдарды (мысалы, геометриялық немесе гармоникалық құралдар) қолдана отырып, Дженсен-Шеннон дивергенциясын жалпылау ұсынылды.[6]Дженсен-Шеннонның геометриялық дивергенциясы (немесе G-Jensen-Shannon дивергенциясы) геометриялық ортаны алу арқылы екі гаусс үлестірмесінің арасындағы алшақтықтың жабық формуласын береді.

Екіден астам ықтималдық үлестірімдерін салыстыруға мүмкіндік беретін неғұрлым жалпы анықтама:

қайда ықтималдық үлестірімдері үшін таңдалған салмақтар және болып табылады Шеннон энтропиясы тарату үшін . Жоғарыда сипатталған екі үлестірілген жағдай үшін,

Шектер

Дженсен-Шеннон дивергенциясы екі ықтималдық үлестірімі үшін 1-мен шектелген, себебі біреуінде базалық 2 логарифм қолданылған.[7]

Осы қалыпқа келтірілуімен, ол төменгі шегі болып табылады жалпы өзгеру қашықтығы P және Q арасындағы:

Статистикалық термодинамикада жиі қолданылатын e немесе ln журнал базасы үшін жоғарғы шекарасы ln (2) болады:

Неғұрлым жалпы шек, Дженсен-Шеннон дивергенциясы шектелген ықтималдықтың екіден астам үлестірімінде, негіздік 2 логарифм қолданылғанын ескере отырып.[7]

Өзара ақпаратпен байланыс

Дженсен-Шеннон арасындағы алшақтық болып табылады өзара ақпарат кездейсоқ шама арасында байланысты қоспаның таралуы арасында және және екілік көрсеткіш айнымалы арасында ауысу үшін қолданылады және қоспаны шығару үшін. Келіңіздер оқиғалар арасындағы айырмашылықты анықтайтын оқиғалардың негізгі жиынтығында қандай да бір абстрактілі функция болу және мәнін таңдау сәйкес егер және сәйкес егер , қайда мүмкін емес. Яғни, біз таңдаймыз ықтималдық өлшемі бойынша , ал оның таралуы қоспаның таралуы болып табылады. Біз есептейміз

Жоғарыда келтірілген нәтижеден Дженсен-Шеннонның алшақтығы 0 және 1-мен шектелген деген қорытынды шығады, өйткені өзара ақпарат теріс емес және шектелген . JSD әрдайым 0 және 1-мен шектелмейді: 1-дің жоғарғы шегі осы жерде пайда болады, өйткені біз екілік айнымалының нақты жағдайын қарастырамыз .

Бірдей принципті бірлескен үлестірімге және оның екі шекті үлестіріміне (Куллбэк-Лейблер дивергенциясы мен өзара ақпаратқа ұқсас) көбейтуге және берілген жауаптың бірлескен таралудан немесе өнімге келетіндігін қаншалықты сенімді түрде шешуге болатындығын өлшеуге болады. бөлу - бұл тек екі мүмкіндік деген болжамға бағынады.[8]

Кванттық Дженсен - Шеннонның алшақтығы

Бойынша ықтималдық үлестірулерін қорыту тығыздық матрицалары кванттық Дженсен-Шеннон дивергенциясын (QJSD) анықтауға мүмкіндік береді.[9][10] Ол жиынтығы үшін анықталған тығыздық матрицалары және ықтималдықтың таралуы сияқты

қайда болып табылады фон Нейман энтропиясы туралы . Бұл мөлшер енгізілді кванттық ақпарат Холево ақпараты деп аталатын теория: бұл кванттық күйлермен кодталған классикалық ақпараттың жоғарғы шегін береді алдын-ала тарату бойынша (қараңыз Холево теоремасы ).[11] Кванттық Дженсен - Шеннон үшін алшақтық және екі тығыздық матрицасы - симметриялы функция, барлық жерде анықталған, шектелген және тек екеу болса ғана нөлге тең тығыздық матрицалары бірдей. Бұл метрикалық квадрат таза күйлер,[12] және жақында бұл метрикалық қасиеттің аралас күйлер үшін де болатындығы көрсетілген.[13][14] The Бурес метрикасы кванттық JS дивергенциясымен тығыз байланысты; бұл кванттық аналогы Fisher ақпараттық көрсеткіші.

Жалпылау

Нильсен K-дивергенциясын қисайтып енгізді:[15]Бұл Дженсен-Шеннон дивергенцияларының бір параметрлі семьясынан деп аталады -Дженсен –Шеннонның айырмашылықтары:оған Дженсен-Шеннон алшақтығы кіреді (үшін ) және Джеффрис дивергенциясының жартысы (үшін ).

Қолданбалар

Дженсен-Шеннон арасындағы алшақтық қолданылды биоинформатика және геномды салыстыру,[16][17] ақуыздың бетін салыстыру кезінде,[18] әлеуметтік ғылымдарда,[19] тарихты сандық зерттеуде,[20], өрт тәжірибелері[21] және машиналық оқытуда.[22]

Ескертулер

  1. ^ Гинрих Шутце; Мэннинг Кристофер Д. (1999). Статистикалық табиғи тілді өңдеу негіздері. Кембридж, Массачусетс: MIT Press. б. 304. ISBN  978-0-262-13360-9.
  2. ^ Даган, Идо; Лилиан Ли; Фернандо Перейра (1997). «Word мағынасын ажырату үшін ұқсастыққа негізделген әдістер». Есептеу лингвистикасы қауымдастығының жыл сайынғы отыз бесінші жиналысының және компьютерлік лингвистика қауымдастығының Еуропалық бөлімінің сегізінші конференциясының материалдары.: 56–63. arXiv:cmp-lg / 9708010. Бибкод:1997cmp.lg .... 8010D. дои:10.3115/979617.979625. Алынған 2008-03-09.
  3. ^ Эндрес, Д.М .; Дж. Э. Шинделин (2003). «Ықтималдықтарды бөлудің жаңа көрсеткіші» (PDF). IEEE Транс. Инф. Теория. 49 (7): 1858–1860. дои:10.1109 / TIT.2003.813506.
  4. ^ Ôстеррехер, Ф .; I. Vajda (2003). «Ықтималдықтар кеңістігіндегі метрикалық алшақтықтың жаңа класы және оның статистикалық қосымшалары». Энн. Инст. Статист. Математика. 55 (3): 639–653. дои:10.1007 / BF02517812.
  5. ^ Фугледе Б .; Топсо, Ф. (2004). «Дженсен-Шеннонның алшақтығы және кеңістіктегі Гильберт» (PDF). Ақпараттық теория бойынша Халықаралық симпозиум материалдары, 2004 ж. IEEE. б. 30. дои:10.1109 / ISIT.2004.1365067. ISBN  978-0-7803-8280-0.
  6. ^ Нильсен, Франк (2019). «Дженсен-Шеннон дивергенциясын және JS-абстрактілі құралдарға сүйенетін қашықтықты жалпылау туралы». arXiv:1904.04017 [cs.IT ].
  7. ^ а б Лин, Дж. (1991). «Шеннон энтропиясына негізделген алшақтық шаралары» (PDF). Ақпараттық теория бойынша IEEE транзакциялары. 37 (1): 145–151. CiteSeerX  10.1.1.127.9167. дои:10.1109/18.61115.
  8. ^ Шнейдман, Элад; Биалек, В; Берри, МЖ 2-ші (2003). «Халықтың кодтарындағы синергия, қысқарту және тәуелсіздік». Неврология журналы. 23 (37): 11539–11553. дои:10.1523 / JNEUROSCI.23-37-11539.2003. PMID  14684857.
  9. ^ Мажти, А .; Ламберти, П .; Prato, D. (2005). «Дженсен-Шеннонның дивергенциясы аралас кванттық күйлерді ажыратудың өлшемі ретінде». Физикалық шолу A. 72 (5): 052310. arXiv:квант-ph / 0508138. Бибкод:2005PhRvA..72e2310M. дои:10.1103 / PhysRevA.72.052310.
  10. ^ Бриет, Джоп; Harremoës, Peter (2009). «Дженсен-Шеннонның классикалық және кванттық дивергенциясының қасиеттері». Физикалық шолу A. 79 (5): 052311. arXiv:0806.4472. Бибкод:2009PhRvA..79e2311B. дои:10.1103 / PhysRevA.79.052311.
  11. ^ Холево, А. (1973), «Кванттық байланыс арнасы тарататын ақпарат санының шектері», Мәселе Peredachi Informatsii (орыс тілінде), 9: 3–11. Ағылшынша аударма: Probl. Инф. Трансм., 9: 177–183 (1975) МЫРЗА456936
  12. ^ Браунштейн, Сэмюэль; Үңгірлер, Карлтон (1994). «Статистикалық арақашықтық және кванттық күйлер геометриясы». Физикалық шолу хаттары. 72 (22): 3439–3443. Бибкод:1994PhRvL..72.3439B. дои:10.1103 / PhysRevLett.72.3439. PMID  10056200.
  13. ^ Вироштек, Даниель (2019). «Дженсен-Шеннон дивергенциясының кванттық метрикалық қасиеті». arXiv:1910.10447.
  14. ^ Сра, Суврит (2019). «Кванттық Дженсен-Шеннон-Рени шығарған көрсеткіштер және онымен байланысты айырмашылықтар». arXiv:1911.02643.
  15. ^ Нильсен, Франк (2010). «Дженсен теңсіздігіне негізделген статистикалық симметриялық алшақтықтар отбасы». arXiv:1009.4004 [cs.CV ].
  16. ^ Симс, Джей; Джун, СР; Wu, GA; Ким, SH (2009). «Жиіліктің профильдерімен (FFP) және оңтайлы ажыратымдылықтармен тураланбай геномды салыстыру». Америка Құрама Штаттарының Ұлттық Ғылым Академиясының еңбектері. 106 (8): 2677–82. Бибкод:2009PNAS..106.2677S. дои:10.1073 / pnas.0813249106. PMC  2634796. PMID  19188606.
  17. ^ Ицковиц, С; Ходис, Е; Segal, E (2010). «Протеинді кодтау кезіндегі қабаттасқан кодтар». Геномды зерттеу. 20 (11): 1582–9. дои:10.1101 / гр.105072.110. PMC  2963821. PMID  20841429.
  18. ^ Офран, Y; Rost, B (2003). «Ақуыз-ақуыз интерфейстерінің алты түрін талдау». Молекулалық биология журналы. 325 (2): 377–87. CiteSeerX  10.1.1.6.9207. дои:10.1016 / s0022-2836 (02) 01223-8. PMID  12488102.
  19. ^ ДеДео, Саймон; Хокинс, Роберт X. Д .; Клингенштейн, Сара; Хичкок, Тим (2013). «Шешімдер қабылдау мен әлеуметтік жүйелердегі ақпараттық ағымдарды эмпирикалық зерттеудің жүктеме әдісі». Энтропия. 15 (6): 2246–2276. arXiv:1302.0907. Бибкод:2013ж. ... 15.2246D. дои:10.3390 / e15062246.
  20. ^ Клингенштейн, Сара; Хичкок, Тим; DeDeo, Simon (2014). «Лондондағы Олд Бейлидегі өркениеттік үдеріс». Ұлттық ғылым академиясының материалдары. 111 (26): 9419–9424. Бибкод:2014 PNAS..111.9419K. дои:10.1073 / pnas.1405984111. PMC  4084475. PMID  24979792.
  21. ^ Флавия-Корина Митрои-Симеонидис; Ион Ангел; Nicuşor Minculete (2020). «Параметрлік Дженсен-Шеннонның статистикалық күрделілігі және оның өрттің толық масштабтағы мәліметтері бойынша қолданылуы». Симметрия (12(1)): 22. дои:10.3390 / sym12010022.
  22. ^ Гудфеллоу, Ян Дж .; Пугет-Абади, Жан; Мирза, Мехди; Сю, Бинг; Уард-Фарли, Дэвид; Озайр, Шержил; Курвилл, Аарон; Бенгио, Йошуа (2014). Жалпыға қарсы желілер. NIPS. arXiv:1406.2661. Бибкод:2014arXiv1406.2661G.

Әрі қарай оқу

  • Фрэнк Нильсен (2010). «Дженсен теңсіздігіне негізделген статистикалық симметриялық алшақтықтар отбасы». arXiv:1009.4004 [cs.CV ].

Сыртқы сілтемелер