There are no universally accepted definitions of R\'enyi conditional entropy and R\'enyi mutual information, although motivated by different applications, several definitions have been proposed in the literature. In this paper, we consider a family of two-parameter R\'enyi conditional entropy and a family of two-parameter R\'enyi mutual information. By performing a change of variables for the parameters, the two-parameter R\'enyi conditional entropy we study coincides precisely with the definition introduced by Hayashi and Tan [IEEE Trans. Inf. Theory, 2016], and it also emerges naturally as the classical specialization of the three-parameter quantum R\'enyi conditional entropy recently put forward by Rubboli, Goodarzi, and Tomamichel [arXiv:2410.21976 (2024)]. We establish several fundamental properties of the two-parameter R\'enyi conditional entropy, including monotonicity with respect to the parameters and variational expression. The associated two-parameter R\'enyi mutual information considered in this paper is new and it unifies three commonly used variants of R\'enyi mutual information. For this quantity, we prove several important properties, including the non-negativity, additivity, data processing inequality, monotonicity with respect to the parameters, variational expression, as well as convexity and concavity. Finally, we demonstrate that these two-parameter R\'enyi information quantities can be used to characterize the strong converse exponents in privacy amplification and soft covering problems under R\'enyi divergence of order $\alpha \in (0, \infty)$.


翻译:尽管针对不同应用场景,文献中已提出多种定义,但Rényi条件熵与Rényi互信息至今尚未形成普遍接受的定义标准。本文研究一类双参数Rényi条件熵族与双参数Rényi互信息族。通过对参数进行变量替换,我们所研究的双参数Rényi条件熵与Hayashi和Tan在《IEEE信息论汇刊》(2016年)提出的定义完全一致,同时也自然地作为Rubboli、Goodarzi和Tomamichel近期在arXiv:2410.21976(2024年)提出的三参数量子Rényi条件熵的经典特例而出现。我们建立了双参数Rényi条件熵的若干基本性质,包括参数单调性与变分表达式。本文提出的关联双参数Rényi互信息是全新定义,它统一了三种常用的Rényi互信息变体。针对该信息量,我们证明了若干重要性质:非负性、可加性、数据处理不等式、参数单调性、变分表达式,以及凸性与凹性。最后,我们证明这些双参数Rényi信息量可用于刻画在阶数α∈(0,∞)的Rényi散度下,隐私放大与软覆盖问题中的强逆指数特性。

0
下载
关闭预览

相关内容

条件熵 H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。条件熵 H(Y|X)定义为给定条件下X的条件概率分布
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月30日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员