Many data compressors regularly encode probability distributions for entropy coding - requiring minimal description length type of optimizations. Canonical prefix/Huffman coding usually just writes lengths of bit sequences, this way approximating probabilities with powers-of-2. Operating on more accurate probabilities usually allows for better compression ratios, and is possible e.g. using arithmetic coding and Asymmetric Numeral Systems family. Especially the multiplication-free tabled variant of the latter (tANS) builds automaton often replacing Huffman coding due to better compression at similar computational cost - e.g. in popular Facebook Zstandard and Apple LZFSE compressors. There is discussed encoding of probability distributions for such applications, especially using Pyramid Vector Quantizer(PVQ)-based approach with deformation, bucket approximation, prefix trees, improving accuracy with additional bits, also tuned symbol spread for tANS.


翻译:许多数据压缩器定期编码对加密编码的概率分布, 需要最小描述的优化类型 。 加农学前缀/ Huffman 编码通常只是写出比特序列的长度, 以这种方式接近2号功率的概率。 更精确的概率操作通常可以改善压缩比率, 并且有可能使用算术编码和 Asymit Numeral Systems 等方法。 特别是后者的免倍变式( tANS) 建立自动成像, 通常取代赫夫曼的编码, 因为以类似的计算成本进行更好的压缩, 例如在流行的 Facebook Z Standard 和 苹果 LZFSE 压缩器中。 讨论过这些应用的概率分布的编码, 特别是使用 Pyramid 矢量 Quantizer (PVQ) 方法, 包括变形、 桶近近、 前方形树、 提高精度, 使用额外比特的精度, 以及 TANS 的调符号 。

0
下载
关闭预览

相关内容

代码(Code)是专知网的一个重要知识资料文档板块,旨在整理收录论文源代码、复现代码,经典工程代码等,便于用户查阅下载使用。
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
26+阅读 · 2021年4月2日
专知会员服务
51+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Call for Nominations: 2022 Multimedia Prize Paper Award
CCF多媒体专委会
0+阅读 · 2022年2月12日
会议交流 | IJCKG: International Joint Conference on Knowledge Graphs
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2022年8月18日
Arxiv
19+阅读 · 2020年7月13日
VIP会员
相关VIP内容
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
26+阅读 · 2021年4月2日
专知会员服务
51+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Call for Nominations: 2022 Multimedia Prize Paper Award
CCF多媒体专委会
0+阅读 · 2022年2月12日
会议交流 | IJCKG: International Joint Conference on Knowledge Graphs
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
相关论文
Arxiv
0+阅读 · 2022年8月18日
Arxiv
19+阅读 · 2020年7月13日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员