The demand for high-quality, real-time video streaming has grown exponentially, with 4K Ultra High Definition (UHD) becoming the new standard for many applications such as live broadcasting, TV services, and interactive cloud gaming. This trend has driven the integration of dedicated hardware encoders into modern Graphics Processing Units (GPUs). Nowadays, these encoders support advanced codecs like HEVC and AV1 and feature specialized Low-Latency and Ultra Low-Latency tuning, targeting end-to-end latencies of < 2 seconds and < 500 ms, respectively. As the demand for such capabilities grows toward the 6G era, a clear understanding of their performance implications is essential. In this work, we evaluate the low-latency encoding modes on GPUs from NVIDIA, Intel, and AMD from both Rate-Distortion (RD) performance and latency perspectives. The results are then compared against both the normal-latency tuning of hardware encoders and leading software encoders. Results show hardware encoders achieve significantly lower E2E latency than software solutions with slightly better RD performance. While standard Low-Latency tuning yields a poor quality-latency trade-off, the Ultra Low-Latency mode reduces E2E latency to 83 ms (5 frames) without additional RD impact. Furthermore, hardware encoder latency is largely insensitive to quality presets, enabling high-quality, low-latency streams without compromise.


翻译:对高质量实时视频流的需求呈指数级增长,4K超高清(UHD)已成为直播、电视服务和交互式云游戏等众多应用的新标准。这一趋势推动了专用硬件编码器在现代图形处理器(GPU)中的集成。当前,这些编码器支持HEVC和AV1等先进编解码器,并具备专门的低延迟和超低延迟调优功能,分别针对端到端延迟小于2秒和小于500毫秒的目标。随着此类能力需求向6G时代迈进,清晰理解其性能影响至关重要。本研究从率失真(RD)性能和延迟两个维度,评估了NVIDIA、Intel和AMD GPU上的低延迟编码模式。结果进一步与硬件编码器的常规延迟调优及主流软件编码器进行了对比。实验表明,硬件编码器在实现略优RD性能的同时,其端到端延迟显著低于软件方案。标准低延迟调优在质量与延迟权衡方面表现不佳,而超低延迟模式可将端到端延迟降至83毫秒(5帧)且不产生额外RD损失。此外,硬件编码器的延迟对质量预设参数极不敏感,从而能够在不妥协的情况下实现高质量、低延迟的视频流传输。

0
下载
关闭预览

相关内容

【NeurIPS2024】将视频掩蔽自编码器扩展到128帧
专知会员服务
13+阅读 · 2024年11月27日
Python图像处理,366页pdf,Image Operators Image Processing in Python
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员