Nowadays, visual intelligence tools have become ubiquitous, offering all kinds of convenience and possibilities. However, these tools have high computational requirements that exceed the capabilities of resource-constrained mobile and wearable devices. While offloading visual data to the cloud is a common solution, it introduces significant privacy vulnerabilities during transmission and server-side computation. To address this, we propose a novel distributed, hierarchical offloading framework for Vision Transformers (ViTs) that addresses these privacy challenges by design. Our approach uses a local trusted edge device, such as a mobile phone or an Nvidia Jetson, as the edge orchestrator. This orchestrator partitions the user's visual data into smaller portions and distributes them across multiple independent cloud servers. By design, no single external server possesses the complete image, preventing comprehensive data reconstruction. The final data merging and aggregation computation occurs exclusively on the user's trusted edge device. We apply our framework to the Segment Anything Model (SAM) as a practical case study, which demonstrates that our method substantially enhances content privacy over traditional cloud-based approaches. Evaluations show our framework maintains near-baseline segmentation performance while substantially reducing the risk of content reconstruction and user data exposure. Our framework provides a scalable, privacy-preserving solution for vision tasks in the edge-cloud continuum.


翻译:当前,视觉智能工具已无处不在,提供了各类便利与可能性。然而,这些工具的高计算需求超出了资源受限的移动与可穿戴设备的能力范围。虽然将视觉数据卸载至云端是常见解决方案,但该过程在传输与服务器端计算中引入了显著的隐私脆弱性。为此,我们提出了一种新颖的分布式、分层卸载框架,专为视觉Transformer(ViTs)设计,从架构层面应对这些隐私挑战。我们的方法采用本地可信边缘设备(如智能手机或Nvidia Jetson)作为边缘协调器。该协调器将用户的视觉数据分割为较小片段,并分发至多个独立的云服务器。通过架构设计,任一外部服务器均无法获取完整图像,从而防止数据的全面重构。最终的数据合并与聚合计算仅在该用户的可信边缘设备上执行。我们将该框架应用于Segment Anything Model(SAM)作为实际案例研究,结果表明本方法较传统云端方案显著提升了内容隐私性。评估显示,该框架在维持接近基线分割性能的同时,大幅降低了内容重构与用户数据暴露的风险。本框架为边缘-云连续体中的视觉任务提供了一种可扩展的隐私保护解决方案。

0
下载
关闭预览

相关内容

Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员