Ensuring the ethical use of video data involving human subjects, particularly infants, requires robust anonymization methods. We propose BLANKET (Baby-face Landmark-preserving ANonymization with Keypoint dEtection consisTency), a novel approach designed to anonymize infant faces in video recordings while preserving essential facial attributes. Our method comprises two stages. First, a new random face, compatible with the original identity, is generated via inpainting using a diffusion model. Second, the new identity is seamlessly incorporated into each video frame through temporally consistent face swapping with authentic expression transfer. The method is evaluated on a dataset of short video recordings of babies and is compared to the popular anonymization method, DeepPrivacy2. Key metrics assessed include the level of de-identification, preservation of facial attributes, impact on human pose estimation (as an example of a downstream task), and presence of artifacts. Both methods alter the identity, and our method outperforms DeepPrivacy2 in all other respects. The code is available as an easy-to-use anonymization demo at https://github.com/ctu-vras/blanket-infant-face-anonym.


翻译:为确保涉及人类受试者(尤其是婴儿)的视频数据得到合乎伦理的使用,需要采用鲁棒的匿名化方法。本文提出BLANKET(基于关键点检测一致性的婴儿人脸地标保持匿名化),这是一种新颖的方法,旨在对婴儿视频记录中的人脸进行匿名化处理,同时保留关键的面部属性。我们的方法包含两个阶段:首先,通过扩散模型进行修复,生成一个与原始身份兼容的随机新面孔;其次,通过具有真实表情传递功能的时间一致性人脸交换,将新身份无缝融入每一帧视频中。该方法在婴儿短视频数据集上进行了评估,并与流行的匿名化方法DeepPrivacy2进行了比较。评估的关键指标包括去识别化程度、面部属性保留情况、对人类姿态估计(作为下游任务示例)的影响以及伪影的存在情况。两种方法均改变了身份,而我们的方法在所有其他方面均优于DeepPrivacy2。代码已作为易于使用的匿名化演示发布于https://github.com/ctu-vras/blanket-infant-face-anonym。

0
下载
关闭预览

相关内容

预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员