Real-world classification problems must contend with domain shift, the (potential) mismatch between the domain where a model is deployed and the domain(s) where the training data was gathered. Methods to handle such problems must specify what structure is common between the domains and what varies. A natural assumption is that causal (structural) relationships are invariant in all domains. Then, it is tempting to learn a predictor for label $Y$ that depends only on its causal parents. However, many real-world problems are "anti-causal" in the sense that $Y$ is a cause of the covariates $X$ -- in this case, $Y$ has no causal parents and the naive causal invariance is useless. In this paper, we study representation learning under a particular notion of domain shift that both respects causal invariance and that naturally handles the "anti-causal" structure. We show how to leverage the shared causal structure of the domains to learn a representation that both admits an invariant predictor and that also allows fast adaptation in new domains. The key is to translate causal assumptions into learning principles that disentangle "invariant" and "non-stable" features. Experiments on both synthetic and real-world data demonstrate the effectiveness of the proposed learning algorithm. Code is available at https://github.com/ybjiaang/ACTIR.


翻译:真实世界分类问题必须与域变、 模型部署域与培训数据收集域之间的( 潜在)错配问题相争论。 处理此类问题的方法必须说明域间和不同领域之间哪些结构是共同的。 自然的假设是, 因果关系( 结构) 关系在所有领域都是无差异的。 然后, 需要学习一个仅取决于因果父母的“ Y” 标签的预测符。 然而, 许多真实世界问题都是“ 反因果”, 意思是, 美元是造成共变的美元 -- -- 在本案中, $Y没有因果父母, 天真的因果性不一是毫无用处的。 在本文中, 我们研究在特定域变数概念下学习的因果性( 结构) 。 我们展示如何利用域的共同因果性结构来学习一种既承认异性预测, 也允许在新领域快速调整。 关键是要将因果假设转化成“ 变数/ 变数/ 变数” 和“ 变数 变数” 的变法性( ) 和“ 变数法性( ) ( ) 变数) 的变法( ) ( ) ( ) ( ) (变数) (变数) (变数) (变数) (变数) (变数) (变数) (变数) (变数) (变数) (变法) (变法) (变数) (变法) (变法) (变法) (变法) (变法) (变法) ) (变法) (变法) (变数) (变法) (变法) ) (变法) (变法) (变法) (变法) (变法) (变法) (变法) (变法) ) (变法) (变法) (变法) (变法) (变法) ) (变法) (变法) (变法) (变法) (变法) (变法) (变法) (变法) ) (变法) (变法) (变法) (变法) ) (变法) (变法) (变法) (变法) (变法) (变法) (变法) (变法) (

0
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
15+阅读 · 2020年12月17日
VIP会员
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员