We consider the problem of discovering $K$ related Gaussian directed acyclic graphs (DAGs), where the involved graph structures share a consistent causal order and sparse unions of supports. Under the multi-task learning setting, we propose a $l_1/l_2$-regularized maximum likelihood estimator (MLE) for learning $K$ linear structural equation models. We theoretically show that the joint estimator, by leveraging data across related tasks, can achieve a better sample complexity for recovering the causal order (or topological order) than separate estimations. Moreover, the joint estimator is able to recover non-identifiable DAGs, by estimating them together with some identifiable DAGs. Lastly, our analysis also shows the consistency of union support recovery of the structures. To allow practical implementation, we design a continuous optimization problem whose optimizer is the same as the joint estimator and can be approximated efficiently by an iterative algorithm. We validate the theoretical analysis and the effectiveness of the joint estimator in experiments.


翻译:我们考虑了发现与Gaussian相关的Gaussian引导单流图(DAGs)的问题,其中所涉及的图表结构具有一致的因果关系,支持的组合也很少。在多任务学习环境中,我们建议用一个$_1/l_2$的固定最大可能性估计器(MLE)来学习美元线性结构方程模型。我们理论上表明,联合估计器通过在相关任务中利用各种数据,能够比单独估计更有利于恢复因果顺序(或表层顺序)的样本复杂性。此外,联合估计器能够通过与某些可识别的DAGs一起估算来恢复不可识别的数据集。最后,我们的分析还表明,为了实际实施,我们设计了一个连续的优化问题,其优化器与联合估计器一样,并且可以通过一种迭代算法加以比较。我们验证了联合估计器的理论分析和实验效果。

10
下载
关闭预览

相关内容

因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
47+阅读 · 2020年1月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
7+阅读 · 2021年10月19日
Arxiv
32+阅读 · 2021年3月29日
Arxiv
15+阅读 · 2020年12月17日
VIP会员
相关VIP内容
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
47+阅读 · 2020年1月23日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
7+阅读 · 2021年10月19日
Arxiv
32+阅读 · 2021年3月29日
Arxiv
15+阅读 · 2020年12月17日
Top
微信扫码咨询专知VIP会员