Input data for applications that run in cloud computing centres can be stored at distant repositories, often with multiple copies of the popular data stored at many sites. Locating and retrieving the remote data can be challenging, and we believe that federating the storage can address this problem. A federation would locate the closest copy of the data on the basis of GeoIP information. Currently we are using the dynamic data federation Dynafed, a software solution developed by CERN IT. Dynafed supports several industry standards for connection protocols like Amazon's S3, Microsoft's Azure, as well as WebDAV and HTTP. Dynafed functions as an abstraction layer under which protocol-dependent authentication details are hidden from the user, requiring the user to only provide an X509 certificate. We have setup an instance of Dynafed and integrated it into the ATLAS data distribution management system. We report on the challenges faced during the installation and integration. We have tested ATLAS analysis jobs submitted by the PanDA production system and we report on our first experiences with its operation.


翻译:在云计算中心运行的应用的输入数据可以储存在遥远的储存库中,通常许多地点都储存了多份流行数据。定位和检索远程数据可能具有挑战性,而且我们认为,联合存储可以解决这一问题。联合会将根据GeoIP信息找到最接近的数据副本。目前,我们正在使用动态数据联合会Dynafed,这是一个由欧洲核子研究中心开发的软件解决方案。Dynfed支持亚马逊的S3号、微软的Azure以及WebDAV和HTTP等连接协议的若干行业标准。Dynafed函数是一个抽象层,根据协议向用户隐藏认证细节,要求用户只提供X509证书。我们设置了一个Dynfed案例并将其纳入ATLAS数据分发管理系统。我们报告了安装和整合过程中面临的挑战。我们已经测试了由PANDA生产系统提交的ATLAS分析任务,并报告了我们第一次操作的经验。

0
下载
关闭预览

相关内容

【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
87+阅读 · 2020年5月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
2018年中科院JCR分区发布!
材料科学与工程
3+阅读 · 2018年12月11日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【今日新增】IEEE Trans.专刊截稿信息8条
Call4Papers
7+阅读 · 2017年6月29日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
Semantics of Data Mining Services in Cloud Computing
Arxiv
4+阅读 · 2018年10月5日
VIP会员
相关资讯
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
2018年中科院JCR分区发布!
材料科学与工程
3+阅读 · 2018年12月11日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【今日新增】IEEE Trans.专刊截稿信息8条
Call4Papers
7+阅读 · 2017年6月29日
Top
微信扫码咨询专知VIP会员