生成模型是学习高维数据中时空结构的强大工具。然而,现实世界中的许多时空数据集融合了多种模态,并在不同的时空尺度上演化,这对现有生成架构提出了挑战。本论文通过一个三重视角——即解析预测沟通高维时空输出——来研究时空生成建模,并以跨越广阔空间、时间和模态范围的地理空间数据作为测试平台。

首先,我提出了TEOChat,这是首个能够通过自然语言指令对地球观测序列进行空间和时间解析的大型多模态助手。我展示了,一个在自然图像和视频上预训练的视觉语言模型可以被重塑为一个强大的通用模型,以胜任时空解析任务。其次,我引入了时空金字塔流,这是一系列用于跨时间尺度高效进行气候预测的流匹配方法。时空金字塔流将生成轨迹分割为一个时空金字塔,其中每个阶段都在特定的时间尺度上运行,同时提高样本的空间分辨率,从而实现在任何时间层级上直接、并行的采样,并支持实时、准确的多尺度气候模拟。最后,我介绍了SAI模拟器,这是一个交互式平台,它能够以易于理解的形式,为研究人员、政策制定者和公众沟通复杂的时空气候输出(例如由生成模拟器产生的输出)。

这些成果共同展示了生成式人工智能如何能够解析预测沟通复杂的时空现象,从而实现对多模态、多尺度地理空间数据更有效的建模与交互。

成为VIP会员查看完整内容
0

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【阿姆斯特丹博士论文】带约束学习的优化算法
清华大学:从单体仿生到群体智能
专知
18+阅读 · 2022年2月9日
综述 | 语义分割经典网络及轻量化模型盘点
计算机视觉life
52+阅读 · 2019年7月23日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
超级干货 :一文读懂特征工程
数据分析
10+阅读 · 2017年9月6日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
Arxiv
179+阅读 · 2023年3月24日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员