宇宙深度学习：排名第三的机器学习 （ML） 应用

深度学习在规模谱的另一端在科学研究中找到了应用。在这篇文章中，我们将讨论一些最近用于研究宇宙学的深入研究应用，即宇宙研究。可以想象，本主题包含各种各样的子类别。我们将从机器学习和基础科学的角度对项目的炒作和影响进行评价，不过，我们将根据自己有趣的判断，而不是依赖引文指标来判断。我们还将尽可能包含指向每个项目的公共存储库的链接，以便您可以自己查看它们。

所有的炒作是关于什么的？AI解决宇宙学中的三体问题

（绿色等人2019）概览：

TL;DR：在模拟简化的3体问题时，对多层感知器进行了培训，以预测未来位置。

炒作：4/3三重浓缩咖啡。这个项目的覆盖范围从人工智能可以解决令人费解的三体问题，困扰艾萨克牛顿到神经网络解决三体问题的速度是1亿倍。媒体的炒作源于研究论文中的描述性方法，它似乎经过精确设计，以令读者在专业知识领域之外惊叹不已。由于深度学习和n体轨道力学的共同专长将非常罕见，因此很容易陷入不熟悉的细节，错过重点。

冲击 （ML）： 3/10 密集层

撞击（物理）：3/n大体。n

型号：10层完全连接的神经网络与 ReLU 激活。

输入数据：三个实体之一的起始位置和目标时间t。

输出：时间t时三个粒子中的两个的位置。坐标参考系隐含第三个粒子位置。

代码：https://github.com/pgbreen/NVM（仅具有预训练的模型权重的推理）

解开AI如何解决宇宙学中三体问题的细节

在经典轨道力学中，预测2个引力体的隔离系统的未来位置相对容易。添加一个额外的身体，我们有臭名昭著的3身体问题，一个典型的例子，如何混沌在看似简单的系统的动态相互作用中出现。混沌系统的一个标志是，它们对初始条件表现出极端敏感，其行为可能看起来是随机的。这些状态很难预测，混沌系统演化的时间越长，预测就越困难，因为过去的错误会加剧。这是为什么一个代理比关节更容易学会摆动一个固体杆的原因之一：

像这样的双钟摆这样的混乱系统很难预测和控制

就像一个强化学习剂挣扎着控制双钟摆，科学家们也发现很难预测混乱系统的未来状态，如3身体问题。没有分析解决方案，所以计算物理学家会依靠他们的老朋友的蛮力计算。这行得通，但并不总是清楚需要多少数值精度，并且可以消耗大量的资源。

本文的作者使用10层多层感知器来预测3体轨道问题的未来状态。训练数据是由一个称为布鲁图斯的强力数字模拟器计算的。我喜欢看到一个’老式的’多层感知器，这将是有趣的，看看代码玩不同的训练超级参数和不同的体系结构。遗憾的是，可用的公共代码不包括任何培训实用程序。

我同意最近的怀疑，认为论文的主张有一个非常狭窄和简化的用例的支持，不太可能轻易概括到更复杂的情况训练后，性能会大幅下降，从平均绝对误差约 0.01 到 0.2 不等。当有问题的无单位数字几乎总是在 -1 和 +1 之间时，这些错误很大。培训网络以进一步预测未来，也会导致培训集更加过合，这个问题在讨论中没有得到解决。

在宇宙学中使用机器学习 （ML） 最有价值的领域是什么？发现更多的系外行星与深度学习

马丁·科恩梅瑟对K2-18b的艺术家印象。图片信用美国宇航局

（达蒂洛等人2019）
看机器学习如何帮助发现新行星

TL;DR：开普勒太空望远镜在2013年坏了，导致嘈杂的数据，以及大量的数据。研究人员训练AstroNet-K2作为先前模型AstroNet的修改版本，以处理新的噪声数据，并发现了两颗新的系外行星。这些行星经过后续观测验证。

炒作：1/3三重浓缩咖啡。麻省理工学院技术评论的撰写报道被合理衡量，没有对项目做出夸大或不切实际的声明，但有时却忽略了AstroNet-K2是基于一年前发布的前一个项目AstroNet。

冲击 （ML）：4/8卷积滤波器。AstroNet 和 AstroNet-K2 之间的区别似乎归结于超参数搜索和不同的数据集。

影响（系外行星天文学）：2/1，076 已知[超级地球]（https：//en.wikipedia.org/wiki/File：Size_of_Kepler_Planet_Candidates.jpg），由AstroNet-K2发现，并通过其他观测进行验证。我认为这是一个相当有益的结果，开始作为一个本科研究项目。

型号：从输入数据中提取两个单独的卷积臂提取特征

输入数据：开普勒望远镜K2运行的1D光曲线。

输出：给定信号是由过境系外行星引起的。

代码： https://github.com/aedattilo/models_K2

解开机器学习如何发现新行星的细节

开普勒仪器是一种天基望远镜，旨在研究和太阳系外的行星，又称系外行星。1995年，迪迪埃·奎罗斯和米歇尔·马约尔描述了第一颗环绕我们这颗恒星的系外行星，使两人获得了2019年诺贝尔物理学奖。十多年后，当开普勒在2009年发射时，已知的系外行星总数不到400颗。现已投入使用的望远镜于2009年开始运行，在反应轮（一种用于精确指向的部件）于2013年出现故障之前发现了1000多颗新的系外行星。这使特派团的初级阶段结束。

一些巧妙的工程变化使望远镜开始了第二个数据采集阶段，称为K2。来自K2的数据更嘈杂，限制为80天的连续观测或更少。这些限制在识别成千上万个假设行星信号中有希望的行星候选物方面带来了挑战，这项任务以前由卷积神经网络（AstroNet）很好地处理了，该神经网络使用开普勒的数据主要数据收集阶段。得克萨斯大学奥斯汀分校的研究人员决定尝试同样的方法，并从AstroNet的架构中导出AstroNet-K2来对K2行星信号进行排序。

训练后，AstroNet-K2在测试集中识别确认的系外行星的准确率为98%，假阳性率低。作者认为这种性能足以用作分析工具，而不是完全自动化，需要人工跟进。从论文：

虽然我们网络的性能并不完全在水平上
需要生成全自动和均匀
行星候选目录，它作为证明
概念。[ （达蒂洛等人2019）

AstroNet-K2 获得了此博客文章令人垂涎的”最佳价值”奖，表彰其实现了重大的科学”为价”。与本清单上其他两个更概念性的演示项目不同，该项目取得了实际的科学进展，在已知系外行星目录中添加了两个新的已确认条目：EPIC 246151543 b 和 EPIC 246078672 b这是一个有效的机器学习在行动的很好的例子：作者采取了一个现有的conv-net与经验证的跟踪记录，并修改它，以很好地执行给定的数据，增加了一些新的发现，从一个艰难的观察运行没有重新发明车轮。

值得注意的是，该研究的主要作者安妮·达蒂洛在工作完成时是一名本科生。对于一个本科研究项目来说，这是一个不错的结果。使用开源软件和构建以前开发的体系结构突出表明，深度学习处于高级准备阶段。该技术尚未完全成熟，无法普及，但工具都放在货架上，随时可以应用。

CosmoGAN，引力透镜的生成对抗网络方法

（穆斯塔法等人2019）一目了然

柴郡猫星系团的引力透镜。图片信用美国宇航局

TL;DR：宇宙中有一堆缺失的质量，我们称之为暗物质。这种缺失质量的重力会弯曲光线，宇宙学家可以根据光线的扭曲程度来猜测暗物质的位置。深度卷积生成对抗网络擅长制作逼真的图像，这些研究人员训练了一个图像，使其看起来像与暗物质分布相关的数据。

炒作：1/3三重浓缩咖啡。基本上，我为本文找到的所有新闻报道都是从劳伦斯伯克利国家实验室的新闻稿中抄袭的。因此，报道并不过分夸大或古怪，虽然我想说，对CosmoGAN实际行为的描述是模糊的（但文件在这方面也不完全清楚）。我最喜欢的标题是

影响 （ML）：6/64潜在空间随机变量。这是一个沼泽标准的DCGAN训练模仿引力弱透镜数据。

影响（宇宙学）：10个中1个无法观测的质量。

型号：宇宙甘是一个DCGAN。每个网络有 4 个层，但生成器的参数比鉴别器（440 万）多 3 倍（440 万），其卷积滤波器更少。参数差异是稳定训练，防止鉴别器从发电机上跑开。

输入数据：64个单元潜向量（发电机），生成（由CosmoGAN）和模拟（数值物理模拟器）的弱透镜收敛图的2D图像，可以对应于暗物质分布（区分器）。

输出：可理解的收敛贴图（生成器），或给定图像为真实（模拟）收敛贴图（区分器）的概率

代码： https://github.com/MustafaMustafa/cosmoGAN

解开关于生成对抗网络如何导致更好的引力透镜方法的细节

暗物质是一种相对神秘的物质形式，占（我们认为）很大比例（约85%）。宇宙的质量。”黑暗”的名字是指这种物质形式在正常观测中是不可见的，但只能从引力效应中推断出，比如维拉·鲁宾在20世纪60年代观察到的星系自转速度的差异。研究暗物质的一个基本观测点是引力透镜，其中巨大的物体扭曲了来自较远物体的光。当透镜效应由不可见的暗物质引起时，这就成为一个需要密集模拟来克服的反向难题。

“如果你想从零开始制作一个苹果派，你必须首先发明宇宙”（卡尔·萨根，宇宙）。研究暗物质的存在也是如此：基于引力透镜观测建立暗物质图的黄金标准方法是创建一个（虚拟的）宇宙。众所周知，宇宙的创造在计算上是昂贵的，它旋转一个高保真宇宙来检查它是否同意观测，对可以完成的科学量有很大的限制。

当数据丰富且计算量不足时，科学家们会寻找方法来开发代用模型，这些模型可以解释数据，而无需每次构建一个全新的宇宙

自2014年被古德费洛等人描述以来，生成对抗网络已经走过了漫长的道路。GAN 框架是生成模型的一个（现在相当多样化）的利基，将生成网络与歧视或伪造检测网络进行对比。这两个网络相互竞争，以产生越来越逼真的合成数据，而鉴别器在检测假货方面越来越出色。这种交互提供了纯 GAN 训练循环中唯一必要的训练信号（尽管条件性 GAN 等变体可能会利用其他数据），因此在 GAN 训练中平衡两个网络是一门艺术，并且 GAN 在平衡不均衡时容易不稳定。

鉴于他们的声誉难以训练和解释，在计算宇宙学家中发现了一些of从业者，这也许有点出乎意料。然而，宇宙在范围上相当有限。生成器学习模拟收敛图的统计现实图像，但这些图像与潜伏空间中的随机输入无关。有条件的 GAN，如Pix2pix方案，在古老的边缘2cats演示的基础，将在这方面更有意义。也就是说，生成一个收敛图，可以合理地解释给定天文图像中的透镜，这可以通过额外的观测结果加以验证。

此外，生成器生成的收敛图是 2D，但暗物质实际上将分布在 3 维中。作者暗示，这些限制中的一部分将在未来的工作中得到解决。例如，对”可控制性 GAN”的引用听起来类似于上面提到的条件 GA，并且他们确实打算为体积暗物质分布制作一个 3D 版本。如果是这样的话，这个项目85%的工作目前仍然无法观察。

这 3 种机器学习 （ML） 应用允许在宇宙学领域实现令人难以置信的发现和突破

我们才刚刚开始看到它在宇宙学中的潜力。这篇文章强调了这样一个事实，即在空间研究中做出新的发现并不需要大胆地去以前没有科学家去过的地方。相反，如我们在系外行星项目中所看到的那样，巧妙地实现适用于新数据集并应用于新数据集的成熟技术可以产生发现。另一方面，这份清单上的另外两个项目虽然拥有更崇高的愿望和更闪亮的描述，但仅使用模拟数据进行概念性探索这表明，研究人员不能将夸大的新闻报道仅仅归咎于科学记者，这个问题困扰着大多数研究领域，而不仅仅是人工智能/ML。 过度炒作会导致无生产力的反馈循环，导致经济/技术泡沫和科研资源分配效率低下。这就是为什么我们更喜欢仔细研究新的深度学习应用的恒星，无论他们研究宇宙或更平凡的东西。