应用案例Application case
大型强子对撞机(LHC)

应用背景

大型强子对撞机(LHC)是世界上最大、能量最高的粒子对撞机。它是由欧洲核子研究组织(CERN)于1998年至2008年间与由34个国家的10000多名科学家、数百所大学和实验室合作建造的。

第一次碰撞是在2010年实现的,能量为每束3.5兆电子伏(TeV),约为之前世界纪录的四倍。升级后,它达到了每束6.5兆电子伏(13兆电子伏总碰撞能量,目前的世界纪录)。2018年底,它进入了为期两年的停机期,以便进一步升级。

截至2010年6月,预算约90亿美元的大型强子对撞机是迄今为止建造的最昂贵的科学仪器之一。该项目的总成本预计为44亿美元,其中11亿美元用于欧洲核子研究中心对实验的贡献。该设施费用的1/3来自欧洲原子核研究委员会,1/3由其成员国额外提供,另外1/3可望从日本和美国获得。1998年,中国由中科院、国家自然科学基金会、科技部三家出资1600万元,在LHC上建立两个探测器,供中国科学家参加CERN的合作研究。

LHC的主要目标分包括:

1、我们目前对宇宙的理解是不完整的。粒子和力的标准模型总结了我们目前对粒子物理学的知识。这一标准模型已经过许多实验的检验,证明它在预测以前未发现的粒子存在方面的成功。然而,它留下了许多未解决的问题,LHC将帮助回答这些问题。

2、大型强子对撞机还帮助我们研究反物质的奥秘。在大爆炸时,物质和反物质的产生量肯定是相同的,但从我们迄今为止的观察来看,我们的宇宙只是由物质组成的。大型强子对撞机可以为此问题提供一个答案。

3、除了质子间碰撞的研究,大型强子对撞机上的重离子碰撞将提供一个观察早期宇宙中存在的物质状态的窗口,称为“夸克-胶子等离子体”。当重离子以高能量碰撞时,它们会在瞬间形成一个由如此炽热、致密的物质组成的“火球”,可以通过实验加以研究。

在运行了几年之后,任何粒子物理实验通常都会受到回报递减的影响:随着该装置所能获得的关键结果开始完成,以后几年的运行所发现的结果与前几年成比例地减少。高亮度大型强子对撞机的升级于2018年6月开始。升级的目的是将机器的光度提高10倍,高达1035厘米−2秒−1,为观察罕见的过程提供更好的机会,并改进统计边缘测量。

LHC之前一直处于长期停机状态,但其已经于2021年5月重启,并将一直运行到2024年底。2025年将再开启新一轮升级,直到“HL-LHC”于2027年登场。目前,HL-LHC 已完成了第一个节点的建造。

HL-LHC这一史无前例的大装置有望观测到极端稀有的物理现象并极大提高测量精度。为充分利用“高亮度LHC”提供的海量数据,LHC四大实验也均开展了探测器升级计划。

存在挑战

内部和外部网络通信对CERN至关重要。在内部,超过50000公里的光纤为整个CERN站点提供网络连接。CERN数据中心也是CERN互联网交换点(CIXP)的所在地,这是一个运营商的中立交换点,通过它,CERN在互联网发展中发挥了核心作用。1991年,欧洲80%的互联网国际流量容量都安装在CERN数据中心。

随着网络发展,IPv4地址不断耗尽,WLCG网站在获得必要的IPv4地址方面遇到了困难,未来新网站只能通过IPv6访问。为了整合这些站点,在WLCG中全面支持IPv6变得非常重要。虽然HEPiX IPv6工作组正在积极测试WLCG应用的IPv6兼容性,但仍需要改善IPv6的互联性。LHCOPN站点的IPv6连接已达到100%,而具有IPv6连接的LHCONE站点的比例较低。预计将持续改善IPv6互联互通。

解决方案

国际高能物理网格(WLCG)WLCG最令人印象深刻的组成部分之一是其网络和连接。由于在CERN建立了良好的连接和专用的网络基础设施,它可以将数据分配到全球数百个合作机构。自第二个长达四年的LHC运行期开始,全球的数据传输率也达到了新的峰值,约每秒60千兆字节的速率,比LHC运行1期间的速率高出约三倍。

WLCG是一个全球计算基础设施,其任务是提供计算资源,以存储、分发和分析LHC生成的数据,使所有合作伙伴,无论其物理位置如何,都能平等地获取数据。

WLCG建立在Ian Foster和Carl Kesselman最初于1999年提出的网格技术思想之上。WLCG将世界各地的计算中心和网格资源连在一起,用于处理和分析LHC的高能物理实验产生的海量数据。该网格系统集成了世界上几种主流的网格部件并在其上部署物理软件,从而为相关的高能物理实验提供高性能的计算服务。

WLCG的特点包括:

  • 物理学的关键工具:有史以来最先进的科学数据采集和分析系统,提供对LHC数据的近实时访问。
  • 无缝存取:计算资源包括数据存储容量、处理能力、传感器、可视化工具等。
  • 全球合作:42个国家,170个计算中心,每天超过200万个任务,100万个计算机核心,1EB的存储空间。
  • 促进研究:WLCG帮助物理学家于2012年7月4日宣布发现希格斯玻色子。

成效与展望

为了支持国际高能物理网格(WLCG)的分层计算模型,其间部署了LHC光学专用网络(LHCOPN),以实现从0级站点到1级站点的预处理实验数据的分发,并附带支持1级站点之间的数据移动处理。而后,随着计算模型发展成为一个更加网状的配置,对2级站点之间以及2级站点与1级站点之间的数据移动的支持变得越来越重要,开发了LHC开放网络环境(LHCONE),为第2层提供了必要的网络支持。

1) LHCOPN

 

LHCOPN拓扑结构

 

LHCOPN的连接如图所示。它是为LHC数据传输和分析而保留的,具有高度弹性的体系结构,并依赖于单独部署或作为捆绑包部署的专用长距离10G和100G以太网链路。随着LHCONE的发展,第1层站点之间的大部分流量都从LHCOPN转移到LHCONE。此外,LHCOPN链路由LHCONE备份,因为CERN本身可直接连接到LHCONE。

1) LHCOPN

 

LHCONE是从计算模型更新中自然产生的,面向完全分布式处理,需要在任何1级和2级站点之间进行传输。它允许分担昂贵的资源成本,并使HEP(高能物理)流量与普通互联网流量分开。

LHCONE的核心服务是第三层VPN(虚拟专用网络),目前正在进行点对点(P2P)服务的工作,提供一定带宽的按需链接。它依靠路由VPN,使用VRF(虚拟路由和推进)实现,为HEP数据传输和分析提供专用的全球骨干网。

 

 

LHCONE L3VPN服务功能包括:

-以高带宽连接第1层、第2层和第3层的全球主干网

-专用于HEP数据传输的带宽

-允许绕过慢速外围防火墙的受信任流量

 

LHCONE L3VPN结构

 

LHCONE发展的意义:

  • 因为社区希望它发挥作用
  • –从网络运营商的角度来看,它可以有效地提供标记流量,这些流量可以通过流量工程来管理其对网络中特殊资源(如跨洋链路)的使用。
  • –从网络政治的角度来看,它允许LHC流量使用一般互联网流量无法使用的资源(主要是跨洋链接)。
  • –从LHC社区的视角来看,它提供了一种创建和管理定义良好且相对可信的环境的方法。
  • 因为CERN有(松散的)中央管理
  • 因为LHCONE使用与一般互联网相同的协议、路由、流程和程序进行操作。
  • –这使得它能够在全球范围内跨网络域扩展。
  • 由于LHC是许多R&E网络环境中的一个重要项目,因此它受到了供应商网络的工程师关注。
  • 因为它受到参与网络的国家和perfSONAR的密切监控
  • –如果要保持端到端的高吞吐量,perfSONAR监控至关重要

 

LHCONE L3VPN结构

 

LHCONE是研究教育网络供应商的一个合作项目,合作组织包括ESnet、GEANT、Internet2、SURFnet和NORDUnet等。2018年,在中国科技网、中国教育网的大力支持和帮助下,依托中欧国际互联网络资源,中国科学院高能物理研究所正式开通LHCONE。通过中国科技云中欧陆缆和中欧海缆线路,分别与欧洲科研网络GEANT建立LHCONE VPN连接;通过中国科技云西雅图节点和芝加哥节点,分别与北美科研网络ESNET建立LHCONE VPN连接。从而实现了在中国科技云网络基础设施与CERN LHCONE虚拟专网的多链路冗余对接。通过时延大幅降低的中欧陆缆线路,进一步提升了用户数据传输性能;通过欧洲北美2个方向、4条线路的冗余互联,大幅提升了中国科学院高能所与CERN网络互联可靠性,高效的支撑了用户国际合作数据传输应用。

 

LHCONE L3VPN结构

 

对LHCONE资源的完全访问支持了位于日本筑波的SuperKEKB加速器的国际合作项目Belle II。它是KEKB加速器的升级项目。尽管大多数Belle II成员站点已经参与了WLCG合作,两个主要地点,主实验室(日本的KEK)和美国的太平洋西北国家实验室(PNNL)没有。LHC社区允许了它对LHCONE的访问,随着PNNL现在完全连接和KEK的即将整合,Belle II合作项目成员的生产力将很快得到提高。