• [调优工具] Hyper Tuner进行HPC场景下的MPI/open MP混合分析
    请问进行用两台服务器多节点分析的时候,这两台服务器上都需要装Hyper tuner吗?还是只用其中一台装hyper tuner,然后在节点管理那里添加另一台的IP?
  • [问题求助] 急急急,在编译WRF-4.1.2组件过程中,编译hdf5组件报错
    centos7.6,内核版本4.14.0,编译完openmpi并配置环境变量后,开始编译hdf5-1.10.1,./configure ...命令后正常生成MakeFile,但make时报错,报错截图如下:使用相同架构的centos7.5,内核版本4.18.0进行编译,同样步骤不报错,请各位大佬帮忙看下问题如何解决,可电联18549921504
  • [计算] 裸金属的优势,然后怎么给高性能计算需求客户推荐上云
    裸金属:为用户提供专属的物理服务器,提供卓越的计算性能,满足核心应用场景对高性能及稳定性的需求,结合了传统托管服务器带来的稳定性能与云中资源高度弹性的优势。安全可靠裸金属服务器是用户专属的计算资源,支持VPC、安全组隔离;支持主机安全相关组件集成;基于擎天架构的裸金属服务器支持云磁盘作为系统盘和数据盘,支持硬盘备份恢复能力;支持对接专属存储,满足企业数据安全和监管的业务安全和可靠性诉求。性能卓越裸金属服务器继承物理服务器特征,无虚拟化开销和性能损失,100%释放算力资源。结合华为自研擎天软硬协同架构,支持高带宽、低时延云存储、云网络访问性能;满足企业数据库、大数据、容器、HPC、AI等关键业务部署密度和性能诉求。敏捷的部署效率裸金属服务器基于擎天加速硬件支持云磁盘作为系统盘快速发放;分钟级资源发放,基于统一console控制台、开放API和SDK,支持自助式资源生命周期管理和运维。4.云服务和解决方案快速集成裸金属服务器基于统一的VPC模型,支持公有云云服务的快速集成;帮助企业客户实现数据库、大数据、容器、HPC、AI等关键业务云化解决方案集成和加速业务云化上线效率。推荐高性能客户上云:选配ECS高配性能版-若客户的核心业务对于虚拟化环境运行无特殊要求,仅仅是性能要求较高,这是一个可用的选择;如果客户特殊异构计算的性能需求,可以推进GPU、AI、HPC、FGPA等异构计算服务若客户高性能业务不可兼容虚拟化环境,则可推荐BMS裸金属服务;
  • [计算] 裸金属的优势,然后怎么给高性能计算需求客户推荐上云
    裸金属:为用户提供专属的物理服务器,提供卓越的计算性能,满足核心应用场景对高性能及稳定性的需求,结合了传统托管服务器带来的稳定性能与云中资源高度弹性的优势。安全可靠裸金属服务器是用户专属的计算资源,支持VPC、安全组隔离;支持主机安全相关组件集成;基于擎天架构的裸金属服务器支持云磁盘作为系统盘和数据盘,支持硬盘备份恢复能力;支持对接专属存储,满足企业数据安全和监管的业务安全和可靠性诉求。性能卓越裸金属服务器继承物理服务器特征,无虚拟化开销和性能损失,100%释放算力资源。结合华为自研擎天软硬协同架构,支持高带宽、低时延云存储、云网络访问性能;满足企业数据库、大数据、容器、HPC、AI等关键业务部署密度和性能诉求。敏捷的部署效率裸金属服务器基于擎天加速硬件支持云磁盘作为系统盘快速发放;分钟级资源发放,基于统一console控制台、开放API和SDK,支持自助式资源生命周期管理和运维。4.云服务和解决方案快速集成裸金属服务器基于统一的VPC模型,支持公有云云服务的快速集成;帮助企业客户实现数据库、大数据、容器、HPC、AI等关键业务云化解决方案集成和加速业务云化上线效率。推荐高性能客户上云:选配ECS高配性能版-若客户的核心业务对于虚拟化环境运行无特殊要求,仅仅是性能要求较高,这是一个可用的选择;如果客户特殊异构计算的性能需求,可以推进GPU、AI、HPC、FGPA等异构计算服务若客户高性能业务不可兼容虚拟化环境,则可推荐BMS裸金属服务;
  • [其他] 浅谈Dongarra—高性能计算领域的首个图灵奖
    高性能计算领域的首个图灵奖,2021年图灵奖授予美国计算机科学家Jack J. Dongarra Dongarra通过对线性代数运算的高效数值算法、并行计算编程机制和性能评估工具的贡献,引领了高性能计算的世界。近四十年来,摩尔定律使硬件性能呈指数级增长。在同一时期,虽然大多数软件未能跟上这些硬件进步的步伐,但高性能数值软件却做到了,这在很大程度上归功于Dongarra的算法、优化技术和生产质量的软件实施。    这些贡献奠定了一个框架,科学家和工程师由此在大数据分析、医疗保健、可再生能源、天气预测、基因组学和经济学等领域取得了重要发现和改变游戏规则的创新。Dongarra的工作还有助于促进计算机体系结构的跨越式发展,并支持计算机图形学和深度学习的革命。Dongarra的主要贡献还包含了创建开源软件库和标准,这些软件库和标准采用线性代数作为中间语言,可以被各种应用程序使用。这些库是为单处理器、并行计算机、多核节点和每个节点的多个GPU编写的。这些库还引入了许多重要的创新,包括自动调整、混合精度算术和批处理计算。作为高性能计算的先驱,Dongarra带领该领域说服硬件供应商优化这些方法,并说服软件开发人员在工作中以他的开源库为目标。最终,从笔记本电脑到世界上最快的超级计算机,Dongarra的努力使得基于线性代数的软件库被普遍用于高性能科学和工程计算中。这些库对于该领域的发展至关重要,使功能越来越强大的计算机能够解决具有挑战性的计算问题。ACM主席Gabriele Kotsis解释道:“当今最快的超级计算机在媒体上成为头条新闻,并通过在一秒钟内完成万亿次计算的惊人壮举来激发公众的兴趣。但除了对打破新纪录的兴趣外,高性能计算(HPC)一直是科学发现的主要工具。HPC创新也蔓延到许多不同的计算领域,推动了整个领域的发展。Jack Dongarra在指引这一领域的成功发展中发挥了核心作用。他的开创性工作可以追溯到1979年,他仍然是HPC社区中最重要且积极参与的领导者之一。他的职业生涯无疑体现了图灵奖对‘具有持久重要性的重大贡献’的认可。”谷歌高级研究员、谷歌研究和谷歌健康高级副总裁Jeff Dean说:“Jack Dongarra的工作从根本上改变并推动了科学计算的发展。他在世界上使用最频繁的数值库核心所做的深入工作,是科学计算各个领域的基础,帮助推进了从药物发现到天气预报、航空航天工程和其他数十个领域的发展,帮助推进了从药物发现到天气预报、航空航天工程和其他数十个领域的发展。他专注于表征广泛的计算机已经为计算机体系结构带来了重大进步,(使其)非常适合数值计算。”    Dongarra一直是LINPACK、BLAS、LAPACK、ScaLAPACK、PLASMA、MAGMA和SLATE等多个库的主要实施者或首席研究员。这些库是为单处理器、并行计算机、多核节点和每个节点的多个GPU编写的。从笔记本电脑到世界上最快的超级计算机,他的软件库被普遍用在这些机器上进行高性能科学和工程计算。这些库体现了许多深刻的技术创新,例如:    自动调谐:通过他在2016年全球超级计算大会上获得时间测试奖的ATLAS项目来看,Dongarra开创了自动寻找算法参数的方法,产生了接近最佳效率的线性代数内核,往往比供应商提供的代码更出色。    混合精度算术:在2006年全球超级计算会议论文《Exploiting the Performance of 32 bit Floating Point Arithmetic in Obtaining 64 bit Accuracy》中,Dongarra率先利用浮点算术的多种精度来更快地提供准确的解决方案。正如最近在HPL-AI基准测试中所展示的那样,这项工作已在机器学习应用中发挥了重要作用,并在世界顶级超级计算机上实现了前所未有的性能水平。    批量计算:Dongarra开创了将大型密集矩阵计算(通常用于模拟、建模和数据分析)划分为多个小任务计算的范例,这些任务的块可以独立和并发计算。基于他在2016年发表的论文《Performance, design, and autotuning of batched GEMM for GPUs》,Dongarra领导开发了用于此类计算的批处理BLAS标准,它们也出现在了软件库MAGMA和SLATE中。
  • [技术干货] 【HPC】鲲鹏HPC解决方案介绍
    【背景】HPC(High-performance computing,高性能计算)是能够执行一般电脑无法处理的大资料量与高速运算的并行计算系统,将大规模运算任务拆分并分发到各个服务器上进行并行运算,再将计算结果汇总得到最终结果,从而实现强大的计算功能。HPC解决方案已经广泛应用于政府HPC、制造、气象、EDA等行业,但仍然面临诸多挑战:命令行交互操作复杂HPC集群用户大多数为非IT从业人员,不擅长使用命令行方式进行任务管理和数据管理操作。资源管理的维度不是基于客户视角设计,使用之前需要学习一些概念。资源管理配置比较复杂,用户不能快速掌握,配置容易出错。行业应用复杂HPC应用行业复杂,多种类型软件并存,需持续升级。数据安全问题数据频繁传输,效率和安全性问题需要保障。异常监控需及时发现集群中的异常、实现多集群统一管理、用户异常行为监控,异常监控项多变。工作流程不连续传统高性能计算系统与用户现有的工作流程脱节。用户需要登录不同的终端分别进行数据处理和传输,没有统一的门户对仿真业务流程进行整合。资源利用率较低孤岛式的用户工作模式,每个用户在自己的桌面工作站上工作,并不利于协同作业,容易因为资源闲置而造成浪费。集群规模小集群规模小,需要多个集群才能支持业务,增加运维工作量,无法支撑大规模并行MPI作业。集群吞吐量低,资源利用率低集群吞吐量随集群规模的增大逐渐下降,当前开源或者商业的调度器架构陈旧,对新场景无法支持,造成一个业务一个集群,进一步降低资源利用率。MPI耗时MPI通信耗时问题凸显,成为集群计算关键瓶颈。为应对以上挑战,Kunpeng Computing HPC Solution应运而生。Kunpeng Computing HPC Solution通过自研线下集群统一监控和调度平台CCPortal(Cluster Computing Portal)、集群管理调度器CCScheduler(Cluster Computing Scheduler)和华为高性能通信库Hyper MPI,构建HPC集群核心软件系统,充分释放计算性能,实现智能集群管理与调度以及通讯接口性能优化。【方案简介及优势】Kunpeng Computing HPC Solution将大量服务器和存储设备通过高性能网络互联构建大规模计算集群,集群中各个计算节点相互协同并行处理多个子任务。这种并行计算的方式可以帮助解决普通计算机和服务器难以完成或无法快速完成的大型模型计算、复杂课题研究等问题。Kunpeng Computing HPC Solution的优势如下:集群统一监控和调度平台CCPortal提供统一门户的集群管理软件。提供界面友好的集群使用环境与功能完备的HPC运维管理系统。构建完整HPC解决方案。集群管理调度器CCScheduler负责集群资源的统一管理和分配,调度作业运行,最大化的利用资源完成客户的各种类型的任务,加快客户的业务迭代。支持MPI并行作业。高资源利用率。高性能通信库Hyper MPI华为自研MPI,针对MPI通信TOP瓶颈,采用集合通信加速创新方案,性能逼近并逐渐超越业界最佳。安全可靠自研芯片、MPI、编译器、数学库等,掌握关键核心技术,提供产品可持续供应能力。遵从商业环境要求,信息安全主动防护,保障客户放心部署应用。提供三员管理+安全可信的信息安全高标准。业务应用覆盖制造、气象、EDA和政府HPC平台4个重点行业完成核心应用覆盖。高性能多调度器支持,业界首个提供异构调度器统一管理能力的高性能解决方案,支持HPC统一调度,华为智能网卡、SSD和GPU加速卡,加速高性能计算应用,提升客户应用性能表现。开放生态开放合作,兼容主流企业应用软件,支持丰富应用快速平滑移植,降低客户迁移成本。【功能架构】HPC功能架构分层结构如下图所示,针对各层HPC解决方案都有相应的产品布局。当前版本,继续提升应用移植与性能优化的数量;重点实现自研中间件软件栈的功能交付,HPC软件层具备商用销售能力。CCPortal主要实现应用中心与报表中心,支持作业提交、作业管理、应用集成、远程可视化、报表展示、计费等核心功能,对外提供简单易用的界面。CCScheduler是华为全自研的调度器,提供大规模集群下的高资源利用率、高吞吐量的作业调度能力。Hyper MPI实现Allreduce、Bcast、Barrier集合通信算法优化,小包场景下相比Intel MPI性能持平。使能x86服务器,集成OceanStor Pacific分布式存储系统,使能RoCE组网,支持解决方案集成交付。
  • [交流分享] 【悦识鲲鹏系列 第09期】鲲鹏高性能计算解决方案介绍和使用
    高性能计算(High Performance Computing,HPC)是一个计算机集群系统,它通过各种互联技术将多个计算机系统连接在一起,利用所有被连接系统的综合计算能力来处理大型计算问题,所以又通常被称为高性能计算集群。鲲鹏高性能计算解决方案 方案介绍:cid:link_2鲲鹏高性能计算解决方案 文档聚合: cid:link_0鲲鹏高性能计算解决方案 精华帖:cid:link_1
  • [热门活动] 华为云高性能计算型H3云服务器于2018年12月1日00:00(北京时间)调价通知
    尊敬的华为云客户:华为云对高性能计算型H3云服务器的产品价格进行相应调整,新价格从2018/12/01 00:00:00正式生效,生效后高性能计算型H3云服务器新购、续费均按调整后价格收取费用。具体价格详情如下:调价前实例规格规格大小价格单位小时月1年2年3年高性能计算型 H32核4 G元0.7324.73117.35065.35610.8高性能计算型 H34核8 G元1.41649.36233.610129.111219.9高性能计算型 H38核16 G元2.831298.712467.120259.722441.5高性能计算型 H312核24 G元4.2194818700.730388.633661.3高性能计算型 H316核32 G元5.772597.324934.340517.944881.3高性能计算型 H324核48 G元8.66389637401.460777.367322.5高性能计算型 H332核64 G元11.545194.649868.581036.489763.4高性能计算型 H32核8 G元0.78357.43430.95575.46175.9高性能计算型 H34核16 G元1.56714.76860.811149.312350高性能计算型 H38核32 G元3.111429.513722.722300.224701.8高性能计算型 H312核48 G元4.672144.320584.833450.337052.6高性能计算型 H316核64 G元6.372858.927445.444598.849401.8高性能计算型 H324核96 G元9.564288.541169.666900.674105.3高性能计算型 H332核128 G元12.745717.854890.989197.798803.6调价后实例规格规格大小价格单位小时月1年2年3年高性能计算型 H32核4 G元0.55263263044194734高性能计算型 H34核8 G元1.1525.9525988369467高性能计算型 H38核16 G元2.191051.9105191767318935高性能计算型 H312核24 G元3.291577.9157792650828402高性能计算型 H316核32 G元4.382103.8210383534437869高性能计算型 H324核48 G元6.573155.8315585301756804高性能计算型 H332核64 G元8.774207.6420767068875737高性能计算型 H32核8 G元0.73350.3350358846305高性能计算型 H34核16 G元1.46700.470041176712607高性能计算型 H38核32 G元2.921400.9140092353525216高性能计算型 H312核48 G元4.382101.4210143530437825高性能计算型 H316核64 G元5.842801.7280174706950431高性能计算型 H324核96 G元8.764202.7420277060675649高性能计算型 H332核128 G元11.675603.45603494138100862具体价格请在新价格生效后参考产品的计费详情页。如有任何问题,请联系华为云客户服务热线:4000-955-988或者联系客户经理。感谢您的支持与理解!
  • [热门活动] 华为云超高性能计算型Hi3云服务器于2018年11月20日00:00(北京时间)下线通知
    尊敬的华为云客户:华为云计划于2018/11/20 00:00:00将超高性能计算型Hi3云服务器正式下线。华为云在此提醒您,产品下线后,该产品实例将不可被使用,云服务器资源将被删除,为了避免影响您的业务,建议您在2018/11/19 23:59:59前做好迁移数据及数据备份。如您有任何问题,欢迎拨打华为云服务热线:4000-955-988与我们联系。感谢您对华为云的支持!https://www.huaweicloud.com/notice/2018/20181112181330620.html
  • 清华大学基于华为云高性能计算解决方案完成癌症基因组学大数据分析项目
    本帖最后由 speedy2016 于 2018-6-28 20:11 编辑清华大学基于华为云高性能计算解决方案完成癌症基因组学大数据分析项目 近期,清华大学生命科学学院杨雪瑞课题组基于华为云HPC基因组学大数据分析解决方案,完成了二十余种癌症的转录调控网络构建。华为云针对项目的大规模计算需求进行了个性化配置,极大的减少计算时间,从海量癌症多组学数据中挖掘基因转录调控通路,向揭示癌症发生发展机制又迈进了一大步。 该项目主要是为了探索在癌症进程中,转录因子(TFs)、靶基因(target genes)、长链非编码RNA(lncRNAs)三者之间的调控关系,构建转录调控网络;并基于该网络揭示癌症的发生发展机制,同时比较不同癌症中转录调控网络的异同。近年来,随着基因测序数据的不断积累和壮大,长链非编码RNA(lncRNAs)不断被发现并且执行了重要的生物学功能。因此在传统的转录因子和靶基因的调控关系中加入长链非编码RNA的因素,构建新型的转录调控网络,为探索癌症的发生过程和调控机制提供了新的可能。 基于华为云成熟的HPC解决方案,为该项目提供了极具针对性的资源配置优化,实现了大规模计算资源的合理分配,不仅实现了高效率计算,还节省了30%以上的时间成本。 当前华为云HPC基因测序方案,可提供基于FPGA测序加速的基因测序主机、基于超高IO块存储构建的lustre集群,以及超高上传下载性能的OBS browser工具和120TB大容量传送立方数据快递服务。相比传统基因测序流程可缩短5倍的测序时间,综合成本可降低40%。 清华大学生命科学学院有着悠久的历史,在科学研究、学科建设和人才培养方面都有着强大的优势,已发展成为我国最具特色和最有影响力的生命科学科研和教学基地之一。以基因组学为重要研究内容之一的计算生物学是学院的重要发展方向,而相关研究的深入也对高性能计算资源提出了大量迫切的需求。 测序行业的持续繁荣和测序数据的快速增长对平台的计算能力以及数据安全都提出了更大的挑战。未来,随着测序技术的不断发展,华为云将联合科研伙伴一起不断推动基因行业的发展和进步。