• openGauss社区理事会理事长江大勇:汇聚数据库创新力量,加速企业数字化转型
    12月29日,以“汇聚数据库创新力量,加速企业数字化转型”为主题的openGauss Summit 2022在线上举行。会上,openGauss社区理事会理事长江大勇围绕峰会主题发表了主题演讲,对外公布了openGauss社区及数据库生态的最新进展,同时发布了资源池化架构和全新升级的社区工具DataKit。江大勇指出,开源两年以来,openGauss社区与用户、开发者们、行业伙伴建立了紧密的合作,树立了技术的领先性,构建了繁荣的生态,给用户带来了创新价值,他号召更多的伙伴和开发者加入社区,共建中国最具创新力的开源数据库根社区。在技术层面,结合行业数据库发展最近趋势与行业需求,面向线下集中式场景,江大勇重磅发布openGauss资源池化架构,该架构由3层池化、1个平台和1个标准组成,实现了软硬融合、产业链的全栈创新。在应用层面,基于过去一年的实践经验与用户体验,江大勇推出了全新的数据生产力工具openGauss DataKit,该工具通过集成目前openGauss社区所有相关工具,打造工具超市,为用户提供快速检索服务,使用时更加快捷轻便。同时,openGauss还推出了存储过程调试工具,并与粤港澳大湾区国家技术创新中心联合推出了全栈性能分析工具。以下为演讲全文:各位来宾,线上的朋友们,大家上午好!欢迎大家参加openGauss Summit 2022,我是openGauss社区理事长江大勇,非常高兴再次在Summit相聚,与大家一起分享openGauss在过去一年取得的成绩,总结在行业实践获得的经验,探讨数据库发展的新路径和新思路。今天我与大家分享的主题是:汇聚数据库创新力量,加速企业数字化转型。感谢所有伙伴、企业和开发者的信任与支持,在过去一年中,openGauss在社区治理、生态发展和商业应用等方面都取得了不错的成绩,社区用户数首次突破一百万,社区贡献者也超过了4000人,有220家企业、组织加入社区,共同繁荣openGauss生态。商业方面,在十余个行业的核心系统中得到应用,在中国非云集中式数据库市场中占有率突破10%,累计使用超过三万套。数字技术正在加速落地行业应用,支撑着丰富的在线应用与服务,产业数字化加速产生了海量的数据,图、流、时序和地图空间等多种数据类型,这需要不同的算力架构做处理,所以数据库对计算的需求就由单一的通用CPU向GPU、NPU等多样性计算演进。对应数据库架构需要与时俱进,支持多样性计算,同时,高性能处理,多模融合成为数字时代数据库架构发展的重要方向。去年首届openGauss Summit我们提出了openGauss面向未来的技术愿景图,以内核为基础,水平扩展能力随之扩大应用场景,今年又取得了阶段性的成果,在产业数字化方面,联合ISV伙伴,目前已经适配了500多个行业解决方案,支持OLAP解决方案。针对多样性计算演进的趋势,推出了资源池化架构,openGauss首次实现的计算、内存和存储三层的解耦,层层池化带来更好的资源调度效率,更好的处理性能和创新的敏捷性。基于数据融合分析的趋势,推出了HTAP的架构,联合伙伴推出了图数据库openGauss-graph和知识图谱数据库,这使得openGauss可以实现多模数据的融合处理与分析。在内核方面,提供了智能优化器,同时多列基数估计准确率提升了百分之百;对业内主流产品的兼容性和迁移能力提升,也使得openGauss技术生态的繁荣度达到一个新的台阶。这些都是和产业链上的伙伴一起紧密合作,持续创新的结果。结合行业数据库发展最近的趋势与行业需求,面向线下的集中式场景,我们推出了openGauss资源池化架构。openGauss资源池化架构由3层池化、1个平台和1个标准组成。3层池化包括了存储池化、内存池化和计算池化。存储池化支持多种存储,如分布式存储、企业存储,实现一份数据服务于多种计算,并通过SQL算子卸载的NDP技术,大幅提升了SQL处理效率、消减了网络I/O流量。内存池化实现计算节点间内存的互联,通过同步事务信息和数据库缓存,实现了多节点下的多版本快照一致性读能力。结合RoCE和SCM等硬件,实现极致的Commit加速和大容量内存访问等能力。多模融合成为主流,计算池化支持多样性算力,基于鲲鹏、昇腾等算力,为应用提供从TP行存加速、AP列存加速、AI训练推理等全方位的数据服务。在计算池化层之上,我们定义了全场景的SQL标准,为应用提供数据分析、AI推理、图查询等的一系列查询接口,充分释放数据价值。最后,一体化平台实现智能运维、集群管理、资源编排等能力,实现数据库在高负载下的稳定运行和弹性伸缩。从数据库到底层硬件,通过全池化的架构,实现了软硬融合,产业链全栈创新。在过去的1年里,openGauss社区一直联合伙伴针对行业应用过程中的业务建模、开发、管理、安装部署和迁移运维开发了大量的工具,力图与用户业务创新实现同步。帮助用户从使用数据库到实现数据全生命周期的管理。今天,我很高兴为向大家宣布社区工具的升级。我们全新升级为数据生产力工具openGauss DataKit,集成目前openGauss所有相关的工具,形成工具超市,开发和运维人员快速按需找到自己需要的工具,方便快捷。同时联合伙伴给大家带来了存储过程调试工具,并与粤港澳大湾区国家技术创新中心联合推出了全栈性能分析工具。我们对DataKit定位,不仅方便快捷使用openGauss,还希望持续创新,由社区走向全产业链共同创新,共同繁荣openGauss的工具生态。openGauss开源以来,生态繁荣发展,社区携手海量数据、云和恩墨、神舟通用和南大通用等伙伴持续推进全产业链合作,不断推动openGauss在各行业核心场景的商用。openGauss支持3种发行版模式,即商业发行版、用户自用版、社区发行版,匹配客户不同的场景、不同商业模式的灵活选择。社区将推出2大测评标准,牵引发行版质量和专业服务能力的提升;我们将针对性的提供研发、市场、品牌等方面的权益和赋能举措。截至今天,我们联合伙伴累计完成了500个多个行业解决方案的适配,覆盖了政府、金融、运营商、安平等十多个行业,2023年我们将继续聚焦行业重点业务场景,在平台、工具、专家支持方面给与更多资源投入,目标发展600家ISV伙伴,构建1500个解决方案,加速openGauss在行业核心场景全面商用。从2021年起,我们联合教育部开启了智能基座计划,在72所高校推广openGauss,培养师资,联合育人。2022年产教育人基地扩大到省属重点高校,共计150所。到23年将会进一步扩展到行业特色高校累计覆盖300所高校。通过智能基座虚拟教研室,通过师资培训、教学资源、创新实践、竞赛四大平台工作组,将持续投入技术专家和资源,开展师资培训、教学研讨,实现教学资源共享。我们还要通过“互联网+”大赛、开源创新赛、鲲鹏应用创新大赛等活动,通过20多个赛区,赋能90000名学生,为产业界提供丰沛的人才资源。在过去两年的时间里,openGauss社区通过了220+成员以及24个特别兴趣小组,汇聚了社区创新者力量,共建了社区技术生态。通过社区式开发以及与openEuler、ShardingSphere等社区的合作创新,提升社区技术生态完善度,孵化技术生态项目。当前,社区已经在标准SQL及驱动、监控运维系统、数据导入导出工具、数据复制同步工具、数据访问中间件等15个生态维度,孵化技术创新项目50多个。未来,openGauss社区将持续与单位成员以及社区贡献者一起共建社区技术生态,打造最具创新力的开源数据库根社区。openGauss聚焦核心场景与客户联合创新,在多行业获得广泛商用,目前己累积部署超过3万套,其中,2022年新增部署超过2万套,占非云集中式新增市场份额的10%,这说明越来越多的用户信任openGauss、选择openGauss。例如在金融行业,中国邮政储蓄银行、民生银行,已经在核心系统中规模商用。还有中国移动不但在通信基础设施中使用openGauss,同时还基于openGauss社区版做了更多的创新。这只是一个开始,未来,我们将继续坚持联合创新的模式,欢迎更多的伙伴和开发者、用户加入社区、共同创新。接下来和大家分享一下中国邮政储蓄银行基于openGauss在数字银行变革方面的故事。从2019年底,邮储银行立项开始新核心建设,并在2020年选中openGauss,经过3年的开发与建设,在2022年实现原核心业务和用户全量平滑迁移到基于openGauss的新核心上,这是全球首家大型商业银行基于通用硬件和开源数据库开发的个人核心交易系统。新核心建成后,有效支撑了6.5亿用户,18亿帐户,4万个网点,性能与体验大幅提升,如柜面交易时间下降50%,交易记录查询从1年扩展到8年。为邮储银行未来十年发展打下坚实的基础。这大大坚定了openGauss在金融核心系统中的应用的信心,未来会有更多的业务核心系统选择openGauss。过去的2年,openGauss社区与各位伙伴、用户、开发者的紧密合作,树立了技术领先性,构建了繁荣的生态,给用户带来创新价值,各个方面都取得了快速发展。万里长征己走出坚实的一步,未来的征程更深远,我们须加倍努力!在这里号召更多的伙伴和开发者加入社区,共建中国最具创新力的开源数据库根社区,共创历史。转自华为计算公众号
  • 盘点|openEuler Summit 2022 精彩时刻
    12月29日,由欧拉开源社区发起并联合华为、麒麟软件、统信软件、麒麟信安、超聚变、中科院软件所、软通动力、润和软件等伙伴,共同举办的openEuler Summit 2022于线上举行。本次峰会以“激发原创力量,逐梦数智未来”为主题,行业领袖、业界资深专家、社区贡献者、广大开发者等齐聚一堂,共同见证了openEuler社区的重大进展,并围绕技术创新、商业落地、生态共建等话题展开深度探讨。接下来我们一起看下详细内容过去三年openEuler持续夯实内核能力,技术创新、实现多样性计算支持,全场景覆盖,为数字基础设施开源操作系统落地打下了坚实的基础。未来几年openEuler将从聚焦内核、编译器等核心组件扩展到围绕大数据、数据库等场景建设全栈生态,从迁移适配到提供开发平台SDK、使能应用、原生开发。同时,openEuler还将联合行业伙伴,通过全场景支持与协同来使能千行百业创新。以升级加速社区创新发展openEuler项目进入开放原子开源基金会一年多来,通过基金会孵化在治理章程、社区运作、资金募集等方面具备独立项目条件。为了更高效的开展以操作系统为核心的基础软件生态发展,本次大会,开放原子开源基金会理事长孙文龙宣布openEuler升级为项目群,与此同时,新一届openEuler社委员会全新亮相。未来欧拉将加速基础软件领域的创新项目孵化,加速技术落地和生产验证,为超大型开源项目的发展进行开创性的探索和实践。以技术创新把握操作系统发展机遇在此次峰会上,openEuler & Friends 3.0还进行了全场景联合创新展示,围绕用户使用全场景、全流程创新,分别从上(迁移 )、用(使用)、管(运维)三方面设计了10大demo。覆盖了服务器、云计算、边缘计算、嵌入式以及云边端协同等场景,充分展示了openEuler社区与伙伴的深度合作以及openEuler生态多样性场景和繁荣的开发者生态。从过去的总结来看,服务器、云、边缘、嵌入式是openEuler服务的几个主要的场景,支撑这些场景的发展主要通过调度编排、实时并发、数据存储、端云协同、安全可靠、异构互联、开发体验、服务智能等八个技术方向实现,所以用八个技术方向的创新引领全球操作系统产业的发展,这是openEuler主要的技术发展目标。面对海量的多样性设备与场景,开源生态也呈现多样化,各个社区难以有效协同,形成合力。会上,openEuler技术委员会委员吴峰光发布面向全场景的操作系统构建服务EulerMaker,可根据不同业务场景,快速构建定制化操作系统,共享统一的技术基线,减少重复适配,多方协同演进,聚合OS生态。会上,沙利文咨询报告指出,欧拉系服务器操作系统2022年市场份额达25%,已经跨越了生态拐点。2022欧拉物理机装机量超100万套,在政府、电信、金融三大领域2022 年新增装机量市场份额第一。以行业应用加速产业落地得益于openEuler社区的发展助力,银河麒麟操作系统连续 11 年位列中国 Linux 市场占有率第一名,已经服务了千行百业,其中金融行业是国民经济发展的晴雨表,关系国计民生。此次麒麟软件也带来了银河麒麟操作系统在某大型国有银行里的应用实践。此大型国有银行自2020年开始引入使用银河麒麟操作系统,目前已在办公管理类应用、一般业务类应用、核心业务类应用开展投产试点,全行已上线超1万套银河麒麟高级服务器操作系统V10。openEuler在不同行业均加速产业落地,统信软件openEuler版操作系统在鲲鹏、飞腾服务器架构完成了基于天翼云3.0和4.0的全面适配,双方合作服务了众多企业级客户。openEuler在能源行业的也有了大规模的部署。国能信控的网络架构采用的是基于openEuler的麒麟信安操作系统,实现每个场站数据的采集、存储、传输、计算、访问和应用,优化能源管理,并保证了供应链的安全性。由于运营商业务的场景非常的复杂,对操作系统的迁移也就提出了更高的要求。针对联通云业务场景,超聚变提供的软件配置自动同步技术,实现了联通云业务完成迁移之后配置文件原样恢复,业务无缝衔接,大量减少了迁移后繁杂的配置工作,以及配置时间。新浪微博技术专家张帅介绍,openEuler内核的CPU Qos特性非常好的满足了新浪微博的需求,通过在离线混部的方案将原有在线服务节点的CPU使用率从原来的25%提升到60%,当前混部节点的规模已经达到了上千台,为离线任务提供了数万个Vcore资源,加速了离线任务的运行速度,有效的降低了业务成本。以开源精神构筑开源生态openEuler社区的发展,离不开每一位贡献者在社区的专业和辛勤付出。在此次大会上,“欧拉之星”奖项,面向社区个人贡献者和优秀SIG组,围绕卓越贡献和用户发展两个维度评选,旨在激励更多个人和团队开发者参与到社区贡献中。会上,社区向突出贡献者及团队颁发 2022年度“欧拉之星”个人奖、团队奖。V、迁移&运维、用户&开发者体验等7大技术专场同期举行。分论坛聚焦操作系统几大核心技术方向展开深度探讨,全面介绍操作系统、多样性计算等领域的前沿实践经验与技术干货。面向未来,openEuler将持续聚合操作系统全产业链创新力量,充分释放开源协作的活力,引领操作系统迭代升级,共同推动中国操作系统产业繁荣发展。转自华为计算公众号
  • 【鲲鹏资讯】中创中间件:基于鲲鹏DevKit开发统一监管平台,性能提升55%
    数字时代,快速探索和响应用户需求是企业得以生存和持续发展的关键因素,在这样的背景下,企业的业务系统也正在逐步走向“互联网”架构,即通过高可用、弹性伸缩,按需迭代的系统,来支持企业快速推出新产品/功能,从而缩短客户旅程,抓住市场机遇。随着企业IT架构的不断演进,运维工作也面临新的挑战:业务难感知:企业缺少自动化技术手段进行管理,可能导致对业务系统的动态性预警不足,运维工作处于被动地位;故障难定位:运维人员的数据管理规模不断在扩大,在面对数百甚至上千的设备以及快速迭代的技术栈时,因缺乏标准化的管理,很难快速进行故障定位和排查;故障恢复慢:依赖手工排查故障、效率低耗时长,可能造成数小时内整个业务流程运行缓慢,甚至中断,给企业带来巨大影响。智能运维是提升企业运行效率、加速数字化升级的关键一环。智能运维综合利用物联网、大数据、机器学习等技术,实时监测管控系统运行状态信息,覆盖软硬件基础设施、应用、业务等多个监控维度,主动智能告警、可视化数据展示,帮助用户事前预测、事中定位问题、事后解决问题,保证用户应用的质量和可靠性,降低IT运维成本,为各行业领域提供良好的发展环境。山东中创软件商用中间件股份有限公司(以下简称“中创中间件”),是国内领先的基础软件产品与服务提供商,也是信息技术应用创新领域基础软件的主力军。中创中间件多年来一直致力于应用软件开发和智能化运维体系的构建,其解决方案广泛应用于信贷风险、金融租赁、高速公路、智慧海事、电子政务、智慧教育、智慧社区等领域。中创统一监管平台InforGuard UMP是中创中间件自主研发的一款集IT运行环境、业务应用、物联网监控于一体的全景多维综合监控运维产品,通过提供数据采集、数据处理、实时告警、可视化展现等功能,为用户快速构建起IT运维监控、业务可视化监控以及物联网监控等多个领域的统一监管平台,精准快速发现故障风险,降低运维难度,减少运维人力,保障了业务系统的安全稳定运行。随着越来越多的业务和应用被部署到云端,计算和存储资源池化,统一监管平台不仅需要满足跨域、分级、高可用的管理要求,还要能够关联软硬件资源、综合监管应用的可用性与健康度,并通过多维数据分析图表等可视化手段对信息系统的建设成果、运维质效进行全景呈现,这些都对承载业务的底层基础设施提出了更高的要求:① 低时延:实时查询和管控至关重要,告警等信息的查询响应时间要求在毫秒级;② 高可靠:数据可靠性要求高,要求对资源进行准确、实时的监控,在前端正确显示资源指标数据、状态并提供报警信息;数据的接收和上传也至关重要,服务一旦宕机,就会造成数据丢失、影响重大。考虑到鲲鹏平台在并行计算、低时延、高可靠等方面的优势,并且提供完善的开发工具鲲鹏DevKit实现应用到鲲鹏的快速迁移以及鲲鹏应用原生开发;因此中创中间件与鲲鹏达成了合作意愿,选择鲲鹏作为“中创统一监管平台软件V2.1”的IT底座,并在鲲鹏上原生开发中创统一监管平台软件的核心组件——界面及拓扑结构展现引擎。通过鲲鹏DevKit代码迁移工具快速迁移中创统一监管平台在该项目适配鲲鹏的开始阶段,研发团队需要将统一监管平台软件迁移到鲲鹏平台上,其中涉及9个子模块,共计77万行左右代码、以及大量第三方软件(包含Tomcat、MySQL、JDK、GCC等)。经分析,采用手动迁移的话,整个系统预计需要36人/天才能完成。鲲鹏DevKit代码迁移工具极大简化了应用迁移的过程,可以实现依赖文件自动识别、兼容JAR包一键下载、代码修改建议一键替换,无须耗时耗力检查跟进,提高了代码迁移效率。在鲲鹏DevKit的帮助下整个系统的迁移只用了13人天,平均每个服务不到2人天即可完成自动迁移。基于鲲鹏DevKit高效开发界面及拓扑结构展现引擎,性能提升55.96%在迁移完成之后,中创中间件需要针对中创统一监管平台的智能化运维,知识化管理,平台化支撑等业务场景,在鲲鹏平台上开发界面及拓扑结构展现引擎功能。该功能需支持超高的数据处理与存储性能,以满足政务、交通、海事、金融等关键行业应用的需求,因此对性能要求极高。因此,为进一步提升业务性能和稳定性,中创中间件在开发过程中将之前使用的OpenJDK替换为鲲鹏DevKit提供的毕昇JDK,毕昇JDK提供其高性能编译算法、场景应用感知、AI迭代调优等特性,能够进一步提升应用的运行效率,在告警界面查询场景下,平均响应时间缩短了35.94%。在编译完成之后,针对系统出现的性能瓶颈,开发人员还使用了鲲鹏DevKit性能分析工具针对统一监管平台的关键模块进行了如下调优:01通过鲲鹏DevKit调优助手工具中的系统配置分析识别出脏页面占用总内存问题,脏页面占用总内存比例(dirty_background_ratio)高达30%,对于磁盘写入操作为主的业务,数据积压太多易成为瓶颈;同时,该业务类型为IO密集型,比例过高也可能会导致IO集中以及突发的IO等待。在工具的建议下进行了优化,有效降低了脏页面占用总内存比例。02针对内存、字符串、锁等微架构场景,通过鲲鹏DevKit热点函数分析识别出一些函数可使用鲲鹏亲和的Glibc加速库进行优化。技术人员通过替换Glibc函数库,将加速代码与鲲鹏处理器做绑定优化,Glibc加速库充分利用鲲鹏指令及鲲鹏处理器架构优势提高了执行效率。通过上述的优化分析,中创统一监管平台展现引擎在鲲鹏上运行性能得到有效提升:登陆及概括页面的平均响应时间最高提升了55.96%、视图页面的平均响应时间提升了31.14%。通过智能分析实时预警,降低运维风险,提升运维效率,使系统整体运行状况可视可控,为系统运行提供更安全、稳定、高效的运行支撑。目前中创中间件「中创统一监管平台软件V2.1」已经在全国多省市落地,在政务、交通、海事、金融等行业皆以实现了规模应用。随着各个行业应用在国产化浪潮的持续深耕,作为鲲鹏计算产业生态重要伙伴,中创中间件希望与山东鲲鹏生态创新中心持续合作,通过最新的技术,打造更具竞争力的行业解决方案,为用户带来更好的运维体验。鲲鹏原生开发是指使用鲲鹏DevKit的原生开发能力,如鲲鹏开发框架(含场景化SDK)、编译调试工具、云测服务、调优&诊断工具等,在鲲鹏平台上开发新软件/新功能,充分发挥鲲鹏架构优势,从而获得开发效率/运行性能提升。未来,鲲鹏DevKit将持续增强开发体验、优化工具能力,提升鲲鹏开发效率,促进千行百业数字化转型。转自华为计算公众号
  • 操作系统产业峰会2022重要观点合辑
    立根铸魂崛起数智时代操作系统产业峰会2022要观点2022年12月28日-29日操作系统产业峰会2022及openEuler Summit2022以线上直播的形式成功举办关于欧拉,大会传递了哪些重要观点?让我们一起回顾!1欧拉系累计装机量超过300万套。2在中国服务器操作系统领域新增巿场份额达25%。3欧拉成为各行业数字化转型的首选,成为数字基础设施坚实底座。4这是中国首次在基础软件领域,依托全产业链力量,构筑关键技术根基,快速跨越一个技术路线的生态拐点。5欧拉支持x86、Arm、RISC-V、LoongArch、SW64、Power 六大处理器架构。在支持RISC-V基础软件方面,欧拉已经进入世界先进行列。6从技术创新,到加速用户规模部署,伙伴商业成功反哺社区贡献,欧拉已经形成一个正循环、自加速的生态发展体系。7openEuler社区已有650+企业、12000+名贡献者加入,组建了99个SIG组,全球下载量突破100万,每日活跃开发者3600+,每月新增10个创新项目,成为最具活力的操作系统开源社区8欧拉走出了一条既符合国际开源规则,又具备“中国特色”的基础软件发展道路,openEuler社区已基本达到同类社区的国际水准。9欧拉的快速发展证明,充分利用、参与、支持、回馈开源,是实现操作系统技术创新和产业繁荣的有效路径。10openEuler立足中国、融人全球。未来,欧拉持续汇聚全产业链力量,打造全球领先的数字基础设施操作系统。
  • [交流分享] 鲲鹏系列四: DevKit开发框架插件工具课程干货总结
    1、鲲鹏应用开发面临问题学习、体验、开发、测试环境难以快速获取,开发者及兴趣爱好者难以快速上手鲲鹏原生开发者亟需面向开发、编译调试、测试鲲鹏原生开发工具及配套资料。问题主要体现在开发、编译调试、测试三方面开发:缺乏鲲鹏亲和开发的实时引导;缺乏对鲲鹏特点的检查工具;依赖库生态难以快速获取。编译调试:难以充分利用微架构性能优势;无多样算力编译和调试能力。测试:兼容性测试工作量大;应用的安全性、稳定性、性能及功耗等问题难以保障。2、鲲鹏开发框架鲲鹏开发框架可以实现便捷使用鲲鹏架构优势、降低开发难度、提升开发效率的目的。鲲鹏开发框架提供了场景化SDK、代码亲和检查、编程辅助、鲲鹏调试器等多种功能,降低开发者学习开发鲲鹏应用的难度,方便使用鲲鹏架构提供的软硬件协同能力,提升开发效率。鲲鹏开发框架有以下优势:1)开发体验好易用:不改变开发者开发习惯,开发者学习成本低。好用:开发者鲲鹏应用敏捷开发,提升开发效率,使能开发者高效创新。2)架构自亲和开发过程屏蔽硬件复杂性3)应用高性能开发应用:发挥鲲鹏架构优势,释放鲲鹏算力,构建极致性能4)多算力兼容多样算力兼容远程编译和调试通用程序支持远程部署编译器支持毕昇编译器、毕昇JDK、GCC for openEuler支持远程编译,本地查看编译结果支持代码一键同步到远程服务器支持远程执行,远程调试应用程序
  • [交流分享] 鲲鹏系列三: DevKit性能分析工具课程干货总结
    工具产生的背景原因        系统性能的提升,需要综合考虑计算机硬件、操作系统、应用程序等多方面的因素,这些因素是互相影响的,要不断的调试、分析、调整相关参数,才能最终达到最优的系统性能。这一过程比较漫长,对人员的技术要求也比较高,很多情况下,调优人员在特定系统上花费了大量的时间,但是最终也不一定能达到性能的有效提升。不但如此,在系统出现故障或者异常时,要定位问题位置、找到触发的原因也是一件很繁琐困难的事情,为了协助开发者和调优人员在鲲鹏系统上有效调优、诊断异常,华为推出了鲲鹏性能分析工具,支持鲲鹏平台上的系统性能分析、Java性能分析和诊断调试,提供系统全景及常见应用场景下的性能采集和分析功能,同时基于调优专家系统给出优化建议。业界已经有非常丰富的性能分析工具,鲲鹏性能分析工具除了提供业界现有能力之外,还有下面四点考虑:        1)基于鲲鹏处理器,提供软硬件结合分析能力,采集和分析硬件性能指标,以及硬件性能在软件层的表现,让用户更加全面的了解整个系统的运行状况。        2)系统化的分析建立各层指标之间的关联关系、并以用户视角呈现这些指标和关系,方便用户更易于发现问题。        3)结合华为在鲲鹏处理器上的性能优化经验,给出优化思路和建议,帮助客户快速的定位和修复间题。        4)实现分析过程的管理,包括优化结果的对比,优化效果的标记,优化过程的记录等。工具介绍鲲鹏性能分析工具是一个工具集,包含调优助手、系统性能分析工具、Java性能分析工具、系统诊断工具。业界已经有非常丰富的系统性能分析工具,而鲲鹏性能分析工具的目标是在提供业界工具的能力之外,还实现几点独特功能: 基于鲲鹏处理器,提供软硬件结合分析能力,采集和分析硬件性能指标,以及硬件性能在软件层的表现,让用户更加全面的了解整个系统的运行状况。 系统化的分析建立各层指标之间的关联关系、并以用户视角呈现这些指标和关系,方便用户更易于发现问题。 结合华为在鲲鹏处理器上的性能优化经验,给出优化思路和建议,帮忙用户快速定位和修复问题。实现分析过程管理,例如:优化结果对比、优化效果标记、优化过程记录Kunpeng。软件架构工具从软件逻辑上分成Analysis Server和Agent两大部分: Analysis Server:主要作用是实现性能数据分析及 分析结果呈现。Agent:主要作用是实现性能数据采集。 
  • [交流分享] 鲲鹏系列二: DevKit编译调试工具课程干货总结
    编译调试插件介绍在实际的开发场景中,开发者经常需要在Linux服务器上进行开发、编译、调试和运行等操作。基于绝大多数开发者更习惯于在本地Windows环境中使用IDE编码,这需要开发者每次编写好代码后手动上传到远程服务器,然后在服务器上进行编译、调试一系列操作。若编译报错,需要在本地修改代码再上传编译;若运行报错,需要开发者在远程服务器调试、定位,最后修改代码再上传运行。为了解决用户重复手动上传代码,由于开发、编译、调试环境分离造成的开发效率低下等问题,鲲鹏推出KunpengComplier and Debugger Plugin鲲鹏编译调试插件。 鲲鹏编译调试插件是一款面向开发者的工具。该工具以插件形式集成到IDE中,可以简化在Linux服务器开发流程、提高开发效率;能够在本地IDE中实现一栈式部署、开发、远程编译、调试功能。是开发者必备的一款利器。 ​编译调试插件功能:        编译调试插件以插件的形式集成到IDE中提供给鲲鹏生态用户安装使用,当前工具支持三大功能,其特性分别如下,(1)部署编译器        支持通过本地IDE将编译器直接部署到远端服务器上        支持毕昇编译器、毕昇JDK、GCC for openEuler        从官方镜像站下载编译器,并在远程服务器部署(2)远程编译        支持通过本地IDE执行远端编译任务、本地查看编译结果        支持自动上传代码        提供可视化界面执行,无需重复手动编入编译命令(3)远程运行/调试        支持远程执行、调试功能编译调试插件功能特性与案例演示
  • [交流分享] 鲲鹏系列一: DevKit代码迁移工具课程干货总结
    处理器所支持的指令集不同,意味着开发者可能需要对代码进行跨平台的迁移。通常,代码迁移是件复杂又繁琐的工作,需要花费开发者大量精力对软件包、源代码、依赖库文件进行人工分析、检查和识别,手动修正不同指令集之间的相关差异,这些差异主要涉及语法、指令、函数和库文件支持情况。为了解决用户代码可迁移性人工排查困难、移植经验欠缺、反复依赖编译调错定位等,投入工作量大,整体效率低的问题,我们推出Kunpeng Porting Advisor鲲鹏代码迁移工具。 鲲鹏代码迁移工具是一款可以简化应用迁移到鲲鹏架构服务器过程的工具。主要面向鲲鹏平台的开发者、用户和第三方待迁移软件提供方开发工程师,对海量代码进行快速地自动化扫描和分析,提供专业的迁移指导报告。同时能够自动分析出需修改的代码内容,并指导如何修改,帮助开发者实现高效的代码迁移。同时支持原生开发代码亲和检查等能力。 代码迁移工具功能特性代码迁移工具可以作为独立软件提供给鲲鹏生态用户安装使用,支持的功能特性如下软件迁移评估检查用户提供的软件安装包,识别依赖关系,并提供鲲鹏兼容版本的so依赖库对应rpm的包OS发行版官方下载接检查用户在x86服务器上已安装的软件,识别依赖关系,并提供鲲鹏兼容版本的so依赖库对应rpm的包OS发行版官方下载接。源码迁移检查用户C/C++/汇编/Fortran代码软件构建工程文件,并指导用户如何迁移该文件检查用户C/C++/汇编/Fortran/python/Java/Scala/Go软件构建工程文件使用的链接库,并提供可迁移性信息检查用户C/C++/汇编/Fortran软件源码,并指导用户如何迁移源文件软件包重构分析用户x86软件包构成,重构为适用于鲲鹏平台的软件包。专项软件迁移基于我们丰富的软件迁移经验,帮助用户快速迁移Web、数据库、大数据、高性能计算四大解决方案类软件。鹏亲和分析目前含64位运行模式检查、结构体字节对齐检查、缓存行字节对齐检查、内存一致性检查、构建亲和检查。使用方式:支持命令行方式、Web、IDE插件三种工作模式,后两种方式下支持多用户并发扫描。限制:工具不支持迁移windows环境下的软件或者ISO/Mac OS平台应用至Kunpeng平台Linux环境下。应用场景:内存一致性(1):静态检查,检查用户软件迁移到鲲鹏平台可能存在的弱内存序问题并修复(2):自动修复功能,更新用户使用的GCC编译器,在用户软件的编译过程中自动完成弱内存序问题的修复(3):支持下载静态检查工具产生的BC文件,可根据实际需要进行BC文件扫描分析(4):静态检查工具、编译器自动修复工具组合使用,可一键式修复(5):支持自动生成目标工程的中间文件,不需要用户修改编译脚本
  • [问题求助] 客户想购买鲲鹏920的云服务器,咨询是否可以兼容外采的操作系统(麒麟/统信/中科方德三者之一)、数据库(人大金仓/达梦/海量其一)、中间件(东方通/宝兰德/金蝶)、浏览器(360安全、奇安信)及WPS2016/2019.
    客户想购买鲲鹏920的云服务器,咨询是否可以兼容外采的操作系统(麒麟/统信/中科方德三者之一)、数据库(人大金仓/达梦/海量其一)、中间件(东方通/宝兰德/金蝶)、浏览器(360安全、奇安信)及WPS2016/2019。即以下每项可任意兼容一款即可
  • [问题求助] 昇腾Pytorch安装过程中,编译生成pytorch插件的二进制安装包出错
    以下是环境基本信息:cmake版本:3.20.2  (没找到arm版本的3.12.0的cmake)使用pytorch基础镜像:22.0.RC3CANN版本:6.0.rc1报错截图:请问这个报错是什么原因导致的?
  • [问题求助] 华为云 鲲鹏服务器(CPU 鲲鹏920) 安装KAEZIP zlib加速库 失败(虚拟文件系统下 没有 对应的加速器设备)
    通过 https://www.hikunpeng.com/document/detail/zh/kunpengaccel/compress/devg-kaezip/kunpengaccel_kaezip_0007.html 进行操作,虚拟文件系统下 没有 对应的加速器设备,kaezip_perf 测试的压缩速度 也没到预期。
  • [问题求助] 鲲鹏任务调度平台是否提供API接口或者SDK?
    目前在鲲鹏任务调度平台执行任务,需要人工登录账号-修改任务配置--执行任务。鲲鹏有SDK或者接口支持这些操作吗?
  • [问题求助] 鲲鹏平台应用软件移植调优综合实验 基于华为云鲲鹏弹性云服务器部署OA系统。
    在该课程中,我在部署安装OA系统时,需要下载classpath.txt文件,但是视频中和实验指导书中的链接已经失效,wget https://hcia.obs.cn-north-4.myhuaweicloud.com/v1.5/classpath.txt,该步骤在实验指导书第34页,4.8步骤处在网上实在不到资源,寻求大佬帮助。
  • [问题求助] 在对软件进行资源调度分析时报错
    latency数据分析失败,请确认latency数据分析命令是否执行成功
  • 鲲鹏论坛12月技术汇总一览
    VarScan2 鲲鹏适配https://bbs.huaweicloud.com/forum/thread-0270107678327585006-1-1.htmlVarDict 鲲鹏适配https://bbs.huaweicloud.com/forum/thread-0287107678270079008-1-1.htmlSTAR-Fusion 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-02106107678140671003-1-1.htmlSomaticSniper 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0287107678091814007-1-1.htmlSomaticseq 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0229107677982505006-1-1.htmlSeqAn3 鲲鹏适配https://bbs.huaweicloud.com/forum/thread-0223107665632975004-1-1.htmlSAMtools 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0214107665439111006-1-1.htmlRSEM 鲲鹏适配https://bbs.huaweicloud.com/forum/thread-0214107665343331005-1-1.htmlPython3.9 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0223107665249181003-1-1.htmlPolysolver 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0214107665156157004-1-1.htmlOptiType 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0287107664995192005-1-1.htmlMuSE 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0229107664738436004-1-1.htmlLofreq 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0266106903832960031-1-1.htmlHDF5 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0241106889066147032-1-1.htmlGLPK 鲲鹏适配https://bbs.huaweicloud.com/forum/thread-0266106884229470027-1-1.htmlConda 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0245106883434293037-1-1.htmlCNVkit 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-02104106883380424035-1-1.htmlBoost 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0245106883047489036-1-1.htmlABSOLUTE 鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0238106821819690018-1-1.htmlxHLA鲲鹏部署https://bbs.huaweicloud.com/forum/thread-0285106798246576020-1-1.html通过在指定镜像生成容器https://bbs.huaweicloud.com/forum/thread-0277106412860226062-1-1.htmldocker用户组https://bbs.huaweicloud.com/forum/thread-0263106412615081074-1-1.htmlLinux用户和用户组相关命令https://bbs.huaweicloud.com/forum/thread-0258106412245438059-1-1.htmlcentos7.6升级openEuler20.03https://bbs.huaweicloud.com/forum/thread-02103106411725362047-1-1.htmlEasy IP特性与配置实验https://bbs.huaweicloud.com/forum/thread-0262107782310359009-1-1.html路由与交换Telnet AAA实验https://bbs.huaweicloud.com/forum/thread-0222107781379339009-1-1.html路由与交换之MSTP多区域与STP的兼容实践https://bbs.huaweicloud.com/forum/thread-02102107581939619013-1-1.html路由与交换高级IP ACL特性与配置实验https://bbs.huaweicloud.com/forum/thread-0260107581065143007-1-1.html路由与交换高级IP ACL特性与配置实验二https://bbs.huaweicloud.com/forum/thread-0282107531767303003-1-1.html路由与交换之RIPng协议的配置https://bbs.huaweicloud.com/forum/thread-0291107512199609009-1-1.htmlopenEuler 22.03 LTShttps://bbs.huaweicloud.com/forum/thread-0217106326628284066-1-1.html服务器分区、挂载、逻辑卷管理https://bbs.huaweicloud.com/forum/thread-0283105334734187041-1-1.html欧拉版本关键特性集成Kubernetes 1.20https://bbs.huaweicloud.com/forum/thread-0228106234262772040-1-1.html