8月2日消息，据天眼查App显示，今日，华为再次成立一家新的子公司——深圳超聚变技术有限公司，注册资本1．5亿，法定代表人为郑丽英。据悉，深圳超聚变技术有限公司位于深圳市龙华区民治街道北站社区华侨城创想大厦2栋3801，涉及业务范围包括：技术开发；工业工程设计服务；物联网技术研发等。股东信息显示，该公司由超聚变技术有限公司全资持股，后者为华为技术有限公司子公司。据了解，在华为提升软件业务营收占比的背景下，超聚变技术公司的成立，可能意味着其针对物联网技术和业务的强化。图片来自piaxaby自从被美国加入“实体清单”，尤其是今年禁令升级后，华为的处境有些艰难，手机业务影响较大，因此华为消费者业务今年把更多的精力放在了物联网市场。“1＋8＋N”战略，搭建一个主入口（手机）＋八个辅入口＋广泛智能终端，是华为全场景智慧物联网战略在产品层面的体现。它和华为的服务及硬件生态平台、AI核心驱动力紧密相连，共同构成全场景智慧化战略。2020年华为鸿蒙系统升级到了2．0版本，鸿蒙OS是为了IoT而设计，而以鸿蒙OS为基础的IoT市场的发展空间。具体看来，华为的物联网战略是“以点带线、以线带面”逻辑，把控手机这一数字中枢，延展可以和用户、手机智能交互，且贡献稳定性收入的八个高频消费的产品。与此同时，华为又把控芯片和操作系统这些底层技术命门，接入华为生态伙伴，扩充智能硬件品类切入更多终端入口，打造一个以华为为核心、可供其他企业参与的物联网生态圈。BAT扎堆入局，抢食物联网万亿蛋糕除华为外，互联网公司也将目光投入到了这块“大蛋糕”，天风证券指出，物联网市场规模超万亿，未来仍存广阔市场空间。目前中国物联网市场规模已超过2万亿元人民币，同比增速持续维持在20％以上，同时IDC预计2025年全球物联网市场规模达到1．1万亿美元。庞大的市场规模吸引下，BAT纷纷将物联网作为新时代的竞赛场。2018年3月，阿里巴巴高调宣布全面进军物联网，IoT也是阿里继电商、金融、物流、云计算之后的一条新的主赛道，重要的方向之一是向客户提供“云管端”整体物联解决方案。此后，2020年7月，阿里云IoT、天猫精灵共同宣布联合成立AIoT创新中心，此次成立的AIoT创新中心设立了三大创新实验室、一个质量监控中心，同时启动城市和产业带的实验基地规划。如今阿里云已推出城市、工业、生活、园区等四大物联网平台，与合作伙伴提供超过2万个物联网解决方案和应用，覆盖城市、交通、工业、医疗、航空等领域的全部复杂交互应用场景。值得一提的是，阿里巴巴的入局，被看作2018年物联网领域的重要事件之一。因为原先牵头的是三大运营商以及华为、中兴等传统的电信厂商，以阿里为代表的科技巨头参与进来，对中小企业和整个产业都有极大的推动意义。随后，2018年9月，腾讯也进行重大战略组织架构调整，成立云与智慧产业事业群，物联网成为该事业群中重点领域之一，目标是利用自身优势为产业数字化升级提供解决方案。2018年9月，腾讯宣布历史上第三次重大组织架构调整，新成立了云与智慧产业事业群，提出了由消费互联网向产业互联网升级的战略。2019年12月，腾讯云首次携手合作伙伴举办了一场自己的IoT生态峰会，并强调腾讯云物联网战略全面升级，＂腾讯连连＂这款C2B产品首次在业界亮相。在2020年12月的腾讯全球数字生态大会上，腾讯云IoT宣布旗下＂腾讯连连＂品牌以及物联网平台IoT Explorer实现全新升级。腾讯云IoT平台通过对微信支付、微保、微众、腾讯健康、QQ音乐、腾讯云等资源能力的整合，构建了基于腾讯整体生态的IoT平台服务，开始面向消费、教育、政务等领域进行产业合作。百度更是在6年前就开始物联网云端平台的布局，现在的百度人工智能物联网正在凭借技术优势和创新应用助力产业升级，“云智一体”成百度智能云独特的竞争力，在各行各业加快规模化落地。小度助手从2017年7月15日推出DuerOS开放平台到去年7月3日发布小度助手5．0，形成交互、商业、内容三位一体的综合平台，完善易用的物联网基础设施和端到端的物联网解决方案。对百度来说，技术是支点，其物联网布局的核心思维是掌握关键入口产品，提供开放生态，最后寻求做大市场蛋糕。2020年9月，百度宣布旗下智能生活事业群组（SLG）业务完成了独立融资协议的签署。据官方信息显示，本轮融资由百度资本、CPE战略领投，IDG资本跟投。可以看出，腾讯、阿里、百度等都是以云平台为底座，其兼备云计算底层与AI、大数据等多个技术，合纵连横之下构建出一个复合的物联网平台。此外，小米也是AIOT时代必谈的一家企业。早前，小米称自己是“以手机、智能硬件和IoT平台为核心的互联网公司”。2020年更是动作频频，小米先后成立了可穿戴事业部、软件与体验部、业务中台部，整合了互联网业务部；从产品发布上来看，小米发布了透明电视、MACE Micro、小爱同学5．0升级为“智能生活助手”。作为国内率先布局AIOT的企业之一，小米和小米生态链共同构成了新的物联网模式——“互联网式”物联网。如今，投身物联网技术的企业已经行至AI和IoT的十字路口，如何进行有效融合、为IoT注入新的价值空间，将成为已经入局物联网领域企业的使命。来源：OFweek物联网原文链接：https://iot.ofweek.com/2021-08/ART-132216-8500-30515066.html

【功能模块】【操作步骤&问题现象】1、在开发环境下载 华为广西大数据6_4这个包2、到生产导入下载的包，安装失败项目：广西大数据局 ； 租户：zhanghuaping  ； 包： 华为广西大数据6_4【截图信息】【日志信息】（可选，上传日志内容或者附件）

【摘要】 为了让DBA们通宵加班找故障将成为过去式，减少运维工作量，我们针对华为云GaussDB(DWS)的运维整理了八大系列内容，帮您解决数仓和应用技术转型中遇到的实际问题，让DBA玩转数仓运维“不秃头”。  每一个奋斗在前线的DBA似乎运气都不太好，他们都经历过的诡异事件大概率是：逢年过节必出故障。眼看着要放假了，又接到故障通知，只好通宵加班找问题。没问题的时候可能大家都不会想到你，一出问题就先拿运维试问，于是每逢佳节便出现拜数据仓库的戏谑图片。  为了让DBA们加班找故障成为过去式，减少运维工作量，我们选取容灾、负载管理、数据上云等典型运维场景，围绕华为云GaussDB(DWS)多源数据融合分析、计算/存储资源规划、业务连续性的数仓高可用等核心技术，流式数据入库、集群管理、时区调整、扩容等运维技巧，帮助您解决实际业务运维场景中遇到的问题，让DBA玩转数仓运维“不秃头”。负载管理：让“笨”的数仓“聪明”起来  从四个核心技术为你解密，GaussDB(DWS)负载管理功能如何做好计算/存储资源的划分，让你的数仓“聪明”起来。  GaussDB(DWS)负载管理核心技术解密一：全景图及解决的场景  GaussDB(DWS)负载管理核心技术解密二：白话历史资源监视  GaussDB(DWS)负载管理核心技术解密三：工作负载管理测试分析  GaussDB(DWS)负载管理核心技术解密四：工作负载计划解密保障业务连续性，GaussDB(DWS)高可用有妙招  GaussDB(DWS)所有内部组件CN、DN、GTM、CM等采用多活或主备设计，通过集群管理进行故障检测和切换。在硬件层面，除了最基本的宕机、断网的直接故障外，GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景，做了大量的建模和针对性优化，能够实现故障的准确探测和自愈。并且还提供了双集群容灾能力，通过跨AZ、跨Region的物理复制，实现异构集群容灾。  GaussDB(DWS)高可用之数据复制  GaussDB(DWS)高可用之备机重建  GaussDB(DWS)高可用之CN&GTM组件高可用介绍  GaussDB(DWS)高可用之主备从HA技术  GaussDB(DWS)高可用之单点故障业务不中断  华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证全方位案例解读数仓数据融合  GaussDB(DWS)采用一套SQL引擎，支持Oracle、MySQL、HDFS等多源数据融合分析，并通过算子下推、加速集群等技术对分析性能进行了大幅优化，在数据免搬迁的前提下，实现了跨源数据免搬迁、高效分析。  GaussDB(DWS)数据融合：提升企业掌握数据之力数据上云是趋势，DBA掌握云端运维是关键  数仓未来是云，越来越多企业面临数仓和应用技术转型，云端运维成数仓运维需要掌握的核心。DWS提供了简单易用的Web管理控制台，帮助您快速创建数据仓库集群，轻松执行数据仓库管理任务。  GaussDB(DWS)云端运维系列手敲代码实践展示GaussDB(DWS)流式数据入库的三种方式  随着金融风控，以及IoT场景对数据实时处理分析的诉求，DWS实时数仓时序数据单机入库性能达10w/s，流数据达60w/s，并能够线性扩展，并且GaussDB(DWS)流式数据可通过Python、C和Java三种接口，让入库全程无忧。  GaussDB(DWS)流式数据入库实践[数仓性能调优从掌握最基本命令开始，十八般武艺轻松搞定数仓性能调优]  数仓性能调优是数仓应用开发和迁移过程中的关键步骤，在整个项目实施过程中占据很大的份量。它没有明确的衡量标准和对错之分，考验的是资深一线技术人员的隐式技能。开发者可通过该系列文章了解数仓的基本原理，然后结合调优思路，对各个调优技巧进行深入的学习。  数仓性能调优必读：从系统级到SQL级，带你进阶为性能调优高手一手掌握GaussDB(DWS)集群运维  GaussDB(DWS)现网运行的PB级数据量以上的大集群已经有10+个，最大商用单集群规模达到240节点。在产品能力上，GaussDB(DWS)可扩展至2048节点，并且该规模在12月已通过信通院的权威评测。另外，还实现了逻辑集群特性，一套物理集群可针对不同业务划分多个逻辑集群，数据相互隔离，支持跨逻辑集群的计算资源调动。通过逻辑集群，可以进一步扩展集群的规模。该系列从基本概念到核心功能，带你了解集群管理、通信等方面的应用之道。  GaussDB(DWS)集群管理系列  GaussDB(DWS)集群通信系列  GaussDB(DWS)逻辑集群系列这份GaussDB(DWS)基础运维知识，你要收藏  从理论到升级案例，带你掌握GaussDB(DWS)升级、扩容面临的疑难问题。  GaussDB(DWS)升级问题定位指南  GaussDB(DWS)扩容问题定位指南  GaussDB(DWS)时区相关知识  数字化浪潮汹涌而来，在5G、云、AI加持下，数仓不断升级演进，激发千行百业的创新和数字化转型。企业DBA更应该从传统的“数据保管人和数仓守护者”角色进行转变。在数仓的易操作、便捷维护等基础上，DBA需要更多地理解业务，用数据回答来自业务方面的诉求，而不仅仅是维护数仓的健康稳定运行，这真的是DBA们的机遇所在。本合集为《大厂内参》008期，欢迎大家持续关注。大厂内参根据开发者普遍关注的热门技术领域，汇编实践精华内容。从业务场景选型，应用案例分析，到前瞻趋势预测。以专题的形式，深度解读华为云核心技术，分享一线工程师的实战经验。【第一期】敏捷&Devops：80+篇实践干货分享，深度解读敏捷&DevOps如何革新软件开发【第二期】数据库：从数据库科普到核心技术解读、上云案例分享，全方位剖析云数据库【第三期】云服务器：选型解读+案例分享：云服务器“软硬技术”全公开【第四期】人工智能：海量实战经验教你零门槛进场AI开发，无成本负担玩转AI应用【第五期】云原生：读懂云原生2.0，看它如何重塑业务开发架构【第六期】云安全：Get防范云安全的必杀技，学会构建云上完整安全体系【第七期】物联网：“端边云”IoT全栈技术大揭秘，开发实战指南带你轻松上手IoT

人民网北京8月4日电 (记者李彤)在近期中国信息通信研究院主办的“2021可信云大会”上，中国信息通信研究院云计算与大数据研究所(以下简称“中国信通院云大所”)发布了《云计算白皮书》。中国信通院云大所所长何宝宏分享了2021云计算十大关键词：云原生、高性能、混沌工程、混合云、边缘计算、零信任、优化治理、数字政府、低碳云及企业数字化转型。何宝宏对人民网记者表示，云计算作为新兴产业，是激活数据要素潜能的关键支撑。当前，业界的关注焦点正从云计算资源的有效利用，转向新技术的应用落地。何宝宏认为，目前业界关于云计算的发展涉及到技术、架构、模式、安全、管理、能效等多个方面。对于技术而言，云原生加速重构了传统IT架构，给越来越多的领域带来了基于云的变革。在算力的推动下，云计算、大数据、人工智能以及智慧应用从概念走向实用落地，我国数字经济逐步向人工智能、芯片、物联网、大数据、云计算等算力依赖型产业聚焦。“在模式选择上，混合云已成为企业上云的主流模式。”何宝宏说，从产业供给来看，公有云服务商、私有云厂商、电信运营商、传统IT服务商、云管理服务商等众多厂商被混合云广阔前景所吸引，纷纷推出各自的解决方案，不同方案之间的竞争和碰撞加速了混合云在技术和架构上的进步。围绕技术应用，何宝宏以低碳云为例介绍说，低碳云是指利用云计算技术实现提高计算、存储、网络等资源利用率，全面提升全社会的资源性能，并将云与大数据、人工智能等技术融合，赋能企业和全社会节能减排的目标。根据IDC预测数据，2021-2024年继续采用云计算可以防止排放超过10亿吨的二氧化碳。这正是云计算技术在低碳领域的具体应用。中国信通院云大所副所长栗蔚表示，基于技术的进步，云计算产业呈现出了以下发展趋势。首先，云计算重新定义软件研发流程，打造了IT新格局；第二，云计算融合了新技术；第三，云计算整合了云网边端操作系统；第四，云计算打破了安全边界；第五，云计算改变了IT管理模式；第六，促进业务部门和技术部门更好地进行协同开发。“未来在软件、安全、管理模式、数字化转型、云网边一体化上，云计算都将展现明显的虹吸效应，这些都会因云计算而改变。相信在未来的10年，云计算虹吸效应会越来越显著。”栗蔚说。在2021可信云大会开幕式上，工业和信息化部信息通信发展司一级巡视员陈家春表示，云计算作为新型基础设施的重要组成部分，已成为经济社会数字化转型的重要推动力量。陈家春表示，“十四五”时期我国数字化转型进程持续加快，新技术、新业态加速迭代，云计算将为经济社会高质量发展提供新动能。她建议，要深化大数据赋能的成效，为企业上层业务整合有效资源，提供高效、低成本的支撑。充分发挥龙头企业的带动作用和技术溢出效应，不断完善产业生态体系建设。参会嘉宾也表示，云计算是打造数字经济新优势、加快数字社会和数字政府建设的重要方式，也是驱动生产方式、生活方式和治理能力变革的重要力量，具有巨大的发展空间和潜力。

人民网北京8月4日电 (记者李彤)在近期中国信息通信研究院主办的“2021可信云大会”上，中国信息通信研究院云计算与大数据研究所(以下简称“中国信通院云大所”)发布了《云计算白皮书》。中国信通院云大所所长何宝宏分享了2021云计算十大关键词：云原生、高性能、混沌工程、混合云、边缘计算、零信任、优化治理、数字政府、低碳云及企业数字化转型。何宝宏对人民网记者表示，云计算作为新兴产业，是激活数据要素潜能的关键支撑。当前，业界的关注焦点正从云计算资源的有效利用，转向新技术的应用落地。何宝宏认为，目前业界关于云计算的发展涉及到技术、架构、模式、安全、管理、能效等多个方面。对于技术而言，云原生加速重构了传统IT架构，给越来越多的领域带来了基于云的变革。在算力的推动下，云计算、大数据、人工智能以及智慧应用从概念走向实用落地，我国数字经济逐步向人工智能、芯片、物联网、大数据、云计算等算力依赖型产业聚焦。“在模式选择上，混合云已成为企业上云的主流模式。”何宝宏说，从产业供给来看，公有云服务商、私有云厂商、电信运营商、传统IT服务商、云管理服务商等众多厂商被混合云广阔前景所吸引，纷纷推出各自的解决方案，不同方案之间的竞争和碰撞加速了混合云在技术和架构上的进步。围绕技术应用，何宝宏以低碳云为例介绍说，低碳云是指利用云计算技术实现提高计算、存储、网络等资源利用率，全面提升全社会的资源性能，并将云与大数据、人工智能等技术融合，赋能企业和全社会节能减排的目标。根据IDC预测数据，2021-2024年继续采用云计算可以防止排放超过10亿吨的二氧化碳。这正是云计算技术在低碳领域的具体应用。中国信通院云大所副所长栗蔚表示，基于技术的进步，云计算产业呈现出了以下发展趋势。首先，云计算重新定义软件研发流程，打造了IT新格局；第二，云计算融合了新技术；第三，云计算整合了云网边端操作系统；第四，云计算打破了安全边界；第五，云计算改变了IT管理模式；第六，促进业务部门和技术部门更好地进行协同开发。“未来在软件、安全、管理模式、数字化转型、云网边一体化上，云计算都将展现明显的虹吸效应，这些都会因云计算而改变。相信在未来的10年，云计算虹吸效应会越来越显著。”栗蔚说。在2021可信云大会开幕式上，工业和信息化部信息通信发展司一级巡视员陈家春表示，云计算作为新型基础设施的重要组成部分，已成为经济社会数字化转型的重要推动力量。陈家春表示，“十四五”时期我国数字化转型进程持续加快，新技术、新业态加速迭代，云计算将为经济社会高质量发展提供新动能。她建议，要深化大数据赋能的成效，为企业上层业务整合有效资源，提供高效、低成本的支撑。充分发挥龙头企业的带动作用和技术溢出效应，不断完善产业生态体系建设。参会嘉宾也表示，云计算是打造数字经济新优势、加快数字社会和数字政府建设的重要方式，也是驱动生产方式、生活方式和治理能力变革的重要力量，具有巨大的发展空间和潜力。

1.    适用场景LVS软件安装就是将ipvs模块加载到内核中。通常RHEL系统内核中都带有ipvs模块。在x86平台下，SUSE 11 sp1/sp2/sp3/sp4和SUSE 12 sp0/sp1/sp2/sp3内核中是不带ipvs模块的。2.    前提条件注意：6.5.1及更早版本，需要修改脚本后，再执行安装： https://bbs.huaweicloud.com/forum/thread-179695-1-1.html现在大多数网卡都具有LRO(Large Receive Offload)和GRO(Generic Receive Offload)功能。即网卡收包时将同一流的小包合并成大包交给内核协议栈来提升接收性能。合并后的大包通常大于最大传输单元MTU（Maximum Transmission Unit）。而LVS内核模块在双网卡bond场景下处理>MTU的数据包时，会丢弃。此时，使用LVS来传输大文件，很容易出现丢包，传输速度慢。因此，当LVS使用的网卡是双网卡bond时，需要关闭客户端、LVS主备节点以及CN的bond网卡和物理网卡的lro、gro 、gso 、tso参数，具体如下所示（假设bond网卡名称为bond0，被bond的两个物理网卡是eth1和eth2）：步骤1 查看bond网卡使用的物理网卡：ifconfig|grep `ifconfig|grep "bond0"|awk '{print $NF}'`|awk '{print $1}'步骤2 关闭网卡参数命令如下：ethtool -K bond0 lro off gro off gso off tso offethtool -K eth1 gro off lro off gso off tso offethtool -K eth2 gro off lro off gso off tso off步骤3 使用下面命令查看是否关闭：ethtool -k bond0ethtool -k eth1ethtool -k eth2步骤4 显示如下信息表示lro、gro 、gso 和tso已关闭。tcp-segmentation-offload：offgeneric-segmentation-offload:offgeneric-receive-offload: offlarge-receive-offload: off由于系统在断电或者reboot之后，关闭网卡的命令参数会失效，所以需要将上述关闭网卡的命令写进开机启动项中（注：在客户端，LVS主备，CN节点上都需写入）：SuSE系统开机启动项文件使用vim打开，将步骤2关闭网卡参数命令复制进去：/etc/init.d/boot.localRedhat，Centos，Euleros开机启动项文件使用vim打开，将步骤2关闭网卡参数命令复制进去：/etc/rc.d/rc.localRedhat，Centos，Euleros平台修改完后添加可执行权限：chmod +x /etc/rc.d/rc.local 说明如果lro、gro、tso、gso不能正常关闭，请联系技术支持工程师提供技术支持。3.    对系统影响1) 安装LVS过程，需要关闭白名单，变更期间，服务不可用2) 安装LVS后，业务侧需要将业务中已经配置的连接配置信息，更新为LVS配置的浮动ip，需要提前和客户沟通好4.    变更步骤4.1关闭集群通信白名单步骤 1  现场实施人员知会并确认用户已完成数据库业务停止操作。步骤 2  以omm用户登录第一个正常的CN节点，执行如下命令注释用户白名单       以默认CN实例目录/srv/BigData/mppdb/data1/coordinator为示例，现场需根据实际情况进行调整。source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile  gs_ssh -c "hostname && if [ -f /srv/BigData/mppdb/data1/coordinator/pg_hba.conf ]; then cp -f /srv/BigData/mppdb/data1/coordinator/pg_hba.conf /srv/BigData/mppdb/data1/coordinator/pg_hba.conf_comment; fi "  gs_ssh -c "hostname && if [ -f /srv/BigData/mppdb/data1/coordinator/pg_hba.conf ]; then sed -i '/^[^#].*sha256.*/s/\(.*\)/#@#@#\1/g' /srv/BigData/mppdb/data1/coordinator/pg_hba.conf; fi "  gs_ssh -c "hostname && if [ -f /srv/BigData/mppdb/data1/coordinator/pg_hba.conf ]; then sed -i '/^[^#].*md5.*/s/\(.*\)/#@#@#\1/g' /srv/BigData/mppdb/data1/coordinator/pg_hba.conf; fi "步骤 3  以omm用户登录第一个正常的CN节点，关闭MPPDB实例节点下的后台访问连接和应用连接。具体操作如下：source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile gs_ssh -c "ps ux |grep -w gsql |grep -v grep |awk '{print \$2}' |xargs -r kill -9" gs_ssh -c "ps ux |grep -w ap_agent |grep -v grep |awk '{print \$2}' |xargs -r kill -9"步骤 4  以omm用户登录每一个CN节点，执行如下命令重启CN。执行以下命令，获取到CN的进程Pidps -ef | grep /srv/BigData/mppdb/data1/coordinator | grep -v grep执行以下命令，杀死CN进程kill -9 Pid执行以下命令，观察CN被重新拉起，并且Pid与之前获取的Pid不同ps -ef | grep /srv/BigData/mppdb/data1/coordinator | grep -v grep4.2安装负载均衡步骤1 在plat1上执行步骤2到步骤3安装负载均衡主节点，然后在plat2上执行步骤2到步骤3安装负载均衡备节点。然后分别在集群内有CN的主机上执行步骤2到步骤3将LVS虚拟IP地址绑定到各CN主机的lo网卡上。步骤2 以root用户身份登录服务器，执行命令启动环境变量source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile步骤3 执行gs_loadbalance安装LVS软件gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_8.0.0/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.146.156.101命令中各参数说明如下：-U：运行集群的操作系统用户名。必选。-X：集群配置文件。必选。--master：安装主LVS的主机名。必选。--standby：安装备LVS的主机名。可选。--lvs-addr：后续供客户端连接的LVS IP地址。必选。需指定为一个未被使用的虚拟IP地址，且此虚拟IP地址必须与业务IP在同一网段。对于有公网和私网双层网络的集群，推荐优先使用公网IP，如示例中的10.10.0.100。当然，对于不支持公网的集群，此虚拟IP也可以使用私网IP，例如10.146.156.101。安装LVS时，主LVS上会自动虚拟出该IP。主LVS损坏时，keepalived会自动将IP配置到备LVS上。在GaussDB A集群各含有CN的主机上执行时，该虚拟IP地址会自动绑定到lo网卡上。说明补丁安装场景中，集群安装时XML配置文件的存放目录为${BIGDATA_HOME}/FusionInsight_MPPDB_8.0.0.x/*_*_MPPDBServer/etc/mppdbinstall-config.xml，其中x为对应MPPDB补丁版本号。步骤4 检查安装过程是否成功在主备LVS上分别执行如下命令：ipvsadm -Ln执行上述命令后，如果出现如下屏显信息，则安装成功。IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnFWM  1 rr  -> 10.146.156.142:0          Route   1      0          0            如果只安装主LVS，不指定备的话，执行如下命令：ipvsadm -Ln执行上述命令后，如果出现如下屏显信息，则安装成功。IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  10.146.156.101:8120 rr  -> 10.146.156.142:8120          Route   1      0          0       步骤5 输入命令，查看加载是否成功lsmod | grep ip_vs显示如下信息，则ipvs模块加载成功，LVS软件安装完毕ip_vs_wrr              12697  0 ip_vs_wlc              12519  0 ip_vs_sh               12688  0 ip_vs_sed              12519  0 ip_vs_rr               12600  2 ip_vs_pe_sip           12650  0 ip_vs_nq               12516  0 ip_vs_lc               12516  0 ip_vs_lblcr            12929  0 ip_vs_lblc             12819  0 ip_vs_ftp              13079  0 ip_vs_dh               12688  0 ip_vs                 140944  27 ip_vs_dh,ip_vs_lc,ip_vs_nq,ip_vs_rr,ip_vs_sh,ip_vs_ftp,ip_vs_sed,ip_vs_wlc,ip_vs_wrr,ip_vs_pe_sip,ip_vs_lblcr,ip_vs_lblcnf_conntrack_sip       33860  1 ip_vs_pe_sipnf_nat                 26146  1 ip_vs_ftpnf_conntrack          105745  3 ip_vs,nf_nat,nf_conntrack_siplibcrc32c              12644  3 xfs,sctp,ip_vs实例 假定虚拟IP为10.10.0.100初始安装：gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_8.0.0/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.10.0.100屏显如下：No virtual ip address on local host.Begin to install load balance component...compareAndCheckVirtualIp ...Begin to check virtual IP...Virtual ip check succeed.Begin to install LVS component...Begin to install LVS component...The configuration file of LVS has been configure succeed. Succeed to restart /etc/init.d/gs_keepalived service.The 'gs_vip' file of CN configure succeed.Installed coordinator node files of load balance component successfully .Installed load balance component successfully .重复安装：gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_8.0.0/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.10.0.100屏显如下：Get old virtual ip from lo:0 successfully.Begin to install load balance component...Check virtual ip address...Begin to check virtual IP...Virtual ip check successfully.Begin to install LVS component...Begin to configure LVS keepalived...The configuration file of LVS has been configure succeessfully.Restart /etc/init.d/gs_keepalived service successfully.Installed coordinator node files of load balance component successfully .Successfully installed load balance components.4.3增加开机启动项iptables步骤1 集群环境在下电上电或者Reboot之后，打开如下文件：SUSE操作系统vi /etc/init.d/boot.localRedHat(CentOS)操作系统vi /etc/rc.d/rc.local步骤2 将iptables写入开机启动项：在LVS主节点的文件末尾添加：iptables  -t mangle -I PREROUTING -p tcp -m tcp -d $VIP --dport $VPORT -m mac ! --mac-source $MAC_Director_B -j MARK --set-mark 0x1在LVS备节点的文件末尾添加：iptables  -t mangle -I PREROUTING -p tcp -m tcp -d $VIP --dport $VPORT -m mac ! --mac-source $MAC_Director_A -j MARK --set-mark 0x1参数说明：$VIP：LVS指定的虚拟IP。$VPORT：CN的端口号。$MAC_Director_B：表示LVS备机网卡的mac地址。$MAC_Director_A：表示LVS主机网卡的mac地址。步骤2 RedHat(CentOS)操作系统（SUSE操作系统不需要执行该步骤）添加完成后，修改权限：chmod +x /etc/rc.d/rc.local 说明查看LVS主备上网卡名是否一致，如果不一致：a.手动执行如下命令清除iptables规则。iptables -t mangle -Fb.手动在LVS主备节点执行各自对应操作系统的iptables命令。4.4恢复集群通信白名单步骤1   以omm用户登录第一个正常的CN节点，执行如下命令注释用户白名单       以默认CN实例目录/srv/BigData/mppdb/data1/coordinator为示例，现场需根据实际情况进行调整。source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile gs_ssh -c "hostname && if [ -f /srv/BigData/mppdb/data1/coordinator/pg_hba.conf_comment ]; then  sed -i '/^#@#@#.*/s/#@#@#\(.*\)/\1/g' /srv/BigData/mppdb/data1/coordinator/pg_hba.conf && rm -f /srv/BigData/mppdb/data1/coordinator/pg_hba.conf_comment; fi "4.5配置负载均衡软件4.5.1配置集群的访问白名单使用负载均衡时，客户端是远程连接数据库的，因此，需要在GaussDB A集群中配置允许这些客户端远程连接。具体办法如下：步骤1   以omm用户身份登录安装有MPPDB服务的任一服务器。执行如下命令启动环境变量source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile步骤2   执行如下命令在所有CN的pg_hba.conf配置文件中增加一条客户端接入认证规则。假设客户端IP地址为10.10.0.35，即通过LVS远程连接数据库的机器IP地址。gs_guc set -Z coordinator -N all -I all -h "host all jack 10.10.0.35/32 sha256" 说明•-Z coordinator表示修改CN的pg_hba.conf。•-N all表示集群中的所有主机。•-I all表示主机中的所有实例。•-h表示指定需要在“pg_hba.conf”增加的语句。•all表示允许客户端连接到任意的数据库。•jack表示连接数据库的用户。•10.10.0.35/32表示只允许IP地址为10.10.0.35的主机连接。在使用过程中，请根据用户的网络进行配置修改。•sha256表示连接时jack用户的密码使用sha256算法加密。4.5.2配置keepalived主机网络故障监控该方法适用于网络隔离，一主多备环境, LVS主备部署在两个AZ上。假设LVS主在AZ2上，LVS备在AZ1上，做AZ1和AZ2的网络隔离，AZ2自杀,需要通过如下步骤进行配置。步骤1   以root用户登录主LVS服务器。步骤2   在主LVS服务器的“/opt”目录下新建脚本restartlvs.sh。脚本restartlvs.sh示例如下，加粗的IP（10.146.156.101）是LVS备的主机ip，请根据实际情况进行修改：#!/bin/bashfile=/tmp/tagfileexport PATH=/sbin:$PATHif [ ! -f $file ]; then    echo 0 > $filefi# 判断是否需要停止keepalived服务flag=`cat $file`ping 10.146.156.101 -c 1if [ $flag -eq 0 -a $? -eq 0 ];then    echo okelse    flag=1    echo 1 > $file    /etc/init.d/gs_keepalived stopfi# 判断是否需要重启keepalived服务ping 10.146.156.101 -c 1if [ $flag -eq 1 -a $? -eq 0 ];then    /etc/init.d/gs_keepalived restart    echo 0 > $filefi步骤3   执行如下命令确保root用户对restartlvs.sh具有可执行权限。chmod +x restartlvs.sh步骤4   将restartlvs.sh设为操作系统定时任务。执行crontab -e命令。crontab -e在打开的crontab配置文件中，添加如下内容。*/1 * * * * sh /opt/restartlvs.sh  >> /dev/null 2>&14.6安装效果验证4.6.1 LVS使用效果验证在LVS安装和配置完成后，可以按照如下方法快速验证LVS是否可以客户端连接均衡分发到各CN。步骤1 完成4.5配置负载均衡软件的配置后，以root用户分别登录各CN所在主机，输入以下命令，确认CN的监听列表是否已包含了LVS的虚拟IP。假设CN所在服务器的监听端口为25308，则命令如下：netstat -an | grep 25308  如下所示，LVS的虚拟IP“10.10.0.100”在监听列表中，因此监听正常。如监听列表中没有虚拟IP，则需重新安装负载均衡。tcp    0    0 10.10.0.100:25308    0.0.0.0.:*     LISTENtcp    0    0 10.10.0.13:25308    0.0.0.0.:*     LISTENtcp    0    0 127.0.0.1:25308         0.0.0.0.:*     LISTENtcp    0    0 :1:25308                :::*     LISTENUNIX 2    [ACC]    STREAM    LISTENING    399955141/TMP/PGSQL/.S.PGSQL.25308步骤2 查看虚拟IP（10.10.0.100）是否绑定到主LVS上，命令如下：ip addr结果如下：6:eth0: <BROADCAST,MULTICAST,UP,LOWER_UP>mtu 1500qdisc mp state UP qlen 1000    link/ether 4c:1f:cc:45:4b:89 brd ff:ff:ff:ff:ff:ff    inet 10.10.0.101/24 brd 10.10.0.255 scope global eth0    inet 10.10.0.100/32 scope global eth0    inet6 fe80::4elf:ccff:fe45:4b89/64 scope link        valid_lft forever preferred_lft forever如果停止主机上的keepalived软件，则该IP将立刻绑定到备LVS。步骤3 在客户端反复执行如下命令。执行次数至少为CN总数的2倍。gsql -d postgres -h 10.10.0.100 -p 25308 -U jack -W Gauss_234 -c "select pgxc_node_str();"其中，postgres为需要连接的数据库名称，10.10.0.100为LVS使用的虚拟IP地址，25308为CN的端口号，jack为数据库用户，Gauss_234为用户jack连接数据库的密码。请根据实际替换。步骤4 观察各次执行所返回的CN nodename。如果nodename在不停变化，则表示LVS功能可用。也就是LVS既能成功将对应的连接分发到各CN，又能成功将执行结果返回给客户端。例如下面的示例中，返回结果在cn_5001、cn_5003、cn_5002间不停变化。# gsql -d postgres -p 6000 -h 10.10.0.100 -U jack -W Gauss_234 -c "select pgxc_node_str();" pgxc_node_str --------------- cn_5001 (1 row) # gsql -d postgres -p 6000 -h 10.10.0.100 -U jim -W Gauss_234 -c "select pgxc_node_str();" pgxc_node_str --------------- cn_5003 (1 row) # gsql -d postgres -p 6000 -h 10.10.0.100 -U jim -W Gauss_234 -c "select pgxc_node_str();" pgxc_node_str --------------- cn_5002 (1 row) # gsql -d postgres -p 6000 -h 10.10.0.100 -U jim -W Gauss_234 -c "select pgxc_node_str();" pgxc_node_str --------------- cn_5001 (1 row) # gsql -d postgres -p 6000 -h 10.10.0.100 -U jim -W Gauss_234 -c "select pgxc_node_str();" pgxc_node_str --------------- cn_5003 (1 row) # gsql -d postgres -p 6000 -h 10.10.0.100 -U jim -W Gauss_234 -c "select pgxc_node_str();" pgxc_node_str --------------- cn_5002 (1 row)4.6.2 LVS主备切换验证步骤1 以root用户登录主LVS，查看虚拟IP（10.10.0.100）是否绑定到主LVS上，命令如下：ip addr如下结果表示虚拟IP（10.10.0.100）已成功绑定到主LVS（IP为10.10.0.30）的eth0网卡上。6:eth0: <BROADCAST,MULTICAST,UP,LOWER_UP>mtu 1500qdisc mp state UP qlen 1000    link/ether 4c:1f:cc:45:4b:89 brd ff:ff:ff:ff:ff:ff    inet 10.10.0.30/24 brd 10.10.0.255 scope global eth0    inet 10.10.0.100/32 scope global eth0    inet6 fe80::4elf:ccff:fe45:4b89/64 scope link        valid_lft forever preferred_lft forever步骤2 执行如下命令，在主LVS上停止keepalived软件后。重新执行ip addr，上一步查到主LVS上已经绑定的虚拟IP（10.10.0.100）将消失。cd /etc/init.dsh gs_keepalived stop步骤3 以root用户登录备LVS，经查虚拟IP已成功绑定到备LVS上。ip addr例如，下面结果表示虚拟IP（10.10.0.100）已成功绑定到备LVS（IP为10.10.0.31）的eth0网卡上。6:eth0: <BROADCAST,MULTICAST,UP,LOWER_UP>mtu 1500qdisc mp state UP qlen 1000    link/ether 4c:1f:cc:45:4b:89 brd ff:ff:ff:ff:ff:ff    inet 10.10.0.31/24 brd 10.10.0.255 scope global eth0    inet 10.10.0.100/32 scope global eth0    inet6 fe80::4elf:ccff:fe45:4b89/64 scope link        valid_lft forever preferred_lft forever

【功能模块】cumsum算子，将输入矩阵 按照  某一维度（由另一输入决定） 进行累加计算，输出同大小矩阵【操作步骤&问题现象】1、在性能测试时，小数据明显比tfkernel快上几倍2、但是当我切换成大数据时，tfkernel保持时间基本不变，aicpu的时间明显增加，变成tfkernel的几倍3、尝试进行并行，但是由于输入与输出关系是 ‘‘多对一’’，而样例中，则是 “一对一“，没有任何思路例：  [ [1, 2, 3]                                         [ [1, 2, 3]                                               [ [1, 3, 6]          [4, 5, 6]    根据 维度0计算的输出为     [5, 7, 9]      而根据维度1计算的输出为      [4 ,9, 15]          [7, 8, 9]]                                          [12,15,18]  ]                                          [7, 15, 24] ] 【截图信息】【日志信息】（可选，上传日志内容或者附件）

基于ARM Architecture的版本命名规则  （1）ARMv：固定字符串，即ARM Version （2）n：指令集版本号，目前主要是 1～8的 8个数字的版本，即 n=[1:8]。其中最新的版本是第8版。 （3）variants：表示某种变种的字符。如 T（Thumb）变种，M 变种，版本 4出来以后，M 变种已经成为系统的标准配置，因此通常并不列出。 （4）x（variants）：用字符 x 后面所跟的字符来表示被排除的某种功能，就是缺少某种功能的意思。 **例如：ARMv5TxM 表示的是** - 体系版本为第 5 版， - T 变种， - 没有 M 变种。 ### ARM体系的8个基本版本:V1-V8  ### ARM体系与ARM处理器关系 

7月30日，在华为云TechWave数据使能专题日上，华为云FusionInsight技术专家宋秉华博士携手清华大学软件学院院长、大数据系统软件国家工程实验室执行主任王建民教授发表演讲，共同分享了华为云FusionInsight技术团队携手国家级大数据实验室，探索时序数据库IoTDB。华为云FusionInsight技术专家宋秉华博士清华大学软件学院院长、大数据系统软件国家工程实验室执行主任王建民教授 传统时序数据库面临的痛点与挑战       随着物联网的飞速发展，工业领域中的设备、机器、传感器产生海量数据，例如物联网设备的温度、湿度、速度、压力、电压、电流以及证券买入卖出价等，且这些数值还将随着时间演进而不断变化，传统数据库在对这些带时间标签（按照时间的顺序变化，即时间序列化）的数据进行存储、查询、分析等处理操作时捉襟见肘，通用数据库无法满足所有需求、海量时序数据存储查询慢、工业级时序数据库产品需要高可用、存储成本居高不下、使用难等问题。IoTDB一套引擎打通云边端       IoTDB是由清华大学软件学院发起主导、华为深度参与的轻量级、高性能时间序列数据库，该项目于2018年11月正式开源，支持物联网数据收集、存储、查询与分析一体化的数据管理，支持“云-边-端”一体化部署与集成，适用于高端装备管理、工厂设备管理、高速网联设备管理等多种工业应用场景。IoTDB时序数据库聚焦海量杂时序数据的处理，具有“专、快、稳、省、易”五大特点，解决通用数据库和列式数据库在超大规模复杂时序场景的功能短板和性能瓶颈，轻松应对海量负责时间序列数据的处理，并能实现一套引擎打通云边端的时序数据分析。专，IoTDB总结了过去十年来在工业应用中遇到的典型需求，如千万级超大规模测点处理、乱序处理、多序列对齐、序列分割、子序列匹配、旋转门压缩、降采样存储等专业场景，有针对性地设计了TsFile专业时序存储格式和tLSM时序处理算法，解决了通用数据库在超大规模复杂时序场景的功能短板和性能瓶颈；快，时序数据库面临的场景要求数据采集频率高、每秒上万次采集，数据存储周期长，时间跨度大，IoTDB可实现单台服务器千万级数据秒级写入，十亿量级数据毫秒级聚合检索；稳，工业级的时序数据库产品需要具备高可用的基本保障，才能达到商用的要求，IoTDB创新性研究了国际内外的算法，通过对等分布式架构、双层多Raft协议、边云节点同步双活等机制实现高可用，满足7*24小时的零故障运行；省，成熟的工业时序数据库产品，存储成本在时间序列里占很大的比例，IoTDB解决工业客户对IT成本的敏感性，针对性的做了高压缩比算法，包括有损压缩和无损压缩，针对不同场景做自动识别，实现全量数据的低成本持久存储；易，产品的易用性是成熟商用产品的基础指标，IoTDB采用类SQL语句，降低客户使用成本，同时为客户提供查询、存储、分析全生命周期的一体化解决方案，降低客户使用门槛。IoTDB开源探索软件创新之路：产学研用目前，IoTDB已在众多应用场景中进行了落地实践。例如，全国多个城市采用IoTDB管理地铁监控数据，在传统时序处理方案中，端、边、云采用不同的技术栈，异构的技术栈带来数据处理的复杂性，原本需要13台服务器完成的业务场景，目前仅需一台IoTDB服务器就可解决，测点的采样时延也从原来的500ms降至200ms，日增4140亿数据点管理，有效提升资源利用率。        IoTDB时序数据库不仅解决了海量复杂时间序列数据的处理，同时也为软件创新探索出新的模式。王建民教授在演讲中提到：“未来，清华大学将依托大数据国家工程实验室，持续与华为为代表的大批优秀企业，探索产学研用的中国软件创新之路，实现企业与组织、代码与代码的丝丝相扣，让我们共同期待即将发布的MRS IoTDB时序数据库。”华为云FusionInsight MRS一架构三湖释放海量数据价值       MRS IoTDB是华为云FusionInsight MRS云原生数据湖中的时序数据库组件，近期将在FusionInsight8.1.0版本重磅推出高性能企业级时序数据库。华为云FusionInsight MRS可让客户在一个架构实现离线数据湖、实时数据湖、逻辑数据湖三种数据湖和集市能力，实现海量数据接入、治理、存储、分析和多模计算等场景，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快。       目前，华为云FusionInsight MRS云原生数据湖携手800+生态伙伴，已服务于3000+政企客户，广泛应用于政务、金融、运营商、能源、医疗、制造、交通等行业。更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

        7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年入选榜单。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。        “十四五”期间，大数据应用加速从消费领域向政务、公共服务、教育、交通、扶贫、工业、电信、能源、金融等领域渗透。数据驱动的新模式新业态不断涌现，大数据典型产品和成熟方案加速呈现。        《2021中国大数据产业发展白皮书》调研工作于2021年3月正式启动，调研范围覆盖国内主流大数据企业、各地方政府及面向大数据产业的投资机构，从基础支撑层、数据服务层、融合应用层对2020年中国大数据全产业链进行产业结构分析，并梳理出各个领域的龙头企业，最终评选出“2021中国大数据企业50强”。        作为连续六年入选中国大数据企业50强的企业，华为提供了面向数据的众多解决方案。其中，华为云FusionInsight智能数据湖为政企客户提供湖仓一体、云原生的解决方案，包含MRS云原生数据湖、DLI数据湖探索、DWS云数据仓库、DGC数据湖治理中心、TICS可信计算等云服务，用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快。MRS云原生数据湖助力客户在一个架构实现离线、实时、逻辑三种数据湖：离线数据湖：提供交互式、BI、AI等多个计算引擎，采用OBS实现存算分离，使得云原生数据湖的架构更灵活。同时还支持2万（通过集群联邦，支持10万+规模）节点的超大规模集群滚动升级，保障关键业务升级不中断；实时数据湖：通过Hudi支持ACID数据实时增量入湖、ClickHouse毫秒级OLAP分析等构建实时更新处理能力，使得供数时效从T+1到T+0；逻辑数据湖：HetuEngine提供跨湖、跨仓、跨云的协同分析，实现湖仓一体，减少80%数据搬迁，协同分析提效50倍。DLI数据湖探索：提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析，挖掘和探索数据价值。DWS云数据仓库：是一款具备分析及混合负载能力的云数据仓库，具有高性能、高扩展、高可用等特点，广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。DGC数据湖治理中心：一站式数据开发集成管理平台，包含数据架构、标准规范、数据开发、数据质量等功能，统一数据标准，加速数据资产沉淀。TICS可信智能计算服务：面向政企行业，打破跨机构的数据孤岛，在数据隐私保护下实现数据在流通、计算过程中端到端的安全和可审计，推动跨机构数据的可信融合和协同，安全释放数据价值。        以上特点是华为云FusionInsight团队，历经十年倾心打造，拥有专利500+，一直引领大数据技术创新发展。同时，华为云FusionInsight深入了解客户场景痛点，为政企数字化转型提供最坚实的数据底座。        在政务领域，在政务数字化参与部委、各省市智慧城市、数字城市建设。在某市，华为云 FusionInsight 联合伙伴建成“一云二网三平台”，针对民生、产业、政府的“痛点”和“难点”，从构建城市数据资源库为开端，以大数据分析支撑政府智慧决策，在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面，支撑 “一号、一窗、一网” 政务服务，让简政放权、百姓办业务“最多跑一次”成为现实。        在金融领域，华为云 FusionInsight在工商银行、建设银行、招商银行等银行、证券、保险行业广泛应用。在某行使用华为云 FusionInsight 构建大数据基础平台，支撑了一湖两库建设，保障银行 BI、AI、数据挖掘、数据分析等日常数据分析，实现全行即时 BI，加速银行数字化转型进程。        在运营商领域，已覆盖国内三大运营商以及海外运营商客户。其中广东移动基于华为云 FusionInsight，联合政企客户共同打造智慧电网、智慧港口、高清视频等系列标杆应用，打通数据全生命周期链路，实现对内业务支撑、对外应用赋能，全面支撑了各类政务、民生等大数据应用服务。        面向大企业客户，覆盖能源、交通、制造等行业客户大数据平台建设。其中深圳地铁采用华为城轨云解决方案，利用云计算、大数据、5G、人工智能等技术核心，建立了统一、开放、智能的城轨数字平台，利用华为云 FusionInsight MRS 云原生数据湖能力构建深圳地铁大数据分析平台，在智慧车站、智慧运维方面，对新技术与地铁场景进行创新融合，推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用，探索数字化、高效化的新业务模式，为城市提供更优质的公共交通服务。        目前，华为云FusionInsight智能数据湖携手800+生态伙伴，已服务于3000+政企客户，广泛应用于公用事业、金融、运营商、能源、医疗、制造、交通等行业。        7月30日14:30 华为云TechWave数据使能专题日，围绕“数据使能，激发数据要素价值”这一主题，邀请技术大咖、先锋企业、合作伙伴畅谈行业趋势与挑战、共话前沿技术、分享实践，共同探讨如何激发数据潜能，释放数据价值，助力企业智能化升级。 更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html  

作者：宋尧飞编者按：笔者在AArch64中遇到一个G1 GC挂起，CPU利用率高达300%的案例。经过分析发现问题是由JVM的锁机制导致，该问题根因是并发编程中没有正确理解内存序导致。本文着重介绍JVM中Monitor的基本原理，同时演示了在什么情况下会触发该问题。希望通过本文的分析，读者能够了解到内存序对性能、正确性的影响，在并发编程时更加仔细。现象本案例是一个典型的弱内存模型案例，大致的现象就是AArch64平台上，业务挂死，而进程占用CPU持续维持在300%。配合top和gdb，可以看到是3个GC线程在offer_termination处陷入了死循环： 多个并行GC线程在Minor GC结束时调用offer_termination，在offer_termination中自旋等待其他并行GC线程到达该位置，才说明GC任务完成，可以终止。（关于并行任务的中止协议问题，可以参考相关论文，这里不做着重介绍。简单地说，在并行任务执行时，多个任务之间可能存在任务不均衡，所以JVM内部设计了任务均衡机制，同时必须设计任务终止的机制来保证多个任务都能完成，这里的offer_termination就是尝试终止任务）。在该案例中，部分GC线程完成自己的任务，等待其他的GC线程。此时出现挂起，很有可能是因为发生了死锁。所以问题很可能是由于那些尚未完成任务的GC线程上错误地使用锁。所以使用gdb观察了一下其他GC线程，发现其他GC线程全都阻塞在一把JVM的锁上： 而这把Monitor中的情况如下：cxq上积累了大量GC线程OnDeck记录的GC线程已经消失_owner记录的锁持有者为NULL分析在进一步分析前，首先普及一下JVM锁组件Monitor的基本原理，Monitor类主要包含4个核心字段：“Thread * volatile _owner;” 字段指向这把锁的持有线程“SplitWord _LockWord;” 字段被设计为1个机器字长，目的是为了确保操作时天然的原子性，它的最低位被设计为上锁标记位，而高位区域用来存放256字节对齐的竞争队列(cxq)地址“ParkEvent * volatile _EntryList;” 字段指向一个等待队列，跟cxq差别不大，个人理解只是为了缓解cxq的竞争压力而设计“ParkEvent * volatile _OnDeck;” 字段指向这把锁的法定继承人，同时最低位还充当了内部锁的角色接下来通过一组流程图来介绍加解锁的具体流程：上图是加锁的一个整体流程，大致分为3步：1. 首先走快速上锁流程，主要对应锁本身无人持有的最理想情况2. 接着是自旋上锁流程，这是预期将在短时间内获取锁的情况3. 最后是慢速上锁流程，申请者将会加入等待队列(cxq)，然后进入睡眠，直到被唤醒后发现自己变成了法定继承者，于是进入自旋，直到完成上锁。 而且，基于性能考虑，整个上锁流程中的每一步几乎都做了“插队”的尝试：如上图代码中所示，“插队”的意思就是不经过排队(cxq)，直接尝试置上锁标志位。  上图就是整个解锁流程了，显然真正的解锁操作在第二步中就已经完成了(意味着接下来时刻有“插队”现象发生)，剩下的主要就是选出继承者的过程，大致分为以下几步：解锁线程首先需要将内部锁(_OnDeck)标记上锁从竞争队列(cxq)抽取所有等待者放入等待队列(_EntryList)_ EntryList取出头一个元素，写入_OnDeck的同时解除内部锁标记，这代表选出了继承者唤醒继承者当然伴随着整个解锁流程每一步的，还有对“插队”行为的处理。至此，JVM锁组件Monitor的原理就介绍到这里，再回归到问题本身，一个疑问就是_OnDeck上记录的继承者为何消失？作为继承者，既然已经消失在竞争队列和等待队列里，显然意味着它大概率已经持有锁、然后解锁走人了，所以问题很可能跟继承者选取过程有关。基于这种猜测，我们对相关代码着重进行了梳理，就发现了下图两处红框标记位置存在疑点，那就是在选继承者过程第3步中：写_ EntryList和写_OnDeck之间没有barrier来保证执行顺序，这可能出现_OnDeck先于_ EntryList写入的情况，一旦继承人提前持有锁，后果就可能非常糟糕… 这里贴了一张可能的问题场景：线程A处于解锁流程中，由于乱序，先写入了继承者同时解除内部锁线程B处于上锁流程，发现自己就是法定继承者后，立刻完成上锁线程B又迅速进入解锁流程，并从_EntryList中取出头元素(也就是线程B!)作为继承者写入_OnDeck，完成解锁走人线程A此时才更新_EntryList，然后唤醒继承者(也就是线程B!)，完成解锁走人_OnDeck上的继承者线程B，实际已经完成加解锁离开，后续等待线程再也无法被唤醒正巧在社区的高版本上找到了一个相关的修复记录，这里贴出2个关键的代码片段： 上面这段代码位于慢速上锁流程，被唤醒后检查继承者是否是自己，修复后的代码在读_OnDeck时加了Load-Acquire的barrier。 上面这段代码位于解锁时选继承者流程，从_ EntryList取出头一个元素，写入_OnDeck的同时解除内部锁标记，修复后的代码在写_OnDeck时加了Store-Release的barrier。显然，围绕_OnDeck添加的这对One-way barrier可以确保：当继承者线程被唤醒时，该线程可以“看”到_EntryList已经被及时更新。总结在AArch64这种弱内存模型的平台上（关于内存序更多的知识在接下来的分享中会详细介绍），一旦涉及多线程对公共内存的每一次访问，必须反复确认是否需要通过barrier来严格保序，而且除非存在有效的依赖关系，否则barrier需要在读写端成对使用。后记如果遇到相关技术问题（包括不限于毕昇JDK），可以在论坛求助（目前毕昇JDK最新的官网http://bishengjdk.openeuler.org已经上线，可以进入官网查找所有相关资源，包括二进制下载、代码仓库、使用教学、安装、学习资料等）。毕昇JDK社区每双周周二举行技术例会，同时有一个技术交流群讨论GCC、LLVM、JDK和V8等相关编译技术，感兴趣的同学可以添加如下微信小助手，回复Compiler入群。原文转载自 openEuler-JVM 锁 bug 导致 G1 GC 挂起问题分析和解决

厌倦了两点一线的996生活，你是不是也憧憬过在广袤的草原边，有一座小木屋，养一群牛羊，日出而牧，日落而归，享受慢生活带来的自由与宁静……但是，我必须说，养牛养羊可能并不像想象中的那么简单在没有限制的草场上，牛和羊也可能会迷路粗心大意没看住，丢了的牛羊找不到，白白承担损失如果健康状况难掌握，一旦牛羊染病则还可能引发更多问题……不过今天，“互联网+”的发展已经改变了我们的生活和生产，农业和畜牧业也在逐渐向着低成本高效率的产业化方向发展，养牛也不再单单依靠传统的人工放牧，有了更聪明的大数据和人工智能来帮忙，一人坐拥牛羊成群不是梦。上面的这些问题，都可以通过科技的帮助，轻松解决！比如在华为云云市场上线的星海畜牧**资产监管平台，利用物联网技术采集**位置及耳温数据等，通过大数据及人工智能技术提供**跟踪及健康状况评估服务。产品具体都能解决那些问题呢？1、**位置跟踪：展示**的大致位置分布，随时掌握牛只的动向，且平台提供边界预警，**超出活动范围时进行超出范围预警，不用人工放养，位置一目了然。2、**数量盘点：通过对**耳标进行数据采集，实现对区域内**数量进行盘点，数量不符合时，也可及时预警，有效减少**损失；3、**耳温监测：基于智能耳标对牛只的耳温数据进行实时监测，对发现异常耳温变化的牛只数量进行健康风险预警，并且可以查看牛只的历史耳温变化曲线，随时掌握牛只的健康状况，避免牛群因病造成大面积损失；4、设备管理：管理平台提供的环境监控设备、智能耳标、耳标基站、视频监控设备；一站式配齐，节省人力与时间成本；5、监管日报：每日凌晨生成前一日的监管数据汇总，以便查看管理，随之掌握运营状况。我国畜牧行业放牧发展至今，已经走过千年之久，从纯人力放牧，逐水草而居，到今天依托大数据实现“科学养牛”，能够足不出户掌握牛群动向及健康状况。技术的进步是将人逐渐从繁重的农业劳动中解放出来，用更科学的方法赋能传统行业，探索新道路。文中提到的商品链接：星海畜牧**资产监管平台热门上云商品0元体验>>华为云云市场免费试用中心（点击跳转）【华为云云市场，助您上云无忧】

【功能模块】【操作步骤&问题现象】1、今天不知道为什么会这样,下午开始就没成功过2、项目：广西大数据项目  租户:zhanghuaping  应用：Security Manageme、广西大数据局项目；【截图信息】【日志信息】（可选，上传日志内容或者附件）

7月27日，由中国信息通信研究院（以下简称“中国信通院”）、中国通信标准化协会主办的“2021年可信云大会”在京召开。中国信通院云计算与大数据研究所所长何宝宏在会上正式发布“2021云计算十大关键词”以及对应的重要发展趋势。2021云计算十大关键词分别是：云原生、高性能、混沌工程、混合云、边缘计算、零信任、优化治理、数字政府、低碳云、企业数字化转型。1云原生：云计算架构正在以云原生为技术内核加速重构随着我国在“新基建”领域的布局加速，云计算迎来全新的发展机遇，万千企业数字化转型提速换挡，也对云计算的使用效能提出新的需求。云原生以其独特的技术特点，很好地契合了云计算发展的本质需求，正在成为驱动云计算“质变”的技术内核。何宝宏判断，在未来的一段时间内，以云原生为技术内核重构IT架构将是大势所趋。2高性能：云端高性能计算驱动数字经济发展当前，算力推动云计算、大数据、人工智能及智慧应用从概念落地到现实，我国的数字经济也逐步向人工智能、智能芯片、物联网、大数据、云计算等“算力依赖型”产业聚焦。随着云计算不断发展，云上算力从计算资源、网络资源、存储资源三个维度不断丰富增强，云端高性能算力的大规模调度更为便捷、提供的算力形式更加多样化、运行任务透明、触达更多的应用。在此优势下，云端高性能市场逆势上涨。3混沌工程：为复杂系统稳定性保驾护航复杂系统的稳定性难以保障正在成为行业发展的痛点，混沌工程的出现和兴起，为复杂系统稳定性保驾护航，保证生产环境的分布式系统，在面对失控条件的时候，仍然具备较强的韧性。目前，混沌工程虽然已经在互联网、金融、通信、工业等多个行业逐步落地，但仍处于早期探索阶段，亟需标准规范推进行业健康发展。中国信通院已经编制了 《混沌工程平台能力要求》《混沌工程成熟度模型》《软件系统稳定性度量模型》等标准，并展开了混沌工程相关评估工作，同时还将成立混沌工程实验室。4混合云：成为企业上云主流模式随着十四五规划的进一步明确，混合云已成为未来国内云计算发展的重点之一。而近几年混合云技术和方案的快速发展，也使其在各个行业的应用不断深入，已成为企业上云的主流模式。从市场接受度来看，全球范围内有82%的用户已经应用混合云部署模式；从产业供给来看，公有云服务商、私有云厂商、电信运营商、传统IT服务商、云管理服务商等众多厂商被混合云的广阔前景所吸引，纷纷推出了各自的解决方案；从行业应用来看，混合云的落地实践和应用场景日益丰富。5边缘计算：呈蓄势待发之势边缘计算正在呈现出蓄势待发之势，产业关注度不断提高、技术体系日臻成熟、应用场景日益丰富、标准制定不断演进。纵观整个边缘计算产业生态，芯片设备、云服务商、运营商、软件与解决方案商、开源组织等企业和组织纷纷推出相关产品和服务，整个生态日益完善。中国信通院发布的“2021云边协同十佳案例”显示，边缘计算已经在工业、交通等重点领域得到了应用，未来随着产业生态不断完善，技术体系快速发展，边缘计算将在产业和企业数字化转型扮演重要角色。6零信任：与原生云安全不断融合随着企业上云进程的不断加快，传统以边界为核心的安全防护体系遭遇瓶颈，零信任、原生云安全等理念兴起，为企业建设新一代安全体系提供了指引。当前，云原生与云安全呈加速融合趋势。一是在运营阶段，零信任作为云安全产品不断原生化，零信任从私有化部署向SaaS服务演进、SD-WAN通过集成零信任，实现安全访问服务边缘（SASE），云上零信任实现了安全性能的弹性扩展，能够应对海量访问请求，同时微隔离作为零信任关键技术，对云内东西向流量进行访问控制，弥补传统安全防护机制在云环境应用的不足。二是原生云安全强调从研发阶段关注安全，越来越多的企业开始以零信任原则设计应用系统，云服务或云上应用将实现原生零信任，安全能力得到大幅提升。7优化治理：企业上云加速优化治理需求随着企业用云程度的加深，企业关注点从开始上云的咨询、迁移，逐步地转到上云后的优化，云优化治理体系逐步形成。云优化治理体系能够给企业上云策略制定、线路规划、采用实施、云上优化进行全生命周期的优化提升，让企业更懂云、更好的用云，为企业数字化转型提供新的动力。8数字政府：数字技术使能政府治理创新提高数字政府建设水平是“十四五”规划的重要篇章 ，随着数字政府迎来蓝海市场，企业纷纷加速布局。充分发挥云计算等数字技术的使能作用，推动政府治理流程再造和模式优化，不断提高决策科学性和服务效率是数字政府未来趋势。未来，数字政府建设水平和运营效果成熟度，将会成为行业关注重点。9低碳云：企业数字化与节能减碳齐头并进的技术引擎随着数字经济加速发展，企业数据中心成为能耗大户，严重制约企业和全社会的绿色发展。低碳云能够提升资源效能，赋能社会节能减碳。“低碳云”是指利用云计算实现提高计算、存储、网络等资源利用率，全面提升全社会资源效能，并将云计算与大数据、人工智能等技术融合，赋能企业和全社会节能减碳的目标。10企业数字化转型：从宏观逐渐到微观落地企业数字化转型是国家推动经济社会发展的重要战略手段。2017年，政府工作报告首次提出“数字经济”概念，至今已累计4次被直接写入政府工作报告。“十四五”规划中明确提出“以数字化转型整体驱动生产方式、生活方式和治理方式变革”等一系列重要规划目标，数字化概念，逐渐从宏观向企业各个环节的微观数字化落地。随着数字经济发展的深入，企业的数字化转型正不断地从宏观整体，向企业价值链中各环节微观模块渗透。校 审 | 陈 力、珊 珊编 辑 | 凌 霄”原标题：《中国信通院发布“2021云计算十大关键词”》

任何时代产物的发展，其实都需要一个学习的过程。而人工智能技术之所以能取得突飞猛进的进展，正是由于各类感应器和数据采集技术的发展，我们开始拥有以往难以想象的的海量数据，同时，也开始在某一领域拥有深度的、细致的数据。而这些，都是训练某一领域“智能算法”的前提。作者：测评面对面  来源：搜狐任何时代产物的发展，其实都需要一个学习的过程。而人工智能技术之所以能取得突飞猛进的进展，正是由于各类感应器和数据采集技术的发展，我们开始拥有以往难以想象的的海量数据，同时，也开始在某一领域拥有深度的、细致的数据。而这些，都是训练某一领域“智能算法”的前提。人工智能是基于大数据的支持和采集，运用于人工设定的特定性能和运算方式来实现的，大数据是不断采集、沉淀、分类等数据积累。人工智能技术立足于神经网络，同时发展出多层神经网络，从而可以进行深度机器学习。与以外传统的算法相比，这一算法并无多余的假设前提，而是完全利用输入的数据自行模拟和构建相应的模型结构。这一算法特点决定了它是更为灵活的、且可以根据不同的训练数据而拥有自优化的能力。当今信息化的四大版块：物联网、大数据、人工智能、云计算，它们之间是一个整体，有着本质的联系，具有融合的特质和趋势。云计算是一个计算、数据存储、通讯工具，物联网、大数据和人工智能必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术才能形成行业级应用。通过物联网产生、收集海量的数据存储在云平台，再通过大数据分析，以更高形式的人工智能提取云计算平台存储的数据为人类生活所需提供更好的服务。四者的关系就是，有效、合法、合理地收集、利用、保护大数据，是人工智能应用时代的基本要求。人工智能未来将是掌控这个实体的大脑;云计算可以看做是大脑指挥下的对于大数据的处理并进行应用，就是大数据储存在云端，再根据云计算做出行为，这就是人工智能算法。人工智能离不开大数据，更是基于云计算平台完成深化学习进化的。而不管是无人驾驶，还是图像识别、语音识别，系统底层架构应该都是基于大数据的逻辑算法，系统须先存储海量数据信息，比如路况信息、人脸数据、语音数据……根据底层大数据、人类的需求分析，然后编码成逻辑程序，再最终通过系统执行人的想法应用于机器或设备之上。人工智能、大数据、云计算是这个时代重要的创新产物，高速并行运算、海量数据、更优化的算法共同促成了人工智能发展的突破，它们具备巨大的潜能，能够不断催化经济价值和社会进步。