• [问题求助] 【鲲鹏产品】【扫描检测功能】
    【功能模块】【操作步骤&问题现象】1、 /opt/depadv/tools/cmd/bin/dependency-advisor -P  /home/yx/code --tos 'centos7.6' 2、没有生成检测结果.csv【截图信息】【日志信息】(可选,上传日志内容或者附件)[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_begin_info:68] -------------------------------Start-----------------------------------[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_begin_info:70] *********************************************************************[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_tool_begin:58] **** The dependency advisor function: Generate a Kunpeng dependency report.[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_tool_begin:60] **** The dependency advisor version: dependency advisor v2.2.0.SPC200[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_begin_info:74] **** The current scanning task starting at 2020-09-19 17:41:22[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_begin_info:76] **** The current scanning task id: 20200919174122[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_begin_info:78] **** scanning begin>>>[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_begin_info:79] **** Start scan task from command line ...[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_api:__scan_binary_target:219] Scan binary files...[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:35] Start to scan dependency file(.so lib) from file or path...[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:58]  Scan dependency file(.so lib) from /home/yx/code/WisdomPark/.idea/.name[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:90] Scan dependency file(.so lib) from file: /home/yx/code/WisdomPark/.idea/.name[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:58]  Scan dependency file(.so lib) from /home/yx/code/js/zhyq/.gitignore[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:90] Scan dependency file(.so lib) from file: /home/yx/code/js/zhyq/.gitignore[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:58]  Scan dependency file(.so lib) from /home/yx/code/js/zhyq/LICENSE[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:90] Scan dependency file(.so lib) from file: /home/yx/code/js/zhyq/LICENSE[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:58]  Scan dependency file(.so lib) from /home/yx/code/js/zhyq/.editorconfig[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:90] Scan dependency file(.so lib) from file: /home/yx/code/js/zhyq/.editorconfig[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:58]  Scan dependency file(.so lib) from /home/yx/code/js/zhyq/.eslintignore[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:90] Scan dependency file(.so lib) from file: /home/yx/code/js/zhyq/.eslintignore[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [INFO] [scan_binary:scan_binary_libs:58]  Scan dependency file(.so lib) from /home/yx/code/js/zhyq/.project[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:90] Scan dependency file(.so lib) from file: /home/yx/code/js/zhyq/.project[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [INFO] [scan_file:scan_file:93] The extent of file to scan is [Sat, 19 Sep 2020 17:41:22] [ERROR] [scan_file:_test_file_type:138] Check file format(.so, .a, executable) failed: 'utf-8' codec can't decode byte 0xd3 in position 33: invalid continuation byte[Sat, 19 Sep 2020 17:41:22] [ERROR] [scan_file:_test_file_type:138] Check file format(.so, .a, executable) failed: 'utf-8' codec can't decode byte 0xd3 in position 33: invalid continuation byte[Sat, 19 Sep 2020 17:41:22] [ERROR] [scan_file:_test_file_type:138] Check file format(.so, .a, executable) failed: 'utf-8' codec can't decode byte 0xd3 in position 33: invalid continuation byte[Sat, 19 Sep 2020 17:41:22] [WARNING] [scan_api:__scan_binary_and_source:208] There is nothing to report: wrong files or path[Sat, 19 Sep 2020 17:41:22] [INFO] [scan_api:scan_binary_and_source:109] There is nothing to be ported.[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_end_info:85] The current scanning task ending at 2020-09-19 17:41:22[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_end_info:87] **** scanning end >>>[Sat, 19 Sep 2020 17:41:22] [INFO] [entrance_util:record_task_end_info:88] -------------------------------End-----------------------------------
  • [问题求助] 鲲鹏GCC编译器gcc-9.3.1-2020.09-aarch64-linux.tar.gz在哪能下载
    请问鲲鹏GCC编译器gcc-9.3.1-2020.09-aarch64-linux.tar.gz在哪能下载到啊?我没找到啊。
  • [问题求助] openlab上申请的弹性云服务器如何配置网络代理,使能访问鲲鹏、华为mavan仓?
    openlab上申请的弹性云服务器如何配置网络代理,使能访问鲲鹏、华为mavan仓?
  • [迁移工具] 鲲鹏开发套件教学视频来了,欢迎大家在线观看。
    鲲鹏开发套件开发团队制作了一批教学视频,演示工具的使用方法,已发布到华为云网站,链接如下:https://support.huaweicloud.com/kunpengdevps_video/kunpengdevps_video.html具体的内容见下面的截图:教学视频后续还会继续更新和扩展,欢迎大家反馈对这方面视频的意见、建议和需求。我们将尽最大努力满足大家的需求。
  • [技术干货] 【鲲鹏展翅】华为云·云享专家贺奎:鲲鹏服务器让国产化变为可能,数据库迁移首选RDS
    虽然国产替代的呼声一直很高,但国产化改造的过程从来不是一蹴而就的,软硬件迁移也是如此。个中的艰辛,也只有身在局中的人最有体会。 数据库迁移,首选华为云RDS        贺奎先后参与福彩快开乐系统路由设备开发,华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的:承担数据库迁移方案的设计与实施,包括组件编译、适配、部署、测试等,协助客户将数据库迁移到华为云鲲鹏服务器,从而达成降成本、国产化布局、数字化转型、产品升级等不同场景的迁移需求。在他看来,华为云鲲鹏服务器在大并发、高计算场景下可充分释放其众核算力以及低成本优势,尤其是华为开源OpenEuler操作系统、OpenGauss数据库都针对鲲鹏服务器做了专项优化,可将鲲鹏服务器的性能发挥到极致。谈到具体的数据库迁移情况,贺奎表示如果有客户需要将业务迁移到鲲鹏服务器时,他们首先会根据数据的敏感程度推荐不同的容灾备份方案以及安全服务,通常第一选择是华为云RDS,因为华为研发团队在RDS上针对鲲鹏服务器做了专项优化,降低了客户迁移风险。这其中又不得不提的一个产品便是数据复制服务(DRS),业务开发人员可用它将数据快速迁移到华为云,最关键的是操作简单方便,在页面点击即可,大大降低了迁移难度。贺奎举了个例子,某教育行业应用系统最初部署在私有云上,后准备迁移到华为云时,在华为云上使用自建MySQL数据库,但由于并发量较大,需要使用读写分离,操作过程中发现部署繁琐、容易出错,耗费半天时间数据同步功能还未验证成功。“后来使用华为云RDS服务,10分钟就将1主3备读写分离测试环境部署完成,然后使用DRS服务仅耗时30分钟,就将数据迁移到华为云服务器,大大提高了效率,业务仅修改数据库接口即实现应用快速迁移到华为云,后续业务还可以根据系统压力情况,适当增加数据库节点数。” 鲲鹏服务器:推动国产化浪潮在一次次的数据迁移过程中,贺奎强调开发者论坛提供了很多帮助:论坛上有一系列的自助迁移工具让客户自行将业务迁移华为云鲲鹏服务器。另外,针对预算充足的大企业用户,还可以购买鲲鹏移植专家服务,进行一对一指导迁移。不过,他也提到了华为云数据库产品的几点缺陷,贺奎认为,由于华为云起步晚,相较于其他友商还有很大的进步空间。比如进一步优化用户体验,可以傻瓜式进行应用代码开发及测试部署。“华为云RDS购买包年包月读写分离时,需要单独提交工单才可进行购买,否则无法动态添加只读实例。”从2019年7月开始接触华为云鲲鹏服务器,一年时间下来,贺奎也感触颇多,“华为云鲲鹏服务器在国产化浪潮中扮演重要角色,以底层芯片为基础,集合操作系统、数据库、中间件等软件,将国产化变为一种可能。”路漫漫其修远兮,始于鲲鹏服务器的国产化改造正在改变整个云服务市场的格局,序幕已经拉开,就看身在局中的开发者们,能让国产替代走向何处了。更多华为云·专家专访故事:https://developer.huaweicloud.com/experts/HWYZJ.html专家专访第一期《乘风破浪的开发者》一、云享专家潘永斌:在人工智能时代追逐的“后浪”二、华为云MVP袁覃:ModelArts助力银行客户经理的变形记三、华为云MVP余浩:AI开发:将简单留给开发者,复杂留给华为云四、华为云开发者华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发五、华为云MVP毛昌启:Developer 转型记:一个开发平台的“魔力”六、华为云MVP熊保松:华为云IOT是首选,小熊派是神器《华为云MVP&云享专家》官网华为云MVP:https://developer.huaweicloud.com/mvp华为云·云享专家:https://developer.huaweicloud.com/expert《华为云MVP&云享专家》推荐活动华为云MVP招募令:https://bbs.huaweicloud.com/forum/thread-53602-1-1.html云享专家征集令:https://bbs.huaweicloud.com/forum/thread-59104-1-1.html
  • [技术干货] 【鲲鹏展翅】华为云·云享专家覃璐瑶:刷新客户认知,开启鲲鹏生态的星海之旅
    如今,我们几乎所有软件都建立在 x86 架构之上,在互联网漫长的演进过程中,虚拟化、云计算、大数据、AI等一系列技术助推x86市场呈现出一派欣欣向荣的局面。但在这和平的表象之下,局外的力量正在让技术走向发生变化…… 在数字时代,单芯片的摩尔定律已经放缓,传统计算已经无法满足新的需求,计算进入架构创新的黄金时代。计算产业的发展先后经历了大型计算机、小型机、X86服务器阶段,下一个阶段将进入多元算力阶段, 为开启云上的多元新架构,鲲鹏生态作为最值得关注的关键自主技术生态,也是代表了一支新生产业生态力量。华为云鲲鹏云服务,成为了企业上云带来不二选择。 产品性能可靠,刷新客户认知 自从x86阵营推翻RISC的统治坐上企业计算市场的头把交椅,时间已经过去二十余年,鲲鹏服务器这种新崛起的力量在服务客户的过程中总是备受质疑。投入鲲鹏生态已经有一年时间的覃璐瑶,为我们讲述了两个故事。 l  你们的服务器稳定吗 在2020年4月的一天,覃璐瑶接到POC同事的求助,某客户的业务移植到鲲鹏之后出现概率性服务进程coredump,coredump是在调用OpenSSL的DSA_sign的接口时出现。该问题在原有的x86机器上没有出现,在鲲鹏上概率性出现。客户领导因此对鲲鹏的可靠性产生怀疑。 覃璐瑶听到这个求助表示,从问题的描述来看,确实像是鲲鹏上的openssl库存在缺陷导致问题。随后,她和研发小伙伴一起展开联合定位,查找问题原因。 他们通过gdb调试结合代码分析,发现openssl的代码存在缺陷,对于全局变量缺乏锁保护,导致多线程下值异常,最后将负值传参给size_t,引起越界访问,触发coredump。可是,为什么客户原有的x86系统没有出现这种异常呢?带着这个疑问,覃璐瑶按照客户的逻辑编写了多线程调用DSA_sign接口的demo程序。经过测试发现,该问题在x86上也会出现,有相同的复现概率,而且线程数越多,复现概率越高。 经过一番筛查,他们找到了真正的问题所在:x86机器因为核数少,该客户只开了十来个线程跑。鲲鹏拥有多核的优势,更适合多线程业务,客户分配了64个线程,问题出现概率大大增加。随后在解决掉openssl的bug之后一个月,x86的机器也出现了同样的问题,更加印证了问题的原因不是鲲鹏机器所导致的。 l  我的能量,超乎你的想象 乘着国产化的东风,许多企业选用鲲鹏也是作为第二种算力备选方案。但也会受一些先入为主的观念影响,认为鲲鹏就是不如x86设备。覃璐瑶每次遇到这种情况,都很是无奈。 这不,在今年5月份,收到客户的一份测试报告,报告显示鲲鹏的性能不足友商4系产品的1/10。看到这个报告,覃璐瑶心里觉得不可能,可是由于疫情原因,又无法到客户现场进行筛查分析。所幸当时使用的软件都是开源软件,覃璐瑶可以尝试本地复现。她通过搭建环境后并没有出现速度很慢的情况,又经过一番参数调优,软件运行速度在原有基础上又提升20%。 当把调优方案给到客户后,客户反馈性能没有任何提升,这让覃璐瑶大为头疼。带着不服输的心,覃璐瑶与客户展开了联合调查。经过一番分析,发现客户用的JDK版本与鲲鹏不兼容,配置的堆空间过小导致处理速度很慢。随后在解决问题之后,客户测试报告显示鲲鹏性能超过友商6系产品6%,完全超出了客户的想象。 栽好梧桐树,引得凤凰来 从一个服务器小白华丽转身,现已参与并完成了“鲲鹏性能调优十板斧”、“鲲鹏软件移植指南”等内容的撰写;面向ISV、合作伙伴开展了数场鲲鹏产品技术的培训;帮助20+客户完成性能调优、软件移植工作,覃璐瑶已经成为了一个优秀的鲲鹏技术步道者。“鲲鹏做为一个新兴的产业,也如同其名称,潜力巨大,必将一飞冲天!但鲲鹏的成长也离不开ISV伙伴、客户的参与和支持。只要我们一起相互信任、相互协作,必定能让鲲鹏展翅,冲向星辰大海。” 覃璐瑶谈到。更多华为云·专家专访故事:https://developer.huaweicloud.com/experts/HWYZJ.html专家专访第一期《乘风破浪的开发者》一、云享专家潘永斌:在人工智能时代追逐的“后浪”二、华为云MVP袁覃:ModelArts助力银行客户经理的变形记三、华为云MVP余浩:AI开发:将简单留给开发者,复杂留给华为云四、华为云开发者华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发五、华为云MVP毛昌启:Developer 转型记:一个开发平台的“魔力”六、华为云MVP熊保松:华为云IOT是首选,小熊派是神器《华为云MVP&云享专家》官网华为云MVP:https://developer.huaweicloud.com/mvp华为云·云享专家:https://developer.huaweicloud.com/expert《华为云MVP&云享专家》推荐活动华为云MVP招募令:https://bbs.huaweicloud.com/forum/thread-53602-1-1.html云享专家征集令:https://bbs.huaweicloud.com/forum/thread-59104-1-1.html
  • [技术干货] 【鲲鹏展翅】华为云·云享专家赵敏敏:从400+个鲲鹏云服务移植,到上云+鲲鹏,技术深耕求突破
    众所周知,云计算公有云服务改变了我们使用IT基础设施的方式,使我们能更灵活,更高效和更低成本地使用IT计算,网络和存储资源。 Cloud 1.0时代,采用通用计算架构是成本最优且高效的;Cloud 2.0时代是‘云+AI+5G’的时代,移动端应用的需求驱动云端计算形态发生改变,移动端继续采用通用云计算架构不再是最优选择,多元化云服务架构成为新时代的最佳选择。 随着5G技术的应用和普及,海量智能终端数据的应用需要一个新的云架构生态系统支撑,ARM架构能很好地支持应用移动化和终端化的需求。而华为云基于华为鲲鹏处理器打造了鲲鹏云服务和解决方案,正式开启云上的多元新架构。 正如郑叶来所言:“华为云每进入一个新产业,总是沉下心来做技术及能力的积累,然后便能做到一飞冲天。”这背后更是离不开众多的技术人的支持和奋斗,赵敏敏就是其中一位。 在2019年6月,赵敏敏刚接触到鲲鹏,就被鲲鹏芯片及鲲鹏云服务的多核优势在云原生、AI和高性能计算领域的前景吸引。在这之前她就职于中软国际科技服务有限公司欧拉交付部,是一名linux操作系统开发工程师。随后,她到了鲲鹏服务产品部,开始投入鲲鹏云服务迁移、移植、适配、改造、方案设计等相关领域技术研究工作中。 在2019年下半年的时间里,赵敏敏主要是负责鲲鹏架构上常用、热门、开源组件的迁移适配。赵敏敏讲到,在做迁移适配的过程中,使用过的鲲鹏云服务有弹性云服务器、云硬盘、容器实例、容器引擎、大数据平台、同城容灾备份、容灾演练、云数据库。 半年的时间,在鲲鹏云服务移植方面,赵敏敏成功迁移适配开源组件400+个,涉及centos、ubuntu、openeuler开源操作系统;mysql、mongoDB、pgSQL开源数据库;redis、memcached缓存组件;tomcat、nginx、nodejs等web开源组件;hadoop、spark、hive全套大数据开源组件和TensorFlow、Medpy、Pandas等AI领域开源组件。 不仅于此,在鲲鹏培训领域,2019年底成为华为云鲲鹏云服务讲师,面向社会及中软国际内部授课人次4000+人次,授课人群包含高校师生、企业管理者、售前、销售及研发人员。2020年开始,赵敏敏表示在开源组件鲲鹏迁移工作已经趋向饱满,便转向华为云+鲲鹏上云架构设计。她积极备考HCIE-Cloud Service Solutions Architect,希望借此机会能够更深入理解华为云和鲲鹏云服务关系,为企业上云打造优质的“+鲲鹏”解决方案。 在19年的工作中,赵敏敏不仅负责鲲鹏云服务移植方面的相关工作,还和中软国际的小伙伴一起将技术实践内容分享到华为云鲲鹏社区,为华为云鲲鹏开发者、企业提供技术支持。赵敏敏表示,在鲲鹏软件栈和鲲鹏社区,你可以找到所有常用开源组件鲲鹏迁移方法和step by step的教程。鲲鹏社区的氛围特别好,在这里可以感受到鲲鹏开发者的技术热情。  在谈到对鲲鹏的未来展望时,赵敏敏很坚定的说道,任何产业的升级都依赖于核心技术的突破,云计算也一样。可以预见的是,随着华为云鲲鹏云服务的飞速发展,相信华为云有了鲲鹏之翅,将会飞得越来越高,越来越快,相信一飞冲天也将不远。更多华为云·专家专访故事:https://developer.huaweicloud.com/experts/HWYZJ.html专家专访第一期《乘风破浪的开发者》一、云享专家潘永斌:在人工智能时代追逐的“后浪”二、华为云MVP袁覃:ModelArts助力银行客户经理的变形记三、华为云MVP余浩:AI开发:将简单留给开发者,复杂留给华为云四、华为云开发者华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发五、华为云MVP毛昌启:Developer 转型记:一个开发平台的“魔力”六、华为云MVP熊保松:华为云IOT是首选,小熊派是神器《华为云MVP&云享专家》官网华为云MVP:https://developer.huaweicloud.com/mvp华为云·云享专家:https://developer.huaweicloud.com/expert《华为云MVP&云享专家》推荐活动华为云MVP招募令:https://bbs.huaweicloud.com/forum/thread-53602-1-1.html云享专家征集令:https://bbs.huaweicloud.com/forum/thread-59104-1-1.html
  • [技术干货] 【鲲鹏展翅】华为云·云享专家刘坤:一次刻苦铭心的鲲鹏软件迁移,让我学会太多
    在计算行业,如何提供更强的算力一直是永恒的话题,也是无数科研技术人员努力的方向和目标。刘坤便是这其中的一员,作为鲲鹏计算产品部的研发工程师,他每天的工作内容就是鲲鹏软件的迁移和性能调优,让上层软件业务得以在国产化高性能算力平台上得到最佳运行体验。从小试牛刀遇到一堆技术坑,到推出便捷的迁移开发套件,国产化改造的过程总是充满了未知的艰辛,刘坤形容当时那种徒手、死磕的迁移过程还挺痛苦的,万幸在一次次的尝试和调优后,他们找到了鲲鹏迁移的康庄大道。  一次刻苦铭心的鲲鹏软件迁移去年1月,由华为自主设计完成的鲲鹏920芯片正式发布,作为目前业界较高性能的arm架构处理器,鲲鹏920采用7nm制造工艺,主频为2.6GHz,单芯片可支持32/48/64核,最大支持8通道DDR4,足够提供强劲的内存带宽。基于华为鲲鹏处理器,适合为大数据、分布式存储、原生应用、高性能计算和数据库等应用高效加速,而且鲲鹏920在SPECint Benchmark评分中也有较高的分值水平,以更低功耗为数据中心提供更强性能。刘坤表示,实操过后更能体会到鲲鹏处理器的妙处。这一年里,刘坤迁移过很多软件到鲲鹏处理器上,既有C/C++编译型语言软件,也有像Java、Python这种解释型语言软件。其中,令他印象最深的是涉及大量汇编、编译选项、SSE intrinsic函数的impala、kudu组件,这个组件的迁移,牵涉到非常多的重新编译工作。首先当一个软件从其他架构平台搬迁到鲲鹏处理器,需要对其重新编译。刘坤解释道,“鲲鹏处理器采用的是精简指令集,其汇编指令和其他架构存在差异,指令的不同导致鲲鹏处理器无法识别其他架构的指令,自然需要针对汇编指令进行移植。”其次,编译器针对不同平台有相应的编译选项进行匹配,指示编译时需要使用该架构特有的属性编译,毫无疑问地也需要对应迁移。比如SSE intrinsic这类X86下特有的SIMD扩展指令集函数,由于基于X86架构特有向量寄存器支持设计,在鲲鹏处理器下也应该替换成鲲鹏处理器的NEON intrinsic函数。“当时和同事们鏖战了很久,真的是艰苦奋战,还好最终顺利完成了组件的迁移,并在保证基本功能完善的同时还优化得到较好的性能。”  投身鲲鹏生态建设,乐在其中虽然迁移过程中困难重重,但刘坤也是乐在其中。“一个复杂组件的迁移,让我从软件到硬件层面理解了架构差异带来的变化,也第一次接触到了NEON向量指令、向量寄存器,并对软件的编译、加载、运行过程有了更深刻的认识。”基于多个鲲鹏迁移项目的经验,刘坤和团队也将技术进行系统化的优化,开发了华为鲲鹏开发套件,这其中包含分析扫描工具(dependency advisor)、代码迁移工具(porting advisor)以及性能优化工具(Tuning Kit)。举个例子,之后的软件迁移中,只需用代码迁移工具就可以快速的完成以上组件的迁移,让软件迁移变的轻松、快速。经过一年多的努力,目前获得鲲鹏认证的行业解决方案已达2000多个,包括操作系统(麒麟、普华、统信),数据库(达梦、金仓、高斯),中间件(金蝶、东方通、宝兰德)都已完成了对鲲鹏的适配。鲲鹏计算产业是一片沃土,未来会有大量的软件、集群、系统等上层应用迁移和运行在鲲鹏处理器上,也会有更多的厂商、ISV合作伙伴、开发者参与到这个大产业中。最后,刘坤表示自己非常庆幸参与和见证鲲鹏计算产业的崛起和发展,未来也将继续投入这片热潮中,作为一个研发工程师,继续耕耘。更多华为云·专家专访故事:https://developer.huaweicloud.com/experts/HWYZJ.html专家专访第一期《乘风破浪的开发者》一、云享专家潘永斌:在人工智能时代追逐的“后浪”二、华为云MVP袁覃:ModelArts助力银行客户经理的变形记三、华为云MVP余浩:AI开发:将简单留给开发者,复杂留给华为云四、华为云开发者华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发五、华为云MVP毛昌启:Developer 转型记:一个开发平台的“魔力”六、华为云MVP熊保松:华为云IOT是首选,小熊派是神器《华为云MVP&云享专家》官网华为云MVP:https://developer.huaweicloud.com/mvp华为云·云享专家:https://developer.huaweicloud.com/expert《华为云MVP&云享专家》推荐活动华为云MVP招募令:https://bbs.huaweicloud.com/forum/thread-53602-1-1.html云享专家征集令:https://bbs.huaweicloud.com/forum/thread-59104-1-1.html
  • [技术干货] 【鲲鹏展翅】华为云MVP张磊:替代x86,华为鲲鹏适配的苦与乐
    当前,随着摩尔定律的放缓,算力瓶颈逐渐成为技术创新的桎梏,传统x86架构功耗大、计算机硬件利用率低的问题也越来越突出。在这样的态势下,计算平台的架构创新愈发重要。与此同时,在移动端叱咤风云的ARM架构,凭借其算力和性能优势,逐渐将触角伸到数据中心。从x86迁移到ARM架构的服务器,自然也成为不少企业的首选。一直在能源领域做软件开发的张磊,是最早嗅到这种转变的技术专家,不过在实际项目应用中却有些一筹莫展,直到接触华为鲲鹏服务器。从冒险尝试到成为业务首选,华为鲲鹏也凭借技术实力一步步“虏获”了这个技术痴迷者的芳心。学习型程序员,痴迷于技术张磊属于典型的学习型程序员,平时话不多,喜欢钻研最新的技术。2000年,还在读大三的他就获得了软考高级程序员水平证书,当时,整个青岛一年通过的可能就十多个人。进入职场以后,张磊一直从事技术研发方面的工作,而且仍然保持着上学那会刻苦钻研的学习劲头。比如由于技术需要,仅开发语言他就钻研了10多种,包括Powerbuilder、Delphi、C#、Java、vbscript、Javascript等等。为了提高项目管理能力,张磊还去考了PMP国际项目管理专家的证书。张磊有一次和同事聊到将来如果不用为挣钱工作,自己最想干什么。他的回答是还和现在一样,继续做软件研发,这是他最大的兴趣所在。也正是因为对软件开发的痴迷热爱,在后期张磊决定将业务迁移到鲲鹏服务器时,多了份果敢和坚定。  寻找国产替代,与鲲鹏相遇从事软件研发的二十多年时间里,张磊做过多个业务方向。其中时间跨度最长,就是他当前在做能源和节能领域的管理平台开发。能源领域的特点是牵涉到的方向比较多,从软件开发、硬件开发到系统控制和现场施工调试,每一方面都需要非常专业的技术人员。在这期间,张磊从头开始组建过两个研发团队,最早的研发团队是基于Windows操作系统和MS SQL Server数据库进行开发的,开发语言是C#,这也是当时比较流行的开发方式。“当时我们还挺成功的,占据当地能源市场最大的份额,也进入了当地大部分热力公司。”2018年是一个转折点。这一年年末,由于业务关系,他们需要在能源领域的另一个方向开发新的平台,但是当时的国际环境已经发生变化,中美科技战拉开了序幕。鉴于此,张磊组建新的研发团队时就完全抛弃了Windows平台,使用全开源的操作系统、数据库和中间件来进行开发,开发语言也转向了Java。回忆这次转型,张磊觉得挺成功的。“整个平台没有使用任何国外的商业软件,操作系统使用Centos,关系数据库使用MySQL社区版,文档数据库使用MongoDB社区版,中间件使用Redis,业务应用完全自研,在软件层面做到了自主可控。”但即便如此,依然存在一个潜在的隐患:平台部署的云端服务器依赖于x86架构。能源领域关系到国计民生,所有风险都要做到可防可控。虽说硬件被断供的概率较小,但张磊也不得不早作准备。为了解决这个棘手的难题,他查了很多相关资料,研究比较市场上各种替代方案,最后决定采用鲲鹏架构的服务器来解决这个问题。  摆脱x86,鲲鹏适配的苦与乐在当时的环境,张磊作出这个决定也是挺冒险的,最开始做鲲鹏适配时,他也遇到不少困难。首先就是如何获取鲲鹏架构的服务器,当时华为云提供了免费的鲲鹏服务器试用,但是试用的服务器配置比较基础,只有2核4G。然而张磊的平台有十几个微服务,所以只能采用微服务轮流启动的方式来初步验证平台和鲲鹏架构的适配性。巧的是,张磊这时了解到华为云的鲲鹏凌云伙伴计划和解决方案伙伴计划,就申请了这两个计划。最终,在凌云伙伴计划的支持下,张磊开始对公司产品《能源管理与能耗分析平台》的全方位适配性测试。进行产品适配的时候,他动员了设计、前台、后台、测试等各个岗位的同事进行配合,按照适配要求做整改,测试功能性、安全性以及性能,大大小小的更改有一百多项,最终发布了三个自测报告。整个过程中,张磊对华为提供的技术支持非常满意。他表示,“华为对接人员给予了及时、高效、专业的支持,对整个测试需要的所有资源和服务,都免费足额提供,从而可以最快速的完成测试工作。”自测完成后,华为实验室对接人员对平台进行了严格的测试,经过双方多次沟通后,平台最终通过了联合测试,获得了鲲鹏兼容性认证。另外,张磊提交的《温控终端智能控制系统》也获得了兼容性技术认证书。张磊强调,“通过兼容性认证只是证明技术能力的一种手段,最终目的还是在实际项目中使用”。他举了个案例,他们在某大学附属医院的一个院区实施了鲲鹏架构项目的落地应用,该项目部署在华为云鲲鹏架构的服务器上,直接使用鲲鹏架构的MySQL和 Redis,依赖的MongoDB数据库同样部署在鲲鹏架构ECS上。整个项目完全不依赖任何x86架构的服务和组件。最终,项目实施的很顺利,压力测试显示,复杂操作在压力高峰时依然能保证两秒内响应,普通操作在一秒内就可以响应。而这次项目成功的经验也极大增强了张磊和团队对鲲鹏架构的信心。“实际处理效率比我们最乐观的估计还要好,在保证性能的前提下,整个平台的投入比x86架构也明显减少。公司决定以后的项目里把鲲鹏架构作为首选,在更多的项目里优先使用它。”张磊迈出第一步后,未来就是鲲鹏迁移适配的康庄大道等着他们了,而他们也为能源领域的技术国产化按下了快进键。更多华为云·专家专访故事:https://developer.huaweicloud.com/experts/HWYZJ.html专家专访第一期《乘风破浪的开发者》一、云享专家潘永斌:在人工智能时代追逐的“后浪”二、华为云MVP袁覃:ModelArts助力银行客户经理的变形记三、华为云MVP余浩:AI开发:将简单留给开发者,复杂留给华为云四、华为云开发者华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发五、华为云MVP毛昌启:Developer 转型记:一个开发平台的“魔力”六、华为云MVP熊保松:华为云IOT是首选,小熊派是神器《华为云MVP&云享专家》官网华为云MVP:https://developer.huaweicloud.com/mvp华为云·云享专家:https://developer.huaweicloud.com/expert《华为云MVP&云享专家》推荐活动华为云MVP招募令:https://bbs.huaweicloud.com/forum/thread-53602-1-1.html云享专家征集令:https://bbs.huaweicloud.com/forum/thread-59104-1-1.html
  • [技术干货] 【鲲鹏展翅】华为云·云享专家曾琼:鲲鹏迁移第一批吃螃蟹的人,践行技术国产化
    全球化竞争日益激烈的今天,大国都已把科技作为战略博弈的核心。在这样的宏观态势下,核心技术和产品的国产替代迫在眉睫。以数据中心为例,X86的江湖地位已大不如从前,ARM服务器的崛起正在撬动英特尔一统天下的格局。去年,华为就推出了首款基于ARM架构的服务器芯片鲲鹏920,强势闯入服务器市场。经过一年多的沉淀,国产化的步伐在鲲鹏这个后浪的推动下,满地开花。曾琼,是中软国际的系统工程师,也是第一批投入到鲲鹏适配调优浪潮中的专业技术人才。经过60多个鲲鹏迁移项目的洗礼,他总结了一些鲲鹏适配移植的经验,让后来者少走点弯路,少踩点坑。 投入到鲲鹏移植,推动技术国产化作为一个接触Linux差不多10年的IT老人,曾琼做过5年的嵌入式Linux系统开发,5年的操作系统运维,长年苦于交叉编译的繁琐:在当前编译平台下,编译出来的程序能运行在体系结构不同的另一种目标平台上,但编译平台本身却不能运行该程序。对此,曾琼分析了4个原因:1、即使目标平台资源很充足,可以本地编译,但是第一个在目标平台上运行的本地编译器总需要通过交叉编译获得;2、目标平台的运行速度往往比主机慢得多,许多专用的嵌入式硬件被设计为低成本和低功耗,没有太高的性能;3、整个编译过程是非常消耗资源的,嵌入式系统往往没有足够的内存或磁盘空间;4、交叉编译使我们不需要花时间将各种支持包移植到目标板上。总结下来就是场景、算力和生态的问题。这个情况一直在持续,直到鲲鹏的出现,改变了整个使用格局。当时曾琼在西安做EulerOS的系统运维,回想初次接触国产操作系统,他形容自己是满心的期待和感慨。“那时EulerOS还没有被扶正,我因为工作原因,18年开始接触鲲鹏,记得第一次直接在鲲鹏架构上编译出AArch64软件包的那种舒爽,真实且感慨。后来随着不断的整合编译,越来越多的开源包被整合到EulerOS。作为一个尝鲜人,真实体验到EulerOS运行在鲲鹏上的感觉。”后来曾琼所在的公司成立了负责鲲鹏迁移工作的专家团队,从早期的鲲鹏适配、行业方案验证、数据迁移到性能测试、调优,一路走来,曾琼和团队在鲲鹏上积累了一套端到端交付的能力。图: 2019年在陕西鲲鹏训练营上分享鲲鹏移植适配经验图:2019年获得公司鲲鹏移植金牌团队从8小时缩短到1.5小时,高效完成鲲鹏迁移的秘诀这一年时间里,曾琼参与了60多个鲲鹏迁移项目,涉及航运额20多个。他总结,“在整个项目交付过程中,除了对鲲鹏架构的差异适配,各个开源组件与自研代码的适配外,还要掌握IaaS\PaaS\SaaS各层级的技术。而且得理解华为云的各个云服务,才能高效快速的帮助客户设计合理的上云规划,高性价比、高效的解决客户的痛点,加快客户的业务改造。”基于一年的鲲鹏迁移经验,曾琼将迁移项目分为三大类:大数据类,数据库类,容器类。以大数据为例,这部分客户主要的问题在于平台的适配。很多用到大数据的客户都是采用CDH进行管理,然而CDH不支持鲲鹏且是闭源的,因此要推荐客户首选华为云的MRS服务。同时曾琼和团队也在第一时间适配了Ambari大数据管理平台,为客户提供最小改造,完善行业场景的适配。如果遇到平台在拉起过程中出现适配不到位的情况,曾琼表示需要尽可能使用华为的迁移工具提前进行扫描,找出并整改所有架构不适配的部分,确保一次迁移成功。另外,当客户需要业务改造时,曾琼推荐最多的方案是大数据的算存分离。“OBS服务的物美价廉让人爱不释手,它提供了与大数据存储组件无感知接口的方式,业务代码不用做任何改动,安全高效地完成业务能力提升,我们团队内部当前的资料和产品也都开始放到了OBS上。”图:数据库存算分离方案 图:大数据问题定位思维导图 对于数据库类的客户,华为云鲲鹏云的RDS与DRS基本是数据库资源申请与数据迁移的首选。曾琼表示,“DRS服务简洁的设计让很多只会开发的兄弟们也过了一把迁移专家的瘾,轻松搞定数据迁移。”比如有个制造类的企业,想要从SQL Server迁移到MySQL,曾琼原本的调研规划需要割接8个小时的数据,最终采用RDS服务仅花了1.5个小时就完成所有的迁移。然后再使用校验功能,快速识别数据库数据表差异,做了轻微改动便完成了业务上线。另外,对于国产数据库的迁移,前期调研与方案设计也非常重要。曾琼附上了他们总结的数据库选型导图与数据库信息调研表。图:数据库的选型方案 数据库信息收集调研表调研类型调研项硬件信息CPU型号服务器配置(CPU:内存)存储类型网络带宽数据库待迁移用户/Schema个数TOP5表数据量数据库字符集开发接口时区最大连接数峰值TPS/QPS运行模式是否使用数据库高级特性容灾备份全量备份时间周期增量备份周期应用系统开发语言如何走上性能调优之路?在鲲鹏移植过程中,最关键的是做好业务切换,即在不改动代码的情况下,完成性能调优。性能调优分为系统调优(CPU、内存、IO、网络)和应用调优(配置、代码、编译、环境)。要想做好调优,既要了解鲲鹏多核优势,也要从计算、存储中找到网络的问题,因为“一切呈现都是计算,瓶颈多在资源。”基于60多个鲲鹏迁移项目经验,曾琼总结了他的鲲鹏性能调优之路。首先是基础知识的掌握和能力的提高:1、鸟哥的书,马哥的培训视频,快速切入对Linux的基本掌握与入门;2、Linux内核设计与实现;3、韦东山的嵌入式视频,从软件层面切入到底层,以及系统启动,驱动编写,内核原理实战;4、《性能之巅》,了解基本常见的性能定位讨论与方法;5、系统编程,网络编程;6、掌握寄存器架构、汇编、内嵌汇编、C、Python、Java至少三种以上;7,掌握虚拟化KVM、QEMU、OpenStack;8、掌握Docker,K8S等虚拟化技术,掌握各类云服务,不限于华为云;9、掌握大数据开发、数据库开发、高性能运算、云原生、AI、异构计算等技能;10、从物理层、虚拟化、容器化,从SaaS、PaaS、IaaS,从应用、接口、库、平台、系统调用、内核、驱动、硬件到总线和CPU;掌握自上至下的业务与系统架构,纵深理解业务与系统,从计算(CPU)、存储(内存,磁盘)、网络和硬件加速等四方面全面整合上面的技能;11、了解鲲鹏与X86的差异,多核,硬件加速模式,SSE与NENO区别等.其次,具备以下能力,方能更好的做好性能调优:1、基本技能之熟悉软件架构(业务架构);2、在调优过程中要对代码熟悉(代码架构);3、对系统进行测试验证 (测试设计);4、掌握整个服务器的软硬件的基本配置:网络,内存,磁盘(系统架构)。工具和方向之外,还要具备对内核、CPU、调度、驱动、内存、中断,各个子系统以及代码能力的软实力。总的来看,既要用好工具,结合自身经验做好提问,精准找到问题根因,快速闭合;也要善于利用网络资源,打开思路,查询开源bug,多做总结整理。 图:Linux性能调优工具全景最后经过一年多的努力,目前获得鲲鹏认证的行业解决方案已达2000多个,包括操作系统(麒麟、普华、统信),数据库(达梦、金仓、高斯),中间件(金蝶、东方通、宝兰德)都已完成了对鲲鹏的适配。曾琼强调,基础组件的完善对鲲鹏的适配起到了非常大的进步。而且昇腾、OpenEuler与OpenGauss给行业注入了新的活力与动能,势必将进一步加快鲲鹏生态的完善。“作为鲲鹏领域的先行者,希望个人能够紧跟鲲鹏社区节奏,不断提升自己在适配与迁移领域的技术,在性能调优和国产化改造方面突破自己,提供行业领先的鲲鹏移植服务,为国产化改造贡献一份力量 。”更多华为云·专家专访故事:https://developer.huaweicloud.com/experts/HWYZJ.html专家专访第一期《乘风破浪的开发者》一、云享专家潘永斌:在人工智能时代追逐的“后浪”二、华为云MVP袁覃:ModelArts助力银行客户经理的变形记三、华为云MVP余浩:AI开发:将简单留给开发者,复杂留给华为云四、华为云开发者华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发五、华为云MVP毛昌启:Developer 转型记:一个开发平台的“魔力”《华为云MVP&云享专家》官网华为云MVP:https://developer.huaweicloud.com/mvp华为云·云享专家:https://developer.huaweicloud.com/expert《华为云MVP&云享专家》推荐活动华为云MVP招募令:https://bbs.huaweicloud.com/forum/thread-53602-1-1.html云享专家征集令:https://bbs.huaweicloud.com/forum/thread-59104-1-1.html
  • [问题求助] 鲲鹏欧拉2.8如何安装crypto++
    鲲鹏欧拉2.8如何安装crypto++
  • [版主交流] 关于鲲鹏论坛大学生外部版主工作证明
    为促进华为鲲鹏论坛活跃量和参与量,给更多鲲鹏开发者服务,版主管理组决定招聘外部版主参与论坛和生态共同建设工作。4月份发送招募贴以来,面试通过7位版主并良好地开展了工作,给华为鲲鹏技术生态做出了贡献。外部版主中含有如下几名大学生,作为暑期实践的一部分,他们积极对论坛进行维护管理,按时合规组织活动并且贡献出几篇技术精华分享,表现可圈可点。姓名论坛昵称学校/学院手机贺灵火灵合肥学院13956541***高洁lemon-_阜阳师范大学18156954***宁泓霖米东莞理工城市学院13433099***孙杰全栈小娇妻河南牧业经济学院15678883***邹立凯Linton林小顿上海交大软件学院13486623***再次感谢这几位大学生对华为鲲鹏论坛的付出和贡献,希望以后能继续辅佐鲲鹏技术推广,早日学业有成为社会做更多贡献。                                                                              华为鲲鹏论坛管理组      2020/09/01
  • 【鲲鹏翱翔】鲲鹏服务器Python3.7.5编译指南
    1.   简介Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越多被用于独立的、大型项目的开发。 2.   部署环境Packet NameVersionDetailCentOSCentOS   7.5 with ARM2vCPUs   | 8GB | kc1.large.4Python3.7.5none3.   安装部署3.1 下载安装包wget https://obs-mirror-ftp4.obs.cn-north-4.myhuaweicloud.com/tools/Python-3.7.5.tgz3.2 解压安装包tar -zxvf Python-3.7.5.tgz3.3 进入解压后的文件夹,进行编译cd Python-3.7.5 ./configure --prefix=/usr/local/python3.7.5 --enable-shared make make install3.4 查询/usr/lib64或/usr/lib下是否有libpython3.7m.so.1.0,如果有则跳过此命令如果文件夹下已有libpython3.7m.so.1.0,先备份cp /usr/local/python3.7.5/lib/libpython3.7m.so.1.0   /usr/lib643.5 复制软链接ln -s /usr/local/python3.7.5/bin/python3 /usr/bin/python3.7 ln -s /usr/local/python3.7.5/bin/pip3 /usr/bin/pip3.7 ln -s /usr/local/python3.7.5/bin/python3 /usr/bin/python3.7.5 ln -s /usr/local/python3.7.5/bin/pip3 /usr/bin/pip3.7.53.6 查看版本信息python3.7.5 --version pip3.7.5 --version4. FAQ待补充。
  • [交流分享] 【悦识鲲鹏系列 第13期】鲲鹏资料最新动态,尽在资料月刊
    进入鲲鹏资料7月刊:https://www.hikunpeng.com/activities/infomonthly/202007
  • [ARM原生] 构建(android-sdk-linux)tools目录下部件中的qemu/qemu-system-aarch64问题
    按照https://support.huaweicloud.com/dpmg-kunpengcps/kunpengcps920_02_0005.html 构建(android-sdk-linux)tools目录下部件其中qemu目录下的qemu-system-aarch64,如图由于需要声音传输,而vnc是不支持声音传输的,所以请问qemu-system-aarch64应该怎么支持spice协议,因为我使用spice协议开启模拟器时提示不支持启动命令:emulator -avd avd_10001 -port 10003 -no-window -cores 2 -writable-system -gpu host -qemu --enable-kvm -m 2048 -spice addr=0.0.0.0,port=1,password=123456提示结果:qemu-system-aarch64: -spice addr=0.0.0.0,port=1,password=123456: There is no option group 'spice' qemu-system-aarch64: -spice addr=0.0.0.0,port=1,password=123456: spice support is disabled我使用vnc是正常的!我试过自行使用源码编译qemu,启用支持spice,如下命令./configure --enable-sdl             --enable-gtk             --enable-vte              --enable-vnc             --enable-vnc-sasl              --enable-vnc-jpeg              --enable-vnc-png              --enable-kvm              --enable-vhost-net              --enable-vhost-scsi              --enable-vhost-user              --enable-spice              --enable-usb-redir              --enable-opengl              --enable-tools              --target-list="arm-softmmu"替换qemu-system-aarch64,但是却导致avd选项命令都失效了,如图:请问应该如何支持spice协议以启用声音的传输?求答复