• 【精华】【鲲鹏迁移调优案例分析合集FAQ汇总贴_1_PAE】想学习实战信息来这里吧//持续更新中...
    技术领域帖子主题帖子链接云虚拟化虚拟化场景下大页内存优化案例https://bbs.huaweicloud.com/forum/thread-41737-1-1.html虚拟化场景IO性能优化案例分享https://bbs.huaweicloud.com/forum/thread-41517-1-1.html硬件设备裸盘IO优化案例分享https://bbs.huaweicloud.com/forum/thread-41513-1-1.html登录iSCSI设备失败案例分享https://bbs.huaweicloud.com/forum/thread-42879-1-1.html网络低时延场景下性能优化措施分享https://bbs.huaweicloud.com/blogs/147393网卡性能问题案例分享https://bbs.huaweicloud.com/blogs/147409网安鲲鹏(ARM64)   Hyperscan 5.2.0 移植指导https://bbs.huaweicloud.com/forum/thread-42784-1-1.html图形鲲鹏920(ARM64) Qt   4.8.6 移植指南for CentOS-7.6https://bbs.huaweicloud.com/blogs/146372      数据库MariaDB高并发场景下的性能优化案例https://bbs.huaweicloud.com/forum/thread-41738-1-1.htmlsqlite-jdbc-3.8.11.2.jar移植指南  https://bbs.huaweicloud.com/forum/thread-42780-1-1.htmlrocksdbjni-5.7.3.jar移植指南  https://bbs.huaweicloud.com/forum/thread-42776-1-1.html视频鲲鹏920(ARM64)   kurento-media-server移植指南 for Ubuntu 18.04https://bbs.huaweicloud.com/blogs/147677    Kurento播放失败问题案例分享https://bbs.huaweicloud.com/blogs/147681科学计算octave5.1移植指南https://bbs.huaweicloud.com/forum/thread-41834-1-1.htmlgmt4.5.18移植指南https://bbs.huaweicloud.com/forum/thread-41837-1-1.htmlshakemap3.5移植指南https://bbs.huaweicloud.com/forum/thread-41851-1-1.html汇编指令X86   xchgl和cmpxchgl指令替换案例分享https://bbs.huaweicloud.com/blogs/146370cpuid汇编指令替换分享https://bbs.huaweicloud.com/blogs/147391分布式存储Ceph测试调优案例分享https://bbs.huaweicloud.com/forum/thread-41761-1-1.html大数据大数据组件logstash迁移指南https://bbs.huaweicloud.com/forum/thread-41801-1-1.html大数据组件thrift迁移指南https://bbs.huaweicloud.com/forum/thread-41742-1-1.html大数据组件portainer迁移指南https://bbs.huaweicloud.com/forum/thread-41770-1-1.html大数据组件harbor迁移指南https://bbs.huaweicloud.com/forum/thread-41810-1-1.html鲲鹏 librdkafka v1.2.0 移植和双向认证指南 (Linx-6.0.90)https://bbs.huaweicloud.com/forum/thread-42514-1-1.htmlsnappy-java-1.1.1.6.jar移植指南  https://bbs.huaweicloud.com/forum/thread-42779-1-1.html鲲鹏 kafka_2.11-0.10.1.1移植指南 (Linx-6.0.90)https://bbs.huaweicloud.com/forum/thread-42528-1-1.htmlhbase-shaded-netty-2.1.0.jar移植指南  https://bbs.huaweicloud.com/forum/thread-42782-1-1.html    hadoop2.5.3迁移指南-cenos7.6  https://bbs.huaweicloud.com/forum/thread-42293-1-1.html大数据任务执行时间优化案例分享https://bbs.huaweicloud.com/blogs/147398测试工具SPEC 测试失败问题总结分享https://bbs.huaweicloud.com/blogs/147392sysbench压测mysql性能调优案例分享https://bbs.huaweicloud.com/blogs/147490    编译器鲲鹏(ARM64)   GCC 9.1.0 CentOS 7.6移植指南  https://bbs.huaweicloud.com/forum/thread-42781-1-1.html鲲鹏C/C++编译时间优化技术案例分享https://bbs.huaweicloud.com/forum/thread-42510-1-1.html编程语言容器场景场景下JVM调优案例分享https://bbs.huaweicloud.com/forum/thread-41739-1-1.htmlscala-compiler-2.11.7.jar移植指南  https://bbs.huaweicloud.com/forum/thread-42774-1-1.htmljava测试程序优化案例分析https://bbs.huaweicloud.com/blogs/147394WEBNginx应用调优案例https://bbs.huaweicloud.com/blogs/146367鲲鹏920(ARM64) chromium移植指南 for centos7.6https://bbs.huaweicloud.com/blogs/148360wildfly15.0.0移植指南https://bbs.huaweicloud.com/forum/thread-41830-1-1.htmlAppweb运行时coredump问题分享https://bbs.huaweicloud.com/blogs/147401OS多路云游戏同时启动概率失败和卡死问题案例分享https://bbs.huaweicloud.com/blogs/147405 
  • 抗疫不惧业务浪涌,IT扩容免费咨询专区上线
    在看似被按下了暂停键的社会机器背后,与民生相关的产业却在超出以往十倍甚至二十倍的速度高速运转,无论是与病毒赛跑的一线医务人员还是将三尺讲台阵地转移至线上的人民教师,哪怕只是遵循宅家抗“疫”的群众们除了等待与祈祷,也都积极开展远程办公,“停课不停学”、“远程医疗,智慧防疫”等诉求如雨后春笋般不断冒出。面对突如其来的流量爆发,如何迅速扩容,保障业务的连续性与稳定性也对企业提出了巨大的挑战。结合多年企业IT经验、华为云瑶光智慧云脑等领先技术保障,华为云提供7*24小时免费专业IT扩容咨询及多场景解决方案,助力企业轻松应对业务浪涌。活动期间:(1)提交扩容相关咨询后,0.5 ~1天内安排回访,由资深专业IT解决方案架构师提供方案支持(2)全程可采用Welink的远程视频、语音会议等方式进行,方案讨论全程加密,保证信息安全(3)湖北地区、社会公益相关、疫情防治相关企业可获得优先支持 远程在线协同:千台云服务器一分钟扩容,助力WeLink搭建医患“生命之桥”疫情期间,华为云WeLink助力浙大一院、火神山医院等搭建远程会诊平台,专家医生通过华为云WeLink即可进行全方位的高清远程会诊指导,及时对病患进行诊断和医治。华为云为其提供自动化扩容部署能力,轻松应对每天早、中、晚三波流量峰值,为医患搭建“生命之桥”。华为云解决方案:千台虚拟机一分钟扩容,自动化扩容部署,无惧流量波动WeLink基于华为云基础资源底座,每日结合峰值流量,实现自动化弹性伸缩、横向扩容,可做到一分种内发放千台云服务器,并快速扩容部署应用,助力远程医疗行业轻松应对疫情突发诉求。 基因测序:AI算力加速病毒测序,时间就是生命疫情期间,华为云为希望组、中国科学院上海营养与健康研究所、中国科学院上海巴斯德所等机构进行病毒基因数据分析,提供了高性能自动化分析引擎和海量算力资源,极大提升病毒基因的筛查和分析效率。华为云解决方案:AI容器+AI算法,实现海量并发、实时分析、自动测序和智能预测提供万级任务并发弹性,测序仪数据实时上传,配合高性能算力,15分钟完成病毒基因组完整分析。上传数据后自动开始测序分析流程并返回结果,基于AI容器 + AI 算法,完成病毒基因组突变结构预测。 在线教育:停课不停学,优质教育不延期疫情之下,目前学校没有复课计划,因此在线教育需求突出。随着用户增多,客户需要大量资源进行视频转码、用户管理、OCR、大数据运营等工作,因此需要较快的扩缩容能力以及性价比更优的大数据和AI算力。华为云解决方案:高弹性容器+高性价比大数据&AI解决方案 华为云CCE容器服务提供快速水平扩展能力,并支持CCE秒弹CCI,更可以支撑1分钟1000POD扩容能力,满足客户快速扩缩容诉求。同时,华为云的存算分离大数据容器解决方案,较传统IDC降低成本40%;高性能AI容器,帮助客户提升线性加速比,缩短30%训练时间,并降低推理成本30%。 金融移动应用:多云容灾,流量快速切换,关键时刻有备无患特殊时期股市巨幅震荡引发增持热潮,各类金融应用可提供全方位24小时全球股票行情、股市直播、大盘分析等功能。其要求在多机房或多云运行,对多云管理、流量快速切换要快,同时出于安全合规性要求与数据分析诉求,需要在容器内获取客户端访问的源IP。华为云解决方案:多云管理平台MCP+全局应用治理+安全合规保障华为云MCP提供多云、多机房统一集群管理,结合全局应用治理和可视化运维监控,可迅速切换流量。CCE负载均衡方案可满足企业客户安全合规性要求,分钟级响应流量负载请求,空闲资源自动释放。 渲染:瑶光释放技术红利,灵活算力助立企业降本增效。渲染成本下降,渲染效率提升是行业最主要竞争力。但是渲染公司存在资源使用率不合理的问题,存在大量波峰波谷;同时,需要同时访问共享存储,对于共享存储带宽要求较高。波峰波谷导致企业IT成本过高。华为云解决方案:瑶光智能调度+闲时计费+高性能存储基于华为云瑶光智慧云脑,华为云提供计费灵活的计算资源、快速扩缩容能力及SDK/API适配。搭配性能卓越计算资源,提供高性能存储方案,OBS单桶TPS 可达1W,时延10ms,单流带宽300MBps,并支持HDFS和POSIX多协议,基于弹性文件服务SFS最大传输可达20GB/s。云手机:手机虚拟仿真,应用无缝上云,快速应对疫情冲击疫情期间,APP开发测试、云游戏、营销推广、舆情分析和移动办公等服务需求都极速上升,传统通过采购大量物理手机,以及手机农场等方式难以满足业务快速增长诉求。多多云科技基于华为云鲲鹏云手机构筑多多云手机解决方案,能够批量运行和控制大量仿真手机,以应对疫情期间业务需求高峰。华为云解决方案:鲲鹏云手机——安卓应用环境+海量弹性部署+灵活修改手机信息+搭配独立IP支持读取与修改手机基本信息,能够注入指定GPS信息与传感器信息,模拟不同GPS位置,能够正常运行主流应用程序,可每台手机具备独立的IP地址,实现批量管理和随时弹性。 电商:流量陡增,华为云容器助力电商迎接大考疫情下,全国民众网上消费陡增,电商对于突增的流量需要不断进行扩容,要求扩容速度快、集群规模大,同时希望简化多地域集群的管理。华为商城VMALL是华为旗下面向全国服务的电子商务平台官网,承载华为手机、平板在内系列产品在线选购的庞大流量。华为云为VMALL提供提供快速扩缩容能力,万核算力分钟级即可对外提供服务;大规模容器集群管理能力,单集群百万容器,多地域环境可通过MCP统一管理。华为云解决方案:高弹性、大规模容器+MCP多云管理平台华为云CCE容器服务提供快速水平扩展能力,满足客户快速扩缩容诉求,并提供百万容器集群规模,满足客户对集群管理的要求。同时,华为云MCP多云管理平台提供多云多机房管理方案,实现多地域集群统一管理。 病毒无情,科技向善,面向各类场景,华为云提供7*24小时免费专业IT扩容咨询服务, 助力企业轻松应对流量洪峰,如您的企业正需要一套成熟的扩容解决方案,请您识别图中二维码或者点击任意图片跳转至免费专家咨询。
  • 大数据组件harbor迁移指南-centos7.6
    一 介绍1.简要介绍Harbor:是docker镜像仓库,用于存储和分发Docker镜像。2.建议的版本本次迁移涉及到组件的版本如下,1.8.1版本下载地址:https://github.com/goharbor/harbor/tree/v1.8.1 二 环境要求本组件是基于centos7.6进行迁移的 三 配置编译环境在编译安装之前,需要配置编译环境,安装一些必要的编译工具(如gcc,maven)和运行环境依赖(如jdk和selinux)等。3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64 3.4 Docker依赖selinux安装Docker安装时需要依赖于selinux,可以提前安装selinux。安装方式是,wget先下载到本地Wget http://mirror.centos.org/centos/7/updates/x86_64/Packages/selinux-policy-targeted-3.13.1-229.el7_6.12.noarch.rpm然后用rpm –ivh selinux-policy-targeted-3.13.1-229.el7_6.12.noarch.rpm来安装 四 获取源码 使用git 命令下载指定版本git clone https://github.com/goharbor/harbor.gitgit checkout v1.8.1 五 编译 5.1 Docker安装Docker需要下载aarch64版本的:https://download.docker.com/linux/centos/7/aarch64/stable/Packages/可以根据需要选择对应的版本号,由于harbor运行要求Docker的版本至少在17.06.0以上,所以可以下载18版本的,如docker-ce-18.03.1.ce-1.el7.centos.aarch64.rpm这个版本。先使用wget 进行下载wget https://download.docker.com/linux/centos/7/aarch64/stable/Packages/docker-ce-18.03.1.ce-1.el7.centos.aarch64.rpm  --no-check-certificate下载之后,使用yum安装yum install /path/to/package.rpm注意:Docker运行需要提前配置好http_proxy和https_proxy等文件,在/usr/lib/systemd/system/docker.service文件中设置http_proxy代理是否配置正确,否则访问不了docker镜像,后面的Docker-compose也需要依赖于Docker可以运行起来。步骤1. 启动dockersystemctl start docker步骤2.运行hello-world,检查Docker配置是否已经正确docker run hello-world配置正确的Docker运行hello-world时会打印如下信息:5.2 Docker-compose编译安装Docker-compose的安装也依赖于docker,所以需要先确保docker可以正常运行起来,如docker run hello-world运行时不会报错Github上已经有aarch64的docker-compose版本,可以直接从github下载arm64版本:https://github.com/ubiquiti/docker-compose-aarch64步骤1:下载aarch64的docker-compose源码git clone https://github.com/ubiquiti/docker-compose-aarch64.git步骤2:生成docker镜像下载之后,主要有Dockerfile文件用来构建compose镜像,README.md则是具体构建方法:docker build . -t docker-compose-aarch64-builderdocker run --rm -v "$(pwd)":/dist docker-compose-aarch64-builder总共就两步:构建docker-compose镜像运行docker-compose镜像,同时在本地生成可执行文件docker-compose-Linux-aarch64 5.3 Harbor编译前Dockerfile修改Harbor的build过程,主要有两步,一个是执行make all先进行编译,第二步是执行install.sh进行安装。Make的过程是依次执行 make/photon下12个组件(common和notary下没有Dockerfile)下的Dockerfile的过程1.修改make/photon文件夹下各个模块的Dockerfile中的photon:2.0为photon:3.0由于这几个模块的Dockerfile都是基于photon2.0的镜像,而photon2.0不支持arm64,执行过程中会出现如下photonde 库列表匹配不到linux/arm64的报错而photon3.0已经支持arm64,所以需要提前将这些Dockerfile中的photon:2.0改为photon:3.0改为photon:3.02.在各个需要与远端仓库交互的Dockerfile中增加http_proxy/https_proxy代理,确保Dockerfile执行过程中可以到远端仓库进行下载注意!由于make/photon/portal/Dockerfile中有两个From基础镜像,这两个FROM之后都要增加代理(由于portal组件是有已经生成好的镜像,此处不需要编译,也不需要修改) 3 修改make/checkenv.sh和make/install.sh脚本以及MakeFile由于harbor在make时,会先检查golang,docker和docker-compose是否安装,以及版本号,在安装了docker-compose之后,需要修改make.checkenv.sh脚本中关于docker-compose(如果前面docker-compose编译的时候,已经修改了docker-compose-Linux-aarch64为docker-compose,此处不需要修改)名字的判断,按如下红框将原来的docker-compose改为docker-compose-Linux-aarch64Make/install.sh脚本除了修改如上function check_dockercompose函数中的docker-compose为docker-compose-Linux-aarch64,还要修改如下红框中的语句Makefile里也要修改检查docker-compose的语句 4.harbor.yml文件配置需要修改harbor.yml文件中hostname为自己的主机名5.4 Harbor编译Harbor的build过程,主要有两步,一个是执行make all先进行编译,第二步是执行install.sh进行安装。在harbor目录下执行make all之后,会先检查golang/docker/docker-compose等是否安装,然后再依次build 如下几个模块的Dockerfile: prepare-db-poratl-core-jobservice-log-nginx- registry- registryctrl-redis一个镜像构建成功之后,会自动build下一个镜像同时可以用docker images来查看已经构建成功的镜像Make all成功后会自动生成docker-compose.yml配置文件在make all执行成功之后就可以执行install.sh进行安装了,install.sh的脚本主要有3步:检查安装环境,准备环境(自动生成配置文件),以及启动harbor如果出现如下打印“Harbor has been installed and started successfully.”,说明已经安装成功了,可以用ps命令查看harbor的几个组件是否已经成功拉起,以及状态是否健康等六 运行验证在harbor编译成功后,如果出现如下打印“Harbor has been installed and started successfully.”,说明已经安装成功了,可以用ps命令查看harbor的几个组件是否已经成功拉起,以及状态是否健康等在harbor成功拉起后,可以在浏览器上打开harbor界面,确认是否正常七 FAQ 7.1 Harbor在安装阶段启动时报错容器冲突问题现象:在harbor启动时,报错容器冲突解决方法:先将容器停掉,然后删除,再重新install.sh7.2 Harbor的portal模块在build时报npm错误问题现象:在harbor执行make all编译,编译至portal这个模块时报npm错误 解决办法:在make/photon/portal/Dockerfile中,先注释掉npm的安装,由于harbor-portal有aarch64的镜像,采用直接运行已有的aarch64的harbor-portal的方式来规避。相关镜像的下载请参考此网站,已有人build成功的harbor-portal镜像:https://hub.docker.com/search?q=harbor-portal&type=image用docker pull命令将harbor-portal:dev这个aarch64的镜像pull下来2.将原来build的goharbor/harbor-portal:dev的镜像删除先查询和停掉portal容器,再删除portal镜像把portal镜像删除3.将docker pull下来的镜像改名为goharbor/harbor-portal:dev,并删除frankzhang0803/harbor-portal:dev4.运行goharbor/harbor-portal5.停掉docker-compose6.修改make/photon/Makefile,注释掉如下编译PORTAL的语句,使用仓库上的镜像就不再编译portal组件7.重新make all和执行install.sh,重新启动harbor7.3 Harbor的registry模块一直是restarting状态问题现象:harbor启动时,registry状态一直为restarting解决办法: 1.修改harbor-1.8.1/Makefile, 以下内容82 BUILDBIN=true100 REGISTRYVERSION=v2.7.1修改harbor-1.8.1/make/photon/Makefile修改harbor-1.8.1/make/photon/registry/Dockerfile修改harbor-1.8.1/make/photon/registryctl/Dockerfile若之前执行过编译安装,请先清除遗留信息。默认,遗留信息存放在/data目录下。rm -rf /data/*7.4 Harbor的redis-photon模块一直是restarting状态问题现象:redis-photon启动异常解决办法:将系统page size 64K修改为4K,编译内核,参考:https://bbs.huaweicloud.com/forum/thread-26293-1-1.html 
  • 大数据组件logstash迁移指南-centos7.6
    一  介绍1.简要介绍Logstash: Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。  2.建议的版本本次迁移涉及到组件的版本如下。下载地址:https://www.elastic.co/cn/downloads/logstash三配置编译环境3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64 四 获取源码Logstash的下载和解压操作如下:wget   https://artifacts.elastic.co/downloads/logstash/logstash-7.2.0.tar.gztar  xvf  logstash-7.2.0.tar.gz五 编译Logstash是一个开源的日志搜集管理工具,该软件为java程序,不需要编译,只需要解压,在解压后的bin文件中运行logstash即可。详细安装指导可以参考官网,其运行需要的java环境为1.8或者1.11,本文的使用的java版本为1.8:[root@ceph1 make]# java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Logstash主要有离线安装和在线安装两种,本文中采用在线下载安装的方式,使用最新的7.2.0的版本,采用如方法下载到本地指定路径后,解压即可wget   https://artifacts.elastic.co/downloads/logstash/logstash-7.2.0.tar.gztar  xvf  logstash-7.2.0.tar.gz 六 运行验证在logstash解压后的bin目录下,直接运行logstash验证下是否安装成功: cd logstash-7.2.0/bin./logstash -e 'input {stdin{}} output {stdout{}}'直接运行会报加载ffi/ffi时java空指针异常加载ffi/ffi模块时出现java空指针异常的原因在于Logstash-7.2.0中对aarch64平台支撑不好,缺少必要的platform.conf文件,将logstash-7.2.0解压后,将logstash-core\lib\jars\jruby-complete-9.2.7.0.jar包继续解压,在jruby-complete-9.2.7.0\META-INF\jruby.home\lib\ruby\stdlib\ffi\ffi.rb文件中打开platform.conf文件异常:实际上在对应的jruby-complete-9.2.7.0\META-INF\jruby.home\lib\ruby\stdlib\ffi\platform\aarch64-linux平台下,只有一个types.conf文件,没有platform.conf文件 解决办法是将types.conf文件复制一份命名为platform.conf,然后将platform.conf这个文件然后重新打包到jruby-complete-9.2.7.0.jar: 1.jar包解压cd logstash-7.2.0/logstash-core/lib/jars/mkdir -p testcp jruby-complete-9.2.7.0.jar test/cd test解压jar包unzip jruby-complete-9.2.7.0.jar 2 types.conf复制 在解压后的platform目录下,复制types.conf为platform.conf cp META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux/types.conf  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux/platform.confcp META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/arm-linux/types.conf  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/arm-linux/platform.conf 3.重新打包将复制的platform.conf文件重新打包到jruby-complete-9.2.7.0.jar,生成一个新的jar包,替换原来的logstash-core\lib\jars\jruby-complete-9.2.7.0.jar zip jruby-complete-9.2.7.0.jar  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/arm-linux/platform.confzip jruby-complete-9.2.7.0.jar  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux/platform.confcp jruby-complete-9.2.7.0.jar  ../  -rf rm ../test重新在Logstash-7.2.0/bin下验证,当出现如下打印Successfully started Logstash API endpoint {:port=>9600}时即为安装和运行成功
  • 大数据组件portainer迁移指导--centos7.6
    一 介绍简要介绍Portainer: Portainer是一个开源、轻量级Docker管理用户界面,基于Docker API,提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作(包括上传下载镜像,创建容器等操作)、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面,基本能满足中小型单位对容器管理的全部需求。 建议的版本本次迁移涉及到组件的版本如下。 二 环境要求硬件要求硬件要求如表2-1所示。 2.操作系统要求操作系统要求如表2-3所示。三 配置编译环境3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64四 获取源码此次移植指定的版本为1.21.0,针对ARM64, 官方直接发布了二进制的软件包,我们可以下载直接使用而不需要经过编译。下载地址如下:https://github.com/portainer/portainer/releases注意,需要获取的版本为arm64,见下图:或直接使用wget方式获取:wget   --no-check-certificate https://github.com/portainer/portainer/releases/download/1.21.0/portainer-1.21.0-linux-arm64.tar.gz五 编译Portainer不需要编译,直接解压后运行即可,运行方法参考第六章六 运行验证在执行此步骤时,先确保docker已经正确安装,并且正常运行。接着解压portainer-1.21.0-linux-arm64.tar.gz,进入到portainer文件夹,在该目录下运行:docker volume create portainer_datadocker run -d -p 9000:9000 --name portainer --restart   always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data   portainer/portainer运行成功之后,使用浏览器访问该服务器的portainer服务,即可展示管理首次登录界面,在该界面上会指导用户设置管理员密码。服务端口默认的是9000,根据需要也可以修改成其它的端口。基它修改可参考官方指导:https://portainer.readthedocs.io/en/latest/deployment.html   
  • 大数据组件thrift移植指南-centos7.6
    一 介绍简要介绍 Thrift:Thrift是一种接口定义语言和二进制通信协议,用于定义和创建多种语言的服务。它形成了一个远程程序调用 (RPC) 框架,并在 Facebook 上开发,用于"可扩展的跨语言服务开发"。它将软件堆栈与代码生成引擎相结合,构建跨平台服务,可以连接以各种语言和框架编写的应用程序,虽然是在Facebook上开发的,但它现在是Apache软件基金会的一个开源项目2.建议的版本本次迁移涉及到组件的版本如下。版本号:0.12.0,下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/thrift/0.12.0/thrift-0.12.0.tar.gz二 环境要求硬件要求硬件要求如下表所示2.操作系统 三 配置编译环境在编译安装之前,需要配置编译环境,安装一些必要的编译工具(如gcc,maven)和运行环境依赖(如jdk和selinux)等。3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64四  获取源码根据实践,thrift在编译安装时依赖于boost,为节省时间,先在系统上完成boost的安装。wget   http://sourceforge.net/projects/boost/files/boost/1.53.0/boost_1_53_0.tar.gztar   xvf boost_1_53_0.tar.gzcd   boost_1_53_0./bootstrap.shsudo   ./b2 install此次版本的thrift版本为0.10.0,首先从镜像获取对应的源码包:wget   https://mirrors.tuna.tsinghua.edu.cn/apache/thrift/0.10.0/thrift-0.10.0.tar.gz正常情况下,按README的说明操作,就可以完成整个编译:解压下载获取到的源码,然后进入到目录中,在目录中执行:   ./bootstrap.sh./configure --with-lua=nomakemake install 五 编译正常情况下,按README的说明操作,就可以完成整个编译:解压下载获取到的源码,然后进入到目入中,在目录中执行:   ./bootstrap.sh./configure --with-lua=nomakemake install 六 运行和验证七 FAQ7.1.1 提示找不到Python.h以及cStringIO.h头文件这种错误的原因,是因为系统中安装的Python版本没有将相关的头文件包含在” /usr/local/include/”对应的软件目录中。重新安装Python版本即可,本文档中也遇到了相同的问题,重新安装了python 2.7后解决问题。 7.1.2 提示无法引用boost的若干类问题问题现象2.解决方法出现这个问题,先确认boost 是否已完成编译安装,如果已经完成,则需要修改编译脚本。注意,需要修改的脚本不止一处,分别是(本文档中将thrift下载到了/home/hello目录中,根据实际的下载目录去调整)/home/hello/thrift-0.10.0/compiler/cpp/src/Makefile 和/home/hello/thrift-0.10.0/compiler/cpp/test/Makefile在文件中找到内容 “LIBS = -lrt -lpthread”,修改变为“LIBS = -lrt -lpthread -lboost_atomic -lboost_system”7.1.3 提示无法获取maven-ant-tasks JAR包无法获取问题现象解决方法 有可能出现了安装程序无法访问服务器的问题,需要我们手工来完成下载。针对这个问题,根据提示,使用wget 获取的对应的jar包,并拷贝到提示中的目录中。但这个安装程序一定要自己下载成功才会继续完成编译,因此我们需要手工注释掉该文件的下载(因为我们已经手工下载成功)。修改方法:路径本文档中将thrift下载到了/home/hello目录中,根据实际的下载目录去调整):“/home/hello/thrift-0.10.0/lib/java/build.xml”,修改位置见下图。7.1.4 提示读取slf4j-api JAR包出错问题现象 解决方法可以查看一下该文件大小,报错是只有2K大小,是安装包本身有误,手工下载覆盖即可。下载地址:http://repo2.maven.org/maven2/org/slf4j/slf4j-api/1.7.12/slf4j-api-1.7.12.jar7.1.5 提示下载pom/jar包出错问题现象这类错误出现时,有明确的提示告诉用户需要什么软件包,在什么地方下载,以及如何安装; 解决方法我们只需要根据它的提示,然后使用mvn来进行安装。比如:mvn install:install-file -DgroupId=org.slf4j -DartifactId=slf4j-api -Dversion=1.7.12 -Dpackaging=jar -Dfile=slf4j-api-1.7.12.pom mvn install:install-file -DgroupId=org.apache.httpcomponents -DartifactId=httpclient -Dversion=4.4.1 -Dpackaging=jar -Dfile=httpclient-4.4.1.jar标黄部分就是需要手工下载的文件7.1.6 提示Bundler包出错问题现象 解决方法一般情况,生成插件包支持JAVA,Python即可满足大部分情况,这个报错出现是因为在编译脚本默认所有语言的插件的生成,我们可以编加编译脚本,将不必要的编译注释掉。修改的文件目录:/home/hello/thrift-0.10.0/lib/Makefile修改内容如下图:
  • [技术干货] 【深圳HDZ共享】张波分享《区块链应用落地预判与人才培养的方向》
    【摘要】张波详细解读了区块链技术、应用与人才培养的逻辑关系,并分享如何培养区块链人才。主讲人:张波以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【深圳HDZ共享】曹一峰分享《区块链破冰指南》
    【摘要】曹一峰带领大家了解区块链核心技术、区块链价值以及区块链应用场景,并表示:“带上你的好奇和勇气,赴一场大概率的确定性机会”。主讲人:曹一峰扫描上方二维码可直接观看分享视频以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developer Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【武汉HDZ共享】李国有分享《运维体系》
    【摘要】 讲述如何利用区块链技术拆分、转让、融资、增信,传递核心企业信用,让价值流转起来。主讲人:李国有以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【福州HDZ共享】梁敬彬分享《数据库的发展与演变》
    【摘要】 讲述如何解决大数据安全挑战及大数据使用中的问题。分享人:梁敬彬-福富软件数据库专家、著书多部。以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【福州HDZ共享】叶建斌分享《第三方支付和数字货币》
    【摘要】 讲述如何利用区块链技术拆分、转让、融资、增信,传递核心企业信用,让价值流转起来。主讲人:叶建斌——通联支付福建公司技术负责人HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【福州HDZ共享】刘兵分享《区块链与数字技术》
    【摘要】 刘兵从区块链技术的普及讲述到区块链技术的应用,并结合福州HDZ社区成立展开展望,将区块链、数字技术以及福州HDZ日后的发展的结合,赋能更多开发者及企业创始人等。分享人:福州百谷王科技有限公司CEO 刘兵分享《区块链和数字中国》以下分享内容PPT合集:Part 1 《区块链技术与应用》1、区块链概念2、区块链核心技术3、区块链2.04、区块俩应用5、区块链现存问题Part 2 《区块链与数字中国》HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [热门活动] 【深圳HDZ】授旗成立并成功举办首场区块链专题技术交流会
                2020年1月5日下午2点,华为开发者地带(Huawei Developers Zone)成功举办了全球首场【区块链专题交流会】,并在活动现场完成HDZ深圳社区的授旗仪式,活动吸引了各行各业人士一同来学习和探讨区块链技术。      本期专题活动特别邀请了鼎创区块链加速器CEO&华为云MVP曹一峰、北京科创联盟区块链专家委员张波、深圳大学区块链课程《区块链概率和技术入门》主讲老师和协会顾问团专家周朝晖、华为云区块链专家蒋鸿伟、四位老师就“区块链技术开发及结合产业落地应用”等话题展开深度研讨,并对现场观众的提问进行了答疑。一、深圳HDZ授旗成立 共议区块链技术前景与应用      活动现场,华为HDZ社区开发者生态负责人,首先向所有开发者传递了HDZ愿景价值使命,并表示“希望联合社会各界力量共同打造HDZ开放、创新、多元的开发者社区组织,推动ICT、互联网等领域产业生态发展,欢迎大家关注和了解HDZ”。随后HDZ深圳社区的各位核心成员都进行了发言,分享了各自加入HDZ深圳社区的一些初衷及想法。       在本次活动的区块链技术交流会分享环节中,四位老师分别从普及、政策、人才、应用、价值、难点、趋势等多个方面深度解读区块链,推动了区块链行业的技术和应用健康发展。以下是本次专题技术交流会分享内容概述:1、 《区块链破冰指南》 直播分享嘉宾:曹一峰鼎创区块链加速器CEO,华为云MVP&HDZ推动者,Okex全球合伙人,北清创投基金联合创始人,区块链商业实战教学主理人。       曹一峰老师分享了《区块链破冰指南》,带领大家了解区块链核心技术、区块链价值以及区块链应用场景,并表示:“带上你的好奇和勇气,赴一场大概率的确定性机会”。2、《应用落地预判与人才培养的方向》 直播分享嘉宾:张波青云区块链科技CEO,国信商学院广东区块链培训基地主任,北京科创联盟区块链专家委员、副秘书长。      张波老师分享了《区块链应用落地预判与人才培养的方向》,详细解读了技术、应用与人才培养的逻辑关系,并分享如何培养区块链人才。3、《钩深索隐区块链下一波开发热潮》 直播分享嘉宾:周朝晖深圳大学、深职院《区块链概论和技术入门》主讲老师、DACA &清华大学iCenter特聘讲师、IUIA &青岛大学创新实验班高级讲师、时代学院创始讲师、世界区块链基金会(WBD)投资研究员、深圳市信息服务业区块链协会顾问团专家、中国狗狗币协会前副会长。 周朝晖老师分享了《钩深索隐:区块链下一波开发热潮》,以思维冲击的方式,生动描述了区块链下一波的巨大机会。4、《区块链:构建可信数字社会的基石》 直播分享嘉宾:蒋鸿伟 华为云区块链专家蒋鸿伟老师分享《区块链:构建可信数字社会的基石》,全面解读了当前政策、区块链与政务结合、华为云BCS+5G、华为云BCS+AI等解决方案,见解非常独到专业。在交流Talk+提问环节,各位老师与精英们一起互动讨论,参会的开发者都表示参加本次活动获益良多,非常期待HDZ深圳以后可以经常举办此类开发者交流活动。交流会结束后,许多开发者及业界朋友意犹未尽,迟迟不肯离去,再次热络交流,与分享嘉宾深入交谈起来。本次技术交流活动是在深圳HDZ核心组通力合作、全力筹备下成功举办的,首场活动取得了业界众多伙伴的支持,有近百位技术爱好者加入了HDZ深圳。再次感谢深圳HDZ核心组对与深圳HDZ开发者社区组织的全力付出与贡献,期待更多伙伴加入深圳HDZ共同建设。深圳HDZ核心组成员:何标、曹一峰、任政、刘志超、叶康铭、王松、骆文涛、巢海波、宁雯娟。扫描“深圳HDZ小助手”微信咨询如何加入深圳HDZ社区二、HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [课程内容] 大数据白皮书(2019)
    大数据白皮书(2019)来源:中国信息通信研究院”为了促进业界交流、分享各方在数据资产管理方面的经验,由中国信息通信研究院(以下简称“中国信通院”)、中国通信标准化协会大数据技术标准推进委员会主办的“2019数据资产管理大会”于2019年12月10日在北京召开。会上,中国信通院发布了《大数据白皮书(2019)》。这是中国信通院第四次发布大数据白皮书。白皮书在前三版的基础上,聚焦一年多来大数据各领域的发展,探讨了大数据技术、产业、应用、安全及数据资产管理的进展和趋势白皮书显示,2019年以来,全球大数据技术、产业、应用等多方面的发展呈现了新的趋势,也正在进入新的阶段。当前,大数据技术呈现出六大融合趋势:(一)算力融合:多样性算力提升整体效率(二)流批融合:平衡计算性价比的最优解(三)TA 融合:混合事务/分析支撑即时决策(四)模块融合:一站式数据能力复用平台(五)云数融合:云化趋势降低技术使用门槛(六)数智融合:数据与智能多方位深度整合近两年来,各国在数据合规性方面的重视程度越来越高,但数据合规的进程仍任重道远。2019年5月25日,旨在保护欧盟公民的个人数据、对企业的数据处理提出了严格要求的《通用数据保护条例》。欧盟EDPB的报告显示,GDPR实施一年以来,欧盟当局收到了约145000份数据安全相关的投诉和问题举报;共判处5500万欧元行政罚款。苹果、微软、Twitter、WhatsApp、Instagram等企业也都遭到调查或处罚。GDPR的正式实施之后,带来了全球隐私保护立法的热潮,并成功提升了社会各领域对于数据保护的重视。
  • [技术干货] 【DevCloud · 敏捷智库】如何有效管理用户声音?
    背景目前,很多互联网企业越发地注重用户声音。用户声音,也可以说是用户对产品甚至说对企业的期望和认可,对于企业的发展来说起到重要的作用。用户声音往往具有量多、琐碎、突发性强等特点,所以很多企业会涉及到组建专门的客服团队,作为用户和产品研发团队的中间纽带,以适应市场提升产品竞争力。该FAQ主要是解决客服工作管理的问题,客服工作如何开展(例如如何解决客户问题让客户满意之类的问题)不在我们FAQ解答范围内。问题分析众所周知,随着物联网时代的到来,数据正成指数倍增长。据IBM研究,90%的数据来源于最近2年,大数据时代已经到来。在互联网初期阶段,某米公司,正是通过管理和接纳了几百上千的粉丝的声音取得了成功。而现在,人手一部手机,一部手机就可以用来代表一个客户的声音,而且渠道也不再是单一化的,用户声音已然成为一种大数据。用户声音在大数据时代不仅仅是量多,而且是个体化的,正所谓“一万个读者就有一万个哈姆**”,用户声音的复杂程度早已不再是千奇百怪、五花八门能形容的了,此外还有突发性强等特点。能否对用户声音的数据进行有效管理将会成为在大数据时代生存和参与竞争的一项基本能力,这也是对企业提出了很大的挑战。解决方案企业的管理者或项目经理,在规划管理日常用户声音大多采用的流程是,先收集用户的问题,然后整理提交需求,再由研发团队进行新需求的开发或者Bug的修复,最后反馈给用户,形成闭环。根据这个流程,可以从客服团队的工作管理、用户声音的分类管理、产品研发团队的协作三方面来解决客服工作管理的问题。客服团队的工作管理企业的管理者或项目经理可以按照团队规模的大小,以及客服工作量的大小,决定是否安排专职人员做接待用户声音的工作。如果团队规模较大,客服工作量也大的话,需组建专门的客服团队来负责管理客户的声音。反之,可以让一个开发团队的成员兼职做客服工作,一般建议由团队最懂业务的人员。团队组建后,由于用户声音量多、琐碎、突发性强等特点,一般企业或团队会使用项目管理工具进行管理。华为云的DevCloud是基于敏捷思想设计的DevOps工具链(更多了解请见附件或官网),在做关于用户声音的项目管理时,以DevCloud为例。当客服团队有用户声音需要处理时,可以在DevCloud中创建一个看板项目(请见参考附录的《Scrum和看板如何选择》),并为其创建对应的工作项(需求或Bug)。如下图:针对每一个用户声音所创建的工作项,建议从名称能看出来客户来源和主要问题。此外,为了能更加方便的查询,建议也为工作项设置相应的模块和标签,然后通过模块和标签等作为过滤条件快速筛选(见下图:过滤查询),然后跟踪工作项状态,直至用户声音得到解决,工作项关闭为止(更多看板项目的操作请见参考附录中  DevCloud项目管理操作指南)。此外,模块和标签的设置还可以在所有工作项的视图中实现分组的效果(见下图:所有工作项中视图)。更多客服团队基于工作项的配置操作还应按实际情况灵活使用。图:过滤查询图:所有工作项视图用户声音的分类管理一般来说,用户声音根据其特点分为两大类,一类是对于产品的视觉、使用、习惯等方面的建议、投诉、表扬的非实时性的,另一类属于实时性的,即需要马上得到回答和解决。这样分类后可以便于管理,以减少人力提升效能。企业的管理者或项目经理可按情况分别处理,建议如下:非实时性对于非实时性,只需要单向收集客户的反馈就行。对于这种情况,可以通过增加一个渠道,让用户以文字的形式选择相关的分类进行反馈,这样对处理用户声音的工作实效性就没有太高要求。像在DevCloud中通过意见反馈即可进入到意见反馈的页面,然后提出反馈意见,如下图所示:实时性对于实时性的处理用户问题,需要提供实时的客服渠道,首先可以将常见问题及答案提供出来,这样能解决一些共性、常见的用户问题。对于个性化的问题,可以先通过智能机器人问答的形式来处理,即通过用户输入的关键字,智能机器人提供相关的回答,最后是通过提供人工客服的方式,回答用户问题。产品研发团队的协作当客服团队收集到用户声音后,需要将需求或Bug等提交到研发团队,然后上线解决、再通知用户形成闭环。但是由于客服团队和研发团队在一个公司内常常是两个不同的组织,所从属的领导也不是同一个,所以为了避免协作过程中的责任划分不清、踢皮球的情况,建议企业的管理者要因此特性制定好协作的工作方式,让双方都能遵循。在DevCloud中可以通过Wiki来记录规则和说明,如下所示:当用户提出反馈意见或建议后,随着时间的推移,可能会需要主动或被动的给用户以反馈,那么就需要客服团队和研发团队能共享关于该用户声音需求的进展情况,形成双向关联。这样的好处不仅是能做到客服方能跟踪需求掌握进展,还能让研发团队了解到真实场景,更加符合用户的真实需求。在DevCloud中,可以通过工作项中的关联功能实现双向关联。如下图所示:当客服团队在所在项目中(VOC管理)创建完工作项(【传习教育】页面加载较慢)后可以通过关联工作项的功能和开发团队的项目(VOC需求)中工作项(传习教育需求)做关联,见下图:华为DevCloud提供了强大的项目管理和跨团队协作能力,更多功能操作请见参考附录中DevCloud项目管理操作指南。参考附录DevCloud项目管理操作指南Scrum和看板如何选择关联文章在互联网时代,如何有效管理用户声音?