• 大数据组件harbor迁移指南-centos7.6
    一 介绍1.简要介绍Harbor:是docker镜像仓库,用于存储和分发Docker镜像。2.建议的版本本次迁移涉及到组件的版本如下,1.8.1版本下载地址:https://github.com/goharbor/harbor/tree/v1.8.1 二 环境要求本组件是基于centos7.6进行迁移的 三 配置编译环境在编译安装之前,需要配置编译环境,安装一些必要的编译工具(如gcc,maven)和运行环境依赖(如jdk和selinux)等。3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64 3.4 Docker依赖selinux安装Docker安装时需要依赖于selinux,可以提前安装selinux。安装方式是,wget先下载到本地Wget http://mirror.centos.org/centos/7/updates/x86_64/Packages/selinux-policy-targeted-3.13.1-229.el7_6.12.noarch.rpm然后用rpm –ivh selinux-policy-targeted-3.13.1-229.el7_6.12.noarch.rpm来安装 四 获取源码 使用git 命令下载指定版本git clone https://github.com/goharbor/harbor.gitgit checkout v1.8.1 五 编译 5.1 Docker安装Docker需要下载aarch64版本的:https://download.docker.com/linux/centos/7/aarch64/stable/Packages/可以根据需要选择对应的版本号,由于harbor运行要求Docker的版本至少在17.06.0以上,所以可以下载18版本的,如docker-ce-18.03.1.ce-1.el7.centos.aarch64.rpm这个版本。先使用wget 进行下载wget https://download.docker.com/linux/centos/7/aarch64/stable/Packages/docker-ce-18.03.1.ce-1.el7.centos.aarch64.rpm  --no-check-certificate下载之后,使用yum安装yum install /path/to/package.rpm注意:Docker运行需要提前配置好http_proxy和https_proxy等文件,在/usr/lib/systemd/system/docker.service文件中设置http_proxy代理是否配置正确,否则访问不了docker镜像,后面的Docker-compose也需要依赖于Docker可以运行起来。步骤1. 启动dockersystemctl start docker步骤2.运行hello-world,检查Docker配置是否已经正确docker run hello-world配置正确的Docker运行hello-world时会打印如下信息:5.2 Docker-compose编译安装Docker-compose的安装也依赖于docker,所以需要先确保docker可以正常运行起来,如docker run hello-world运行时不会报错Github上已经有aarch64的docker-compose版本,可以直接从github下载arm64版本:https://github.com/ubiquiti/docker-compose-aarch64步骤1:下载aarch64的docker-compose源码git clone https://github.com/ubiquiti/docker-compose-aarch64.git步骤2:生成docker镜像下载之后,主要有Dockerfile文件用来构建compose镜像,README.md则是具体构建方法:docker build . -t docker-compose-aarch64-builderdocker run --rm -v "$(pwd)":/dist docker-compose-aarch64-builder总共就两步:构建docker-compose镜像运行docker-compose镜像,同时在本地生成可执行文件docker-compose-Linux-aarch64 5.3 Harbor编译前Dockerfile修改Harbor的build过程,主要有两步,一个是执行make all先进行编译,第二步是执行install.sh进行安装。Make的过程是依次执行 make/photon下12个组件(common和notary下没有Dockerfile)下的Dockerfile的过程1.修改make/photon文件夹下各个模块的Dockerfile中的photon:2.0为photon:3.0由于这几个模块的Dockerfile都是基于photon2.0的镜像,而photon2.0不支持arm64,执行过程中会出现如下photonde 库列表匹配不到linux/arm64的报错而photon3.0已经支持arm64,所以需要提前将这些Dockerfile中的photon:2.0改为photon:3.0改为photon:3.02.在各个需要与远端仓库交互的Dockerfile中增加http_proxy/https_proxy代理,确保Dockerfile执行过程中可以到远端仓库进行下载注意!由于make/photon/portal/Dockerfile中有两个From基础镜像,这两个FROM之后都要增加代理(由于portal组件是有已经生成好的镜像,此处不需要编译,也不需要修改) 3 修改make/checkenv.sh和make/install.sh脚本以及MakeFile由于harbor在make时,会先检查golang,docker和docker-compose是否安装,以及版本号,在安装了docker-compose之后,需要修改make.checkenv.sh脚本中关于docker-compose(如果前面docker-compose编译的时候,已经修改了docker-compose-Linux-aarch64为docker-compose,此处不需要修改)名字的判断,按如下红框将原来的docker-compose改为docker-compose-Linux-aarch64Make/install.sh脚本除了修改如上function check_dockercompose函数中的docker-compose为docker-compose-Linux-aarch64,还要修改如下红框中的语句Makefile里也要修改检查docker-compose的语句 4.harbor.yml文件配置需要修改harbor.yml文件中hostname为自己的主机名5.4 Harbor编译Harbor的build过程,主要有两步,一个是执行make all先进行编译,第二步是执行install.sh进行安装。在harbor目录下执行make all之后,会先检查golang/docker/docker-compose等是否安装,然后再依次build 如下几个模块的Dockerfile: prepare-db-poratl-core-jobservice-log-nginx- registry- registryctrl-redis一个镜像构建成功之后,会自动build下一个镜像同时可以用docker images来查看已经构建成功的镜像Make all成功后会自动生成docker-compose.yml配置文件在make all执行成功之后就可以执行install.sh进行安装了,install.sh的脚本主要有3步:检查安装环境,准备环境(自动生成配置文件),以及启动harbor如果出现如下打印“Harbor has been installed and started successfully.”,说明已经安装成功了,可以用ps命令查看harbor的几个组件是否已经成功拉起,以及状态是否健康等六 运行验证在harbor编译成功后,如果出现如下打印“Harbor has been installed and started successfully.”,说明已经安装成功了,可以用ps命令查看harbor的几个组件是否已经成功拉起,以及状态是否健康等在harbor成功拉起后,可以在浏览器上打开harbor界面,确认是否正常七 FAQ 7.1 Harbor在安装阶段启动时报错容器冲突问题现象:在harbor启动时,报错容器冲突解决方法:先将容器停掉,然后删除,再重新install.sh7.2 Harbor的portal模块在build时报npm错误问题现象:在harbor执行make all编译,编译至portal这个模块时报npm错误 解决办法:在make/photon/portal/Dockerfile中,先注释掉npm的安装,由于harbor-portal有aarch64的镜像,采用直接运行已有的aarch64的harbor-portal的方式来规避。相关镜像的下载请参考此网站,已有人build成功的harbor-portal镜像:https://hub.docker.com/search?q=harbor-portal&type=image用docker pull命令将harbor-portal:dev这个aarch64的镜像pull下来2.将原来build的goharbor/harbor-portal:dev的镜像删除先查询和停掉portal容器,再删除portal镜像把portal镜像删除3.将docker pull下来的镜像改名为goharbor/harbor-portal:dev,并删除frankzhang0803/harbor-portal:dev4.运行goharbor/harbor-portal5.停掉docker-compose6.修改make/photon/Makefile,注释掉如下编译PORTAL的语句,使用仓库上的镜像就不再编译portal组件7.重新make all和执行install.sh,重新启动harbor7.3 Harbor的registry模块一直是restarting状态问题现象:harbor启动时,registry状态一直为restarting解决办法: 1.修改harbor-1.8.1/Makefile, 以下内容82 BUILDBIN=true100 REGISTRYVERSION=v2.7.1修改harbor-1.8.1/make/photon/Makefile修改harbor-1.8.1/make/photon/registry/Dockerfile修改harbor-1.8.1/make/photon/registryctl/Dockerfile若之前执行过编译安装,请先清除遗留信息。默认,遗留信息存放在/data目录下。rm -rf /data/*7.4 Harbor的redis-photon模块一直是restarting状态问题现象:redis-photon启动异常解决办法:将系统page size 64K修改为4K,编译内核,参考:https://bbs.huaweicloud.com/forum/thread-26293-1-1.html 
  • 大数据组件logstash迁移指南-centos7.6
    一  介绍1.简要介绍Logstash: Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。  2.建议的版本本次迁移涉及到组件的版本如下。下载地址:https://www.elastic.co/cn/downloads/logstash三配置编译环境3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64 四 获取源码Logstash的下载和解压操作如下:wget   https://artifacts.elastic.co/downloads/logstash/logstash-7.2.0.tar.gztar  xvf  logstash-7.2.0.tar.gz五 编译Logstash是一个开源的日志搜集管理工具,该软件为java程序,不需要编译,只需要解压,在解压后的bin文件中运行logstash即可。详细安装指导可以参考官网,其运行需要的java环境为1.8或者1.11,本文的使用的java版本为1.8:[root@ceph1 make]# java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Logstash主要有离线安装和在线安装两种,本文中采用在线下载安装的方式,使用最新的7.2.0的版本,采用如方法下载到本地指定路径后,解压即可wget   https://artifacts.elastic.co/downloads/logstash/logstash-7.2.0.tar.gztar  xvf  logstash-7.2.0.tar.gz 六 运行验证在logstash解压后的bin目录下,直接运行logstash验证下是否安装成功: cd logstash-7.2.0/bin./logstash -e 'input {stdin{}} output {stdout{}}'直接运行会报加载ffi/ffi时java空指针异常加载ffi/ffi模块时出现java空指针异常的原因在于Logstash-7.2.0中对aarch64平台支撑不好,缺少必要的platform.conf文件,将logstash-7.2.0解压后,将logstash-core\lib\jars\jruby-complete-9.2.7.0.jar包继续解压,在jruby-complete-9.2.7.0\META-INF\jruby.home\lib\ruby\stdlib\ffi\ffi.rb文件中打开platform.conf文件异常:实际上在对应的jruby-complete-9.2.7.0\META-INF\jruby.home\lib\ruby\stdlib\ffi\platform\aarch64-linux平台下,只有一个types.conf文件,没有platform.conf文件 解决办法是将types.conf文件复制一份命名为platform.conf,然后将platform.conf这个文件然后重新打包到jruby-complete-9.2.7.0.jar: 1.jar包解压cd logstash-7.2.0/logstash-core/lib/jars/mkdir -p testcp jruby-complete-9.2.7.0.jar test/cd test解压jar包unzip jruby-complete-9.2.7.0.jar 2 types.conf复制 在解压后的platform目录下,复制types.conf为platform.conf cp META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux/types.conf  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux/platform.confcp META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/arm-linux/types.conf  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/arm-linux/platform.conf 3.重新打包将复制的platform.conf文件重新打包到jruby-complete-9.2.7.0.jar,生成一个新的jar包,替换原来的logstash-core\lib\jars\jruby-complete-9.2.7.0.jar zip jruby-complete-9.2.7.0.jar  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/arm-linux/platform.confzip jruby-complete-9.2.7.0.jar  META-INF/jruby.home/lib/ruby/stdlib/ffi/platform/aarch64-linux/platform.confcp jruby-complete-9.2.7.0.jar  ../  -rf rm ../test重新在Logstash-7.2.0/bin下验证,当出现如下打印Successfully started Logstash API endpoint {:port=>9600}时即为安装和运行成功
  • 大数据组件portainer迁移指导--centos7.6
    一 介绍简要介绍Portainer: Portainer是一个开源、轻量级Docker管理用户界面,基于Docker API,提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作(包括上传下载镜像,创建容器等操作)、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面,基本能满足中小型单位对容器管理的全部需求。 建议的版本本次迁移涉及到组件的版本如下。 二 环境要求硬件要求硬件要求如表2-1所示。 2.操作系统要求操作系统要求如表2-3所示。三 配置编译环境3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64四 获取源码此次移植指定的版本为1.21.0,针对ARM64, 官方直接发布了二进制的软件包,我们可以下载直接使用而不需要经过编译。下载地址如下:https://github.com/portainer/portainer/releases注意,需要获取的版本为arm64,见下图:或直接使用wget方式获取:wget   --no-check-certificate https://github.com/portainer/portainer/releases/download/1.21.0/portainer-1.21.0-linux-arm64.tar.gz五 编译Portainer不需要编译,直接解压后运行即可,运行方法参考第六章六 运行验证在执行此步骤时,先确保docker已经正确安装,并且正常运行。接着解压portainer-1.21.0-linux-arm64.tar.gz,进入到portainer文件夹,在该目录下运行:docker volume create portainer_datadocker run -d -p 9000:9000 --name portainer --restart   always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data   portainer/portainer运行成功之后,使用浏览器访问该服务器的portainer服务,即可展示管理首次登录界面,在该界面上会指导用户设置管理员密码。服务端口默认的是9000,根据需要也可以修改成其它的端口。基它修改可参考官方指导:https://portainer.readthedocs.io/en/latest/deployment.html   
  • 大数据组件thrift移植指南-centos7.6
    一 介绍简要介绍 Thrift:Thrift是一种接口定义语言和二进制通信协议,用于定义和创建多种语言的服务。它形成了一个远程程序调用 (RPC) 框架,并在 Facebook 上开发,用于"可扩展的跨语言服务开发"。它将软件堆栈与代码生成引擎相结合,构建跨平台服务,可以连接以各种语言和框架编写的应用程序,虽然是在Facebook上开发的,但它现在是Apache软件基金会的一个开源项目2.建议的版本本次迁移涉及到组件的版本如下。版本号:0.12.0,下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/thrift/0.12.0/thrift-0.12.0.tar.gz二 环境要求硬件要求硬件要求如下表所示2.操作系统 三 配置编译环境在编译安装之前,需要配置编译环境,安装一些必要的编译工具(如gcc,maven)和运行环境依赖(如jdk和selinux)等。3.1 安装Openjdk下载并安装到指定目录(如/opt/tools/installed):wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量,在/etc/profile文件末尾处增加下面的代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令,使修改的环境变量生效:source   /etc/profile3.2 安装Maven下载并安装到指定目录(如/opt/tools/installed):wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量,在/etc/profile文件末尾增加下面高亮代码:JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令,是修改的环境变量生效:source   /etc/profile修改maven配置文件中的:本地仓路径、远程仓等:配置文件路径:/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml本地仓库配置:<!--默认在“~/.m2/”目录下,修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository>远程仓库配置:<!--修改成自己搭建的maven仓库,如果没有,可以使用下面的aliyun --><mirror>  <id>alimaven</id>  <name>aliyun maven</name>  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  <mirrorOf>central</mirrorOf>   </mirror>配置代理:  <proxies>   <proxy>      <id>optional</id>      <active>true</active>      <protocol>http</protocol>      <username>用户名</username>      <password>密码</password>      <host>代理服务器网址</host>      <port>代理服务器端口</port>      <nonProxyHosts>local.net|some.host.com</nonProxyHosts>    </proxy>  </proxies> 3.3 安装GCC挂载OS镜像:mount   YOUR_OS.iso /media -o loop修改/etc/yum.repos.d/Base.repo文件,配置yum本地源:[Local]name=CentOS-7.4   Localbaseurl=file:///media/enabled=1gpgcheck=0运行下面的命令,使yum源配置生效:yum   clean allyum   makecacheyum安装GCC相关软件:yum   install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64四  获取源码根据实践,thrift在编译安装时依赖于boost,为节省时间,先在系统上完成boost的安装。wget   http://sourceforge.net/projects/boost/files/boost/1.53.0/boost_1_53_0.tar.gztar   xvf boost_1_53_0.tar.gzcd   boost_1_53_0./bootstrap.shsudo   ./b2 install此次版本的thrift版本为0.10.0,首先从镜像获取对应的源码包:wget   https://mirrors.tuna.tsinghua.edu.cn/apache/thrift/0.10.0/thrift-0.10.0.tar.gz正常情况下,按README的说明操作,就可以完成整个编译:解压下载获取到的源码,然后进入到目录中,在目录中执行:   ./bootstrap.sh./configure --with-lua=nomakemake install 五 编译正常情况下,按README的说明操作,就可以完成整个编译:解压下载获取到的源码,然后进入到目入中,在目录中执行:   ./bootstrap.sh./configure --with-lua=nomakemake install 六 运行和验证七 FAQ7.1.1 提示找不到Python.h以及cStringIO.h头文件这种错误的原因,是因为系统中安装的Python版本没有将相关的头文件包含在” /usr/local/include/”对应的软件目录中。重新安装Python版本即可,本文档中也遇到了相同的问题,重新安装了python 2.7后解决问题。 7.1.2 提示无法引用boost的若干类问题问题现象2.解决方法出现这个问题,先确认boost 是否已完成编译安装,如果已经完成,则需要修改编译脚本。注意,需要修改的脚本不止一处,分别是(本文档中将thrift下载到了/home/hello目录中,根据实际的下载目录去调整)/home/hello/thrift-0.10.0/compiler/cpp/src/Makefile 和/home/hello/thrift-0.10.0/compiler/cpp/test/Makefile在文件中找到内容 “LIBS = -lrt -lpthread”,修改变为“LIBS = -lrt -lpthread -lboost_atomic -lboost_system”7.1.3 提示无法获取maven-ant-tasks JAR包无法获取问题现象解决方法 有可能出现了安装程序无法访问服务器的问题,需要我们手工来完成下载。针对这个问题,根据提示,使用wget 获取的对应的jar包,并拷贝到提示中的目录中。但这个安装程序一定要自己下载成功才会继续完成编译,因此我们需要手工注释掉该文件的下载(因为我们已经手工下载成功)。修改方法:路径本文档中将thrift下载到了/home/hello目录中,根据实际的下载目录去调整):“/home/hello/thrift-0.10.0/lib/java/build.xml”,修改位置见下图。7.1.4 提示读取slf4j-api JAR包出错问题现象 解决方法可以查看一下该文件大小,报错是只有2K大小,是安装包本身有误,手工下载覆盖即可。下载地址:http://repo2.maven.org/maven2/org/slf4j/slf4j-api/1.7.12/slf4j-api-1.7.12.jar7.1.5 提示下载pom/jar包出错问题现象这类错误出现时,有明确的提示告诉用户需要什么软件包,在什么地方下载,以及如何安装; 解决方法我们只需要根据它的提示,然后使用mvn来进行安装。比如:mvn install:install-file -DgroupId=org.slf4j -DartifactId=slf4j-api -Dversion=1.7.12 -Dpackaging=jar -Dfile=slf4j-api-1.7.12.pom mvn install:install-file -DgroupId=org.apache.httpcomponents -DartifactId=httpclient -Dversion=4.4.1 -Dpackaging=jar -Dfile=httpclient-4.4.1.jar标黄部分就是需要手工下载的文件7.1.6 提示Bundler包出错问题现象 解决方法一般情况,生成插件包支持JAVA,Python即可满足大部分情况,这个报错出现是因为在编译脚本默认所有语言的插件的生成,我们可以编加编译脚本,将不必要的编译注释掉。修改的文件目录:/home/hello/thrift-0.10.0/lib/Makefile修改内容如下图:
  • [技术干货] 【深圳HDZ共享】张波分享《区块链应用落地预判与人才培养的方向》
    【摘要】张波详细解读了区块链技术、应用与人才培养的逻辑关系,并分享如何培养区块链人才。主讲人:张波以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【深圳HDZ共享】曹一峰分享《区块链破冰指南》
    【摘要】曹一峰带领大家了解区块链核心技术、区块链价值以及区块链应用场景,并表示:“带上你的好奇和勇气,赴一场大概率的确定性机会”。主讲人:曹一峰扫描上方二维码可直接观看分享视频以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developer Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【武汉HDZ共享】李国有分享《运维体系》
    【摘要】 讲述如何利用区块链技术拆分、转让、融资、增信,传递核心企业信用,让价值流转起来。主讲人:李国有以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【福州HDZ共享】梁敬彬分享《数据库的发展与演变》
    【摘要】 讲述如何解决大数据安全挑战及大数据使用中的问题。分享人:梁敬彬-福富软件数据库专家、著书多部。以下分享内容PPT合集:HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【福州HDZ共享】叶建斌分享《第三方支付和数字货币》
    【摘要】 讲述如何利用区块链技术拆分、转让、融资、增信,传递核心企业信用,让价值流转起来。主讲人:叶建斌——通联支付福建公司技术负责人HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [技术干货] 【福州HDZ共享】刘兵分享《区块链与数字技术》
    【摘要】 刘兵从区块链技术的普及讲述到区块链技术的应用,并结合福州HDZ社区成立展开展望,将区块链、数字技术以及福州HDZ日后的发展的结合,赋能更多开发者及企业创始人等。分享人:福州百谷王科技有限公司CEO 刘兵分享《区块链和数字中国》以下分享内容PPT合集:Part 1 《区块链技术与应用》1、区块链概念2、区块链核心技术3、区块链2.04、区块俩应用5、区块链现存问题Part 2 《区块链与数字中国》HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [热门活动] 【深圳HDZ】授旗成立并成功举办首场区块链专题技术交流会
                2020年1月5日下午2点,华为开发者地带(Huawei Developers Zone)成功举办了全球首场【区块链专题交流会】,并在活动现场完成HDZ深圳社区的授旗仪式,活动吸引了各行各业人士一同来学习和探讨区块链技术。      本期专题活动特别邀请了鼎创区块链加速器CEO&华为云MVP曹一峰、北京科创联盟区块链专家委员张波、深圳大学区块链课程《区块链概率和技术入门》主讲老师和协会顾问团专家周朝晖、华为云区块链专家蒋鸿伟、四位老师就“区块链技术开发及结合产业落地应用”等话题展开深度研讨,并对现场观众的提问进行了答疑。一、深圳HDZ授旗成立 共议区块链技术前景与应用      活动现场,华为HDZ社区开发者生态负责人,首先向所有开发者传递了HDZ愿景价值使命,并表示“希望联合社会各界力量共同打造HDZ开放、创新、多元的开发者社区组织,推动ICT、互联网等领域产业生态发展,欢迎大家关注和了解HDZ”。随后HDZ深圳社区的各位核心成员都进行了发言,分享了各自加入HDZ深圳社区的一些初衷及想法。       在本次活动的区块链技术交流会分享环节中,四位老师分别从普及、政策、人才、应用、价值、难点、趋势等多个方面深度解读区块链,推动了区块链行业的技术和应用健康发展。以下是本次专题技术交流会分享内容概述:1、 《区块链破冰指南》 直播分享嘉宾:曹一峰鼎创区块链加速器CEO,华为云MVP&HDZ推动者,Okex全球合伙人,北清创投基金联合创始人,区块链商业实战教学主理人。       曹一峰老师分享了《区块链破冰指南》,带领大家了解区块链核心技术、区块链价值以及区块链应用场景,并表示:“带上你的好奇和勇气,赴一场大概率的确定性机会”。2、《应用落地预判与人才培养的方向》 直播分享嘉宾:张波青云区块链科技CEO,国信商学院广东区块链培训基地主任,北京科创联盟区块链专家委员、副秘书长。      张波老师分享了《区块链应用落地预判与人才培养的方向》,详细解读了技术、应用与人才培养的逻辑关系,并分享如何培养区块链人才。3、《钩深索隐区块链下一波开发热潮》 直播分享嘉宾:周朝晖深圳大学、深职院《区块链概论和技术入门》主讲老师、DACA &清华大学iCenter特聘讲师、IUIA &青岛大学创新实验班高级讲师、时代学院创始讲师、世界区块链基金会(WBD)投资研究员、深圳市信息服务业区块链协会顾问团专家、中国狗狗币协会前副会长。 周朝晖老师分享了《钩深索隐:区块链下一波开发热潮》,以思维冲击的方式,生动描述了区块链下一波的巨大机会。4、《区块链:构建可信数字社会的基石》 直播分享嘉宾:蒋鸿伟 华为云区块链专家蒋鸿伟老师分享《区块链:构建可信数字社会的基石》,全面解读了当前政策、区块链与政务结合、华为云BCS+5G、华为云BCS+AI等解决方案,见解非常独到专业。在交流Talk+提问环节,各位老师与精英们一起互动讨论,参会的开发者都表示参加本次活动获益良多,非常期待HDZ深圳以后可以经常举办此类开发者交流活动。交流会结束后,许多开发者及业界朋友意犹未尽,迟迟不肯离去,再次热络交流,与分享嘉宾深入交谈起来。本次技术交流活动是在深圳HDZ核心组通力合作、全力筹备下成功举办的,首场活动取得了业界众多伙伴的支持,有近百位技术爱好者加入了HDZ深圳。再次感谢深圳HDZ核心组对与深圳HDZ开发者社区组织的全力付出与贡献,期待更多伙伴加入深圳HDZ共同建设。深圳HDZ核心组成员:何标、曹一峰、任政、刘志超、叶康铭、王松、骆文涛、巢海波、宁雯娟。扫描“深圳HDZ小助手”微信咨询如何加入深圳HDZ社区二、HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developers Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。 怎么加入HDZ?      目前,全国各地HDZ社区正在加速建设,后续将在20多个城市全面铺开。全国各地市的小伙伴只要你对HDZ感兴趣,愿意加入社区共同推进当地开发者社区组建和发展,都可以报名成为HDZ核心组织者或志愿者! 如何加入HDZ,成为核心组成员?核心组成员需要在IT技术领域、社区活动、组织策划、媒体传播等方面中的某一领域具有一定的经验,并愿意对组织负责,愿意通过HDZ交流学习,锻炼自己的技术能力、组织能力,认识更多同道中人,掌握更多先进的技术知识。 如何加入HDZ成为志愿者?社区的成长离不开各领域提供资源的合作伙伴、活动组织者、社区运营伙伴等的参与。不论你擅长运营、营销、文案、摄影、活动组织,还是擅长技术分享;不论你是在校学生,还是职场精英;不管您是大咖还是小咖,只要您对HDZ社区感兴趣,都可以申请加入HDZ社区成为社区的一员,共同推动社区发展进步。你可以利用业余时间,结识更多志同道合的朋友,也可以在这里发掘商业机会、合作伙伴。 加入HDZ我能得到什么?1.核心组织者可写入HDZ贡献者名单2.结识更多志同道合的朋友,发掘机会3.提升自己的技术能力、活动组织能力、运营能力等4.证书、奖章激励5.有机会受邀参与华为官方大会,与全国各地HDZ核心组织者见面碰撞6.更多权益、福利,持续更新中...扫描上方二维码即可报名申请成为各城市核心者、志愿者
  • [课程内容] 大数据白皮书(2019)
    大数据白皮书(2019)来源:中国信息通信研究院”为了促进业界交流、分享各方在数据资产管理方面的经验,由中国信息通信研究院(以下简称“中国信通院”)、中国通信标准化协会大数据技术标准推进委员会主办的“2019数据资产管理大会”于2019年12月10日在北京召开。会上,中国信通院发布了《大数据白皮书(2019)》。这是中国信通院第四次发布大数据白皮书。白皮书在前三版的基础上,聚焦一年多来大数据各领域的发展,探讨了大数据技术、产业、应用、安全及数据资产管理的进展和趋势白皮书显示,2019年以来,全球大数据技术、产业、应用等多方面的发展呈现了新的趋势,也正在进入新的阶段。当前,大数据技术呈现出六大融合趋势:(一)算力融合:多样性算力提升整体效率(二)流批融合:平衡计算性价比的最优解(三)TA 融合:混合事务/分析支撑即时决策(四)模块融合:一站式数据能力复用平台(五)云数融合:云化趋势降低技术使用门槛(六)数智融合:数据与智能多方位深度整合近两年来,各国在数据合规性方面的重视程度越来越高,但数据合规的进程仍任重道远。2019年5月25日,旨在保护欧盟公民的个人数据、对企业的数据处理提出了严格要求的《通用数据保护条例》。欧盟EDPB的报告显示,GDPR实施一年以来,欧盟当局收到了约145000份数据安全相关的投诉和问题举报;共判处5500万欧元行政罚款。苹果、微软、Twitter、WhatsApp、Instagram等企业也都遭到调查或处罚。GDPR的正式实施之后,带来了全球隐私保护立法的热潮,并成功提升了社会各领域对于数据保护的重视。
  • [技术干货] 【DevCloud · 敏捷智库】如何有效管理用户声音?
    背景目前,很多互联网企业越发地注重用户声音。用户声音,也可以说是用户对产品甚至说对企业的期望和认可,对于企业的发展来说起到重要的作用。用户声音往往具有量多、琐碎、突发性强等特点,所以很多企业会涉及到组建专门的客服团队,作为用户和产品研发团队的中间纽带,以适应市场提升产品竞争力。该FAQ主要是解决客服工作管理的问题,客服工作如何开展(例如如何解决客户问题让客户满意之类的问题)不在我们FAQ解答范围内。问题分析众所周知,随着物联网时代的到来,数据正成指数倍增长。据IBM研究,90%的数据来源于最近2年,大数据时代已经到来。在互联网初期阶段,某米公司,正是通过管理和接纳了几百上千的粉丝的声音取得了成功。而现在,人手一部手机,一部手机就可以用来代表一个客户的声音,而且渠道也不再是单一化的,用户声音已然成为一种大数据。用户声音在大数据时代不仅仅是量多,而且是个体化的,正所谓“一万个读者就有一万个哈姆**”,用户声音的复杂程度早已不再是千奇百怪、五花八门能形容的了,此外还有突发性强等特点。能否对用户声音的数据进行有效管理将会成为在大数据时代生存和参与竞争的一项基本能力,这也是对企业提出了很大的挑战。解决方案企业的管理者或项目经理,在规划管理日常用户声音大多采用的流程是,先收集用户的问题,然后整理提交需求,再由研发团队进行新需求的开发或者Bug的修复,最后反馈给用户,形成闭环。根据这个流程,可以从客服团队的工作管理、用户声音的分类管理、产品研发团队的协作三方面来解决客服工作管理的问题。客服团队的工作管理企业的管理者或项目经理可以按照团队规模的大小,以及客服工作量的大小,决定是否安排专职人员做接待用户声音的工作。如果团队规模较大,客服工作量也大的话,需组建专门的客服团队来负责管理客户的声音。反之,可以让一个开发团队的成员兼职做客服工作,一般建议由团队最懂业务的人员。团队组建后,由于用户声音量多、琐碎、突发性强等特点,一般企业或团队会使用项目管理工具进行管理。华为云的DevCloud是基于敏捷思想设计的DevOps工具链(更多了解请见附件或官网),在做关于用户声音的项目管理时,以DevCloud为例。当客服团队有用户声音需要处理时,可以在DevCloud中创建一个看板项目(请见参考附录的《Scrum和看板如何选择》),并为其创建对应的工作项(需求或Bug)。如下图:针对每一个用户声音所创建的工作项,建议从名称能看出来客户来源和主要问题。此外,为了能更加方便的查询,建议也为工作项设置相应的模块和标签,然后通过模块和标签等作为过滤条件快速筛选(见下图:过滤查询),然后跟踪工作项状态,直至用户声音得到解决,工作项关闭为止(更多看板项目的操作请见参考附录中  DevCloud项目管理操作指南)。此外,模块和标签的设置还可以在所有工作项的视图中实现分组的效果(见下图:所有工作项中视图)。更多客服团队基于工作项的配置操作还应按实际情况灵活使用。图:过滤查询图:所有工作项视图用户声音的分类管理一般来说,用户声音根据其特点分为两大类,一类是对于产品的视觉、使用、习惯等方面的建议、投诉、表扬的非实时性的,另一类属于实时性的,即需要马上得到回答和解决。这样分类后可以便于管理,以减少人力提升效能。企业的管理者或项目经理可按情况分别处理,建议如下:非实时性对于非实时性,只需要单向收集客户的反馈就行。对于这种情况,可以通过增加一个渠道,让用户以文字的形式选择相关的分类进行反馈,这样对处理用户声音的工作实效性就没有太高要求。像在DevCloud中通过意见反馈即可进入到意见反馈的页面,然后提出反馈意见,如下图所示:实时性对于实时性的处理用户问题,需要提供实时的客服渠道,首先可以将常见问题及答案提供出来,这样能解决一些共性、常见的用户问题。对于个性化的问题,可以先通过智能机器人问答的形式来处理,即通过用户输入的关键字,智能机器人提供相关的回答,最后是通过提供人工客服的方式,回答用户问题。产品研发团队的协作当客服团队收集到用户声音后,需要将需求或Bug等提交到研发团队,然后上线解决、再通知用户形成闭环。但是由于客服团队和研发团队在一个公司内常常是两个不同的组织,所从属的领导也不是同一个,所以为了避免协作过程中的责任划分不清、踢皮球的情况,建议企业的管理者要因此特性制定好协作的工作方式,让双方都能遵循。在DevCloud中可以通过Wiki来记录规则和说明,如下所示:当用户提出反馈意见或建议后,随着时间的推移,可能会需要主动或被动的给用户以反馈,那么就需要客服团队和研发团队能共享关于该用户声音需求的进展情况,形成双向关联。这样的好处不仅是能做到客服方能跟踪需求掌握进展,还能让研发团队了解到真实场景,更加符合用户的真实需求。在DevCloud中,可以通过工作项中的关联功能实现双向关联。如下图所示:当客服团队在所在项目中(VOC管理)创建完工作项(【传习教育】页面加载较慢)后可以通过关联工作项的功能和开发团队的项目(VOC需求)中工作项(传习教育需求)做关联,见下图:华为DevCloud提供了强大的项目管理和跨团队协作能力,更多功能操作请见参考附录中DevCloud项目管理操作指南。参考附录DevCloud项目管理操作指南Scrum和看板如何选择关联文章在互联网时代,如何有效管理用户声音?
  • [热门活动] 【活动已结束】算法精英赛第一期
    【立即参加】https://developer.huaweicloud.com/activity/algorithm_elite/algorithm_elite-1.html【赛事介绍】算法精英赛是华为云面向开发者举办的轻量竞技活动,每期算法精英赛将公布若干道算法题目,参赛者可提交解题代码,挑战最优算法!同时华为云提供专属微信交流群,为热爱算法的开发者们提供交流、分享的平台。【参赛对象】面向全社会热爱算法的开发者们开放。 【活动时间】参赛者提交作品阶段:2019年11月22日~2019年12月12日赛事评委评选阶段:   2019年12月13日~2019年12月17日最优算法公示阶段:   2019年12月17日~2019年12月20日【本期赛题】可任选初级、中级、高级赛题中的一道或多道>初级赛题:判断输入天数为当年的第几天·题目介绍输入一个日期,格式为xxxx-xx-xx,判断这一天为当年的第几天?·示例输入:2019-1-2输出:2 >中级赛题:"水仙花数"判断·题目介绍输入一个三位数判断是否为"水仙花数",水仙花数指该三位数每个位上的数字立方和等于它本身,即A³+B³+C³=ABC·示例输入:153输出:True >高级赛题:概率计算·题目介绍一辆客车行驶路线为从A站-B站-C站,小明每天要在B站乘坐客车去C站上学。客车从A站到达B站的时间服从均值20分钟、标准差2分钟的正态随机分布。请计算小明每天准时赶上客车的概率。·示例客车早上从A站发车的时刻和概率为:出发时刻           8:00     8:03     8:05概率                  0.5       0.3       0.2 小明早上到达B站的时刻和概率为:到站时刻           8:18     8:20     8:22     8:24概率                  0.4       0.3       0.1       0.2【考评体系及要求】 一级指标二级指标分值   代码评价代码完整度(代码完成程度)0-10代码便于理解程度(命名方法、函数设计、格式、注释)0-10代码结构(代码的写作格式、规范、流程)0-10代码易于修改程度(可复用、可拓展、灵活性)0-10完成结果代码运行成功,并且结果正确性60 作品提交要求1要求代码结构清晰、逻辑合理2要求代码整体简洁、易于理解3要求提交完整题目代码4要求完成线上代码运行5要求提交题目运行结果【奖项设置】一等奖:高级赛题最优算法(1名):荣耀8X手机(全网通6GB+64GB)+电子获奖证书二等奖:中级赛题最优算法(1名):荣耀FlyPods无线耳机(标配版)+电子获奖证书三等奖:初级赛题最优算法(1名):华为手环 3 Pro+电子获奖证书参与奖:提交任意赛题的正确解题算法(若干名):DevCloud会员中心1000码豆  【赛事评委】祝志杰华为云MVP | 东北财经大学统计学院副教授 | 中国人民大学博士国家社科基金获得者,大连市高新区大数据产业协会监事,大连金融大数据联合研发创新中心副主任,大连市大数据培训中心副主任,东北财经大学风险统计研究中心副主任,大连市科普讲师团统计学专家,大连市科技创业导师,大连市同爱教育科学研究中心首席数据科学总监,东北财经大学EDP中心统计学特聘教师,大连市银行协会培训师资大数据讲师。多年来一直从事大数据分析研究工作,先后参与国家社科重大课题《改革和完善我国国民经济核算体系研究》、教育部重点研究基地重大项目《知识经济和可持续发展量化与应用研究》多项国家重大课题的研究工作。 邱鑫高级数据架构师 | 大数据产品先行实践者蘑菇数据科技有限公司总经理,约投征信服务有限公司首席信息官,海汇数据科技有限公司监事,曾参与负责银联商务个人征信建模、泸天化集团工业大数据分析与处理、教育应用平台设计、南京农业大学大数据课程研发、山西联通智慧城市等项目,对机器学习、深度学习等人工智能算法具有较深入的研究。【立即参加】https://developer.huaweicloud.com/activity/algorithm_elite/algorithm_elite-1.html【赛事交流】大赛设立微信群,供选手进行沟通和交流。请添加华为云大赛小助手微信号,备注:算法精英赛,小助手将拉您进群。【活动规则】https://bbs.huaweicloud.com/forum/thread-29589-1-1.html
  • 鲲鹏生态 |【大数据精华帖 | 精品内容汇总~推荐收藏~持续更新~】
    鲲鹏BoostKit大数据使能套件 移植、部署、调优使用流程和一站式资源获取1. 大数据组件1.1 Apache版本1.1.1 移植篇Apache平台移植组件Apache源码包文档链接Hadoophadoop-3.1.1-src.tar.gzHadoop 移植指南cid:link_16HBasehbase-2.1.0-src.tar.gzHBase 移植指南cid:link_18Hivehive-rel-release-3.0.0.tar.gzHive 移植指南cid:link_28Sparkspark-2.3.0.tar.gzSpark 移植指南cid:link_19Druiddruid-0.12.1.tar.gzDruid 移植指南cid:link_20Flinkflink-release-1.9.1.tar.gzFlink 移植指南cid:link_21Kafkakafka-0.10.1.1-src.tgzKafka 移植指南cid:link_22Zookeeperzookeeper-release-3.4.6.tar.gzZookeeper 移植指南cid:link_13Phoenixphoenix-v5.0.0-HBase-2.0.tar.gzPhoenix 移植指南cid:link_151.1.2 部署篇Apache平台部署组件文档链接Hadoop开源Hadoop集群部署指南cid:link_17HBase开源HBase集群部署指南cid:link_23Hive开源Hive集群部署指南cid:link_29Flink开源Flink集群部署指南cid:link_24Kafka开源Kafka集群部署指南cid:link_25Solr开源Solr集群部署指南cid:link_30Spark开源Spark集群部署指南cid:link_26Storm开源Storm集群部署指南cid:link_27Zookeeper开源Zookeeper集群部署指南cid:link_141.2 HDP版本1.2.1 部署篇Ambari部署rpm源码包HDP平台部署组件文档链接AmbariAmbari 部署指南cid:link_0AccumuloHDP3.1 Accumulo部署指南cid:link_1Atlas&Kafka&solrHDP3.1 Atlas&Kafka&solr部署指南cid:link_2HBase&PhoenixHDP3.1 HBase&Phoenix部署指南cid:link_3KafkaHDP3.1 Kafka部署指南cid:link_4KnoxHDP3.1 Knox部署指南cid:link_5OozieHDP3.1 Oozie部署指南cid:link_6PigHDP3.1 Pig部署指南cid:link_7RangerHDP3.1 Ranger部署指南cid:link_8spark&livyHDP3.1 spark&livy部署指南cid:link_9SqoopHDP3.1 Sqoop部署指南cid:link_10StormHDP3.1 Storm部署指南cid:link_11ZeppelinHDP3.1 Zeppelin部署指南cid:link_12
总条数:1437 到第 页
上滑加载中