【功能模块】flink 1.12.2 session模式【操作步骤&问题现象】1、客户端认证之后执行yarn-session.sh -jm 1024 -tm 4096 -d2、提示submit成功，application_id写入/tmp/.yarn-properties-xxx成功【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】fusioninsight8.1.2的flinkdemo工程丢到8.0.2的环境跑【操作步骤&问题现象】1、打包8.1.2 接收kafka消息样例代码，flink版本是github开源版本1.12.2(华为的版本1.12.2-hw-ei-312005有的jar包没有，就没用)2、在8.0.2客户端（flink版本1.10）上运行flink run --class com.huawei.bigdata.flink.examples.ReadFromKafka FlinkKafkaJavaExample.jar --topic xxx-bootstrap.server 10.xxx.xxx.xxx:210053、报错【截图信息】【日志信息】（可选，上传日志内容或者附件）

环境：FusionInsight8.1.2，flink 1.12windows本地运行okMRS客户端执行 flink run -t yarn-per-job --detached xxx.jar 不报错也不提示提交情况

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本文是《Flink on Yarn三部曲》系列的终篇，先简单回顾前面的内容：《Flink on Yarn三部曲之一：准备工作》：准备好机器、脚本、安装包；《Flink on Yarn三部曲之二：部署和设置》：完成CDH和Flink部署，并在管理页面做好相关的设置；现在Flink、Yarn、HDFS都就绪了，接下来实践提交Flink任务到Yarn执行；两种Flink on YARN模式实践之前，对Flink on YARN先简单了解一下，如下图所示，Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode：Session Mode：在YARN中提前初始化一个Flink集群，以后所有Flink任务都提交到这个集群，如下图：Job Mode：每次提交Flink任务都会创建一个专用的Flink集群，任务完成后资源释放，如下图：接下来分别实战这两种模式；准备实战用的数据(CDH服务器)接下来提交的Flink任务是经典的WordCount，先在HDFS中准备一份文本文件，后面提交的Flink任务都会读取这个文件，统计里面每个单词的数字，准备文本的步骤如下：SSH登录CDH服务器；切换到hdfs账号：su - hdfs下载实战用的txt文件：创建hdfs文件夹：hdfs dfs -mkdir /input将文本文件上传到/input目录：hdfs dfs -put ./GoneWiththeWind.txt /input准备工作完成，可以提交任务试试了。Session Mode实战SSH登录CDH服务器；切换到hdfs账号：su - hdfs进入目录：/opt/flink-1.7.2/执行如下命令创建Flink集群，-n参数表示TaskManager的数量，-jm表示JobManager的内存大小，-tm表示每个TaskManager的内存大小：创建成功后，控制台输出如下图，注意红框中的提示，表明可以通过38301端口访问Flink：浏览器访问CDH服务器的38301端口，可见Flink服务已经启动：浏览器访问CDH服务器的8088端口，可见YARN的Application(即Flink集群)创建成功，如下图，红框中是任务ID，稍后结束Application的时候会用到此ID：再开启一个终端，SSH登录CDH服务器，切换到hdfs账号，进入目录：/opt/flink-1.7.2执行以下命令，就会提交一个Flink任务（安装包自带的WordCount例子），并指明将结果输出到HDFS的wordcount-result.txt文件中：执行完毕后，控制台输出如下：flink的WordCount任务结果保存在hdfs，我们将结果取出来看看：hdfs dfs -get /wordcount-result.txtvi打开wordcount-result.txt文件，如下图，可见任务执行成功，指定文本中的每个单词数量都统计出来了：浏览器访问Flink页面(CDH服务器的38301端口)，也能看到任务的详细情况：销毁这个Flink集群的方法是在控制台执行命令：yarn application -kill application_1580173588985_0002Session Mode的实战就完成了，接下来我们来尝试Job Mode；Job Mode执行以下命令，创建一个Flink集群，该集群只用于执行参数中指定的任务(wordCount.jar)，结果输出到hdfs的wordcount-result-1.txt文件：控制台输出如下，表明任务执行完成：如果您的内存和CPU核数充裕，可以立即执行以下命令再创建一个Flink集群，该集群只用于执行参数中指定的任务(wordCount.jar)，结果输出到hdfs的wordcount-result-2.txt文件：在YARN管理页面可见任务已经结束：执行命令hdfs dfs -ls /查看结果文件，已经成功生成：执行命令hdfs dfs -get /wordcount-result-1.txt下载结果文件到本地，检查数据正常；至此，Flink on Yarn的部署、设置、提交都实践完成，《Flink on Yarn三部曲》系列也结束了，如果您也在学习Flink，希望本文能够给您一些参考，也建议您根据自身情况和需求，修改ansible脚本，搭建更适合自己的环境；欢迎关注华为云博客：程序员欣宸学习路上，你不孤单，欣宸原创一路相伴…

 1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.0.27.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.0.27.Final                                步骤 1      按xxx指导编译netty-all-4.0.27.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-1.0安装包。wget https://github.com/apache/flink-shaded/archive/1.0.tar.gz                                步骤 2      解压安装包。tar -zxf 1.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-1.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.0.27.Final-1.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.0.27.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.0.27.Final                                步骤 1      按xxx指导编译netty-all-4.0.27.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-2.0安装包。wget https://github.com/apache/flink-shaded/archive/2.0.tar.gz                                步骤 2      解压安装包。tar -zxf 2.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-2.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.0.27.Final-2.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.0.56.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.0.56.Final                                步骤 1      按xxx指导编译netty-all-4.0.56.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-2.0安装包。wget https://github.com/apache/flink-shaded/archive/3.0.tar.gz                                步骤 2      解压安装包。tar -zxf 3.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-3.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.0.56.Final-3.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.24.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.24.Final                                步骤 1      按xxx指导编译netty-all-4.1.24.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-4.0安装包。wget https://github.com/apache/flink-shaded/archive/4.0.tar.gz                                步骤 2      解压安装包。tar -zxf 4.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-4.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.24.Final-4.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

 1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.24.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.24.Final                                步骤 1      按xxx指导编译netty-all-4.1.24.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-5.0安装包。wget https://github.com/apache/flink-shaded/archive/5.0.tar.gz                                步骤 2      解压安装包。tar -zxf 5.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-5.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.24.Final-5.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.32.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.32.Final                                步骤 1      按xxx指导编译netty-all-4.1.32.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-6.0安装包。wget https://github.com/apache/flink-shaded/archive/release-6.0.tar.gz                                步骤 2      解压安装包。tar -zxf release-6.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-release-6.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.32.Final-6.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.32.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.32.Final                                步骤 1      按xxx指导编译netty-all-4.1.32.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-7.0安装包。wget https://github.com/apache/flink-shaded/archive/release-7.0.tar.gz                                步骤 2      解压安装包。tar -zxf release-7.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-release-7.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.32.Final-7.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

 1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.39.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.39.Final                                步骤 1      按xxx指导编译netty-all-4.1.39.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-2.0安装包。wget https://github.com/apache/flink-shaded/archive/release-8.0.tar.gz                                步骤 2      解压安装包。tar -zxf release-8.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-release-8.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.39.Final-8.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.39.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.39.Final                                步骤 1      按xxx指导编译netty-all-4.1.39.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-9.0安装包。wget https://github.com/apache/flink-shaded/archive/release-9.0.tar.gz                                步骤 2      解压安装包。tar -zxf release-9.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-release-9.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.39.Final-9.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布 

1 介绍简要介绍大数据组件flink-shaded-netty module。2 环境要求硬件要求仅在线下的物理服务器时涉及，需要写作此章节。没有内容时请删除。硬件要求如表2-1所示。表2-1 硬件要求项目说明服务器Taishan服务器CPU鲲鹏920处理器 或 鲲鹏916处理器磁盘分区对磁盘分区无要求网络可访问外网 软件要求表2-2 软件要求项目说明CentOS7.6OS Kernel4.14.0GCC4.8.5Openjdk1.8.0_252Maven3.5.4Protobuf2.5.0netty-all4.1.39.Final 3 配置编译环境提供编译安装该软件所需的环境的安装方法，例如编译器、第三方库、JDK、OS的yum源、防火墙、用户帐号（如要安装前需要单独创建用户或用户组）、环境变量等。多个任务时原则上建议采用Section进行区分，任务操作步骤较多时可以灵活处理为子章节。任务之间的依赖关系需要在各自的任务中明确。写作注意点：l   执行的操作和命令必须用正文，不能用带灰色底纹的回显。l   命令执行后的回显，必须用文本（带灰色底纹的回显样式），不要用截图。示例：3.1 安装基础库                                步骤 1      安装gcc等相关软件。确保有外网环境后，执行yum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64XXXX                                 步骤 2      解决-fsigned-char问题（修改gcc）a、寻找gcc所在路径（一般位于“/usr/bin/gcc”）。command -v gcc b、更改gcc的名字（例如改成gcc-impl）。mv /usr/bin/gcc /usr/bin/gcc-impl c、新建gcc文件。vi /usr/bin/gcc d、填入如下内容保存。#! /bin/sh/usr/bin/gcc-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/gcc f、确认命令是否可用。gcc --version                                 步骤 3      解决-fsigned-char问题（修改g++）a、寻找gcc所在路径（一般位于“/usr/bin/g++”）。command -v g++ b、更改g++的名字（例如改成g++-impl）。mv /usr/bin/gcc /usr/bin/g++-impl c、新建g++文件。vi /usr/bin/g++ d、填入如下内容保存。#! /bin/sh/usr/bin/g++-impl -fsigned-char "$@" e、给脚本添加执行权限。chmod +x /usr/bin/g++ f、确认命令是否可用。g++ --version                                 步骤 4      安装依赖 yum安装依赖的相关软件。yum install -y wget vim openssl-devel zlib-devel automake libtool make  libstdc++-static glibc-static git snappy snappy-devel fuse fuse-devel ----结束  3.2 安装OpenJDK                                 步骤 1      下载并解压安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gzmkdir -p /opt/tools/installed/mv jdk8u252-b09 /opt/tools/installed/                                 步骤 2      配置Java环境变量vim /etc/profile在文件末尾添加如下代码。export JAVA_HOME=/opt/tools/installed/jdk8u252-b09export PATH=$JAVA_HOME/bin:$PATH                                 步骤 3      使修改的环境变量生效source /etc/profile                                 步骤 4      查看配置是否生效 3.3 安装Maven                                步骤 1      下载并安装到指定目录（此处以指定“/opt/tools/installed”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/                                步骤 2      修改Maven环境变量vim /etc/profile在“/etc/profile”文件末尾增加下面代码。export MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH                                步骤 3      使修改的环境变量生效source /etc/profile                                步骤 4      查看配置是否生效。mvn -v                                 步骤 5      查看配置是否生效。修改Maven配置文件中的：本地仓路径、远程仓等。配置文件路径：“/opt/tools/installed/apache-maven-3.5.4/conf/settings.xml”远程仓库配置（修改成自己搭建的Maven仓库，如果没有，可以按照下面示例配置），在<mirrors>标签内添加以下内容： <mirror>  <id>huaweimaven</id>  <name>huawei maven</name>  <url>https://mirrors.huaweicloud.com/repository/maven/</url>  <mirrorOf>central</mirrorOf></mirror> 若编译环境需要代理才能访问外网，需要在settings.xml配置文件中添加代理配置，具体内容如下：<proxies>  <proxy>    <id>optional</id>    <active>true</active>    <protocol>http</protocol>    <username>用户名</username>    <password>密码</password>    <host>代理服务器网址</host>    <port>代理服务器端口</port>    <nonProxyHosts>local.net|some.host.com</nonProxyHosts>  </proxy></proxies> 3.4 安装Protobuf                                步骤 1      查看配置是否生效。yum install -y protobuf protobuf-devel                                步骤 2      通过执行以下命令，指定安装的Protoc可执行文件mvn install:install-file -DgroupId=com.google.protobuf -DartifactId=protoc -Dversion=2.5.0 -Dclassifier=linux-aarch_64 -Dpackaging=exe -Dfile=/usr/bin/protoc  4 编译4.1 编译netty-all-4.1.39.Final                                步骤 1      按xxx指导编译netty-all-4.1.39.Final4.2 编译flink-shaded-netty                                步骤 1      下载flink-shaded-10.0安装包。wget https://github.com/apache/flink-shaded/archive/release-10.0.tar.gz                                步骤 2      解压安装包。tar -zxf release-10.0.tar.gz                                步骤 3      进入解压后目录cd flink-shaded-release-10.0                                步骤 4      执行编译编译打成jar包，flink-shaded-netty-4.1.39.Final-10.0.jar放置于“flink-shaded-netty-4/target”目录。mvn clean install -pl flink-shaded-netty-4                                 步骤 5      使用鲲鹏分析扫描工具扫描编译生成的jar包，确保没有包含有x86的so和jar包。----结束A 修订记录写作说明：仅在第一次发布时，明确第一次正式发布。后续的刷新记录，不需要写作是第几次发布，只需要提供发布日期和修订说明即可。发布日期修订记录2021-01-05第一次正式发布