学习目标 能够了解Hadoop部署的意义 能够了解不同部署模式区分依据 1)要求通过部署Hadoop过程了解Hadoop工作方式，进一步了解Hadoop工作原理。2)本地模式、伪分布式、完全分布式区分依据主要的区别依据是NameNode、 DataNode、 ResourceManager、 NodeManager等模块运行在几个JVM进程、几个 机器。如下表所示：模式名称各个模块占用JVM进程数各个模块运行在几台机器上单机11伪分布式N1完全分布式NNHA+完全分布式NN 八、单机(本地模式)部署学习目标w 能够了解Hadoop默认部署模式w 能够掌握Hadoop部署软件包获取 w 能够对部署完成的Hadoop进行测试1.1)单机部署模式介绍. 单机(本地模式)是Hadoop的默认部署模式。 当配置文件为空时， Hadoop完全运行在本地。. 不需要与其他节点交互，单机(本地模式)就不使用HDFS ，也不加载任何Hadoop的守护进程。  该模式主要用于开发调试MapReduce程序的应用逻辑。 1.2)部署软件包获取1.2.1 ）获取hadoop软件包 [root@localhost ~]#wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz1.2.2）获取JDK软件包 1 [root@localhost ~]#firefox http://download.oracle.com 1.3)部署1.3.1)jdk部署[root@localhost ~]# tar xf jdk-8u191-linux-x64.tar.gz -C /usr/local  [root@localhost ~]# cd /usr/local[root@localhost local]# mv jdk1.8.0_191 jdk解压到指定目录后，请修改目录名称1.3.2 ）hadoop部署[root@localhost ~]# tar xf hadoop-2.8.5.tar.gz -C /opt [root@localhost ~]# cd /opt[root@localhost opt]# mv hadoop-2.8.5 hadoop解压至指定目录后，请修改目录名称1.3.3 ）Linux系统环境变量 [root@localhost ~]# vim /etc/profileexport JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/opt/hadoopexport PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH 1.3.4）应用测试1.3.4.1 )加载环境变量1 [root@localhost ~]# source /etc/profile1.3.4.2 )测试hadoop可用性[root@localhost ~]# mkdir /home/input[root@localhost ~]# cp /opt/hadoop/etc/hadoop/*.xml /home/input[root@localhost ~]# hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /home/input/ /home/output/00[root@localhost ~]# cat /home/output/00/*输出目录中有_SUCCESS文件说明JOB运行成功， part-r-00000是输出结果文件。1.3.4.3 )词频统计练习要求 ：1. 制作 一个文件，里面包含10-20不同的或部分相同的单词。2. 使用wordcount方法实现单词出现频率统计。九、伪分布式部署学习目标w 能够了解伪分布式部署模式 w 能够正确修改配置文件w 能够掌握YARN架构及架构角色功能w 能够对已部署的Hadoop集群进行应用测试1)伪分布式部署模式介绍 Hadoop守护进程运行在本地机器上，模拟一个小规模的的集群。. 该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况， HDFS输入/输出，以及其他的守护进 程交互。2)获取软件包可参考：第八节 1.2.1与1.2.2小节3）修改配置文件主要涉及的配置文件有： hadoop-env.sh、 mapred-env.sh、yarn-env.sh、core-site.xml3.1 ）修改hadoop-env.sh、 mapred-env.sh、yarn-env.sh文件中JAVA_HOME参数1 [root@localhost ~]# vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh修改JAVA_HOME参数为 ：export JAVA_HOME=/usr/local/jdk修改 mapred-env.sh、yarn-env.sh3.2)修改core-site.xml绑定主机名和域名[root@hadoop ~]# vim /etc/hosts...192.168.57.50 hd1[root@hadoop ~]# vim ${HADOOP_HOME}/etc/hadoop/core-site.xml(1) 配置fs.defaultFS,配置FS部署的节点<property> <name>fs.defaultFS</name> <value>hdfs://hd1:8020</value> </property>(2) 配置hadoop临时目录<property> <name>hadoop.tmp.dir</name> <value>/opt/data/tmp</value> </property>配置临时目录前，请先创建此目录,不创建也可以。HDFS的NameNode数据默认都存放这个目录下，查看 *-default.xml等默认配置文件，就可以看到很多依赖     ${hadoop.tmp.dir} 的配置。默认的 hadoop.tmp.dir是 /tmp/hadoop-${user.name} ,此时有个问题就是NameNode会将HDFS的元数据存 储在这个/tmp目录下，如果操作系统重启了，系统会清空/tmp目录下的东西，导致NameNode元数据丢失， 是个非常严重的问题，所有我们应该修改这个路径。3.3）配置hdfs-site.xml1 [root@localhost ~]# vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml<property><name>dfs.replication</name><value>1</value></property>dfs.replication配置的是HDFS存储时的备份数量，因为这里是伪分布式环境只有一个节点，所以这里设置为 1。3.4)格式化hdfs[root@localhost ~]# hdfs namenode -format格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在 NameNode中。格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data/tmp目录）指定的目录下是否有了dfs目录，如 果有，说明格式化成功。3.5)查看hdfs临时目录1 [root@localhost ~]# ls /opt/data/tmp/dfs/name/current fsimage是NameNode元数据在内存满了后，持久化保存到的文件。  fsimage*.md5 是校验文件，用于校验fsimage的完整性。 seen_txid 是hadoop的版本 vession文件里保存： namespaceID ：NameNode的唯一ID。 clusterID:集群ID ，NameNode和DataNode的集群ID应该一致，表明是一个集群。4)启动角色请把hadoop安装目录中的sbin目录中的命令添加到/etc/profile环境变量中，不然无法使用hadoop- daemon.sh4.1 ）启动namenode将hadoop安装目录中的sbin目录添加到/etc/profile文件中[root@localhost ~]# vim /etc/profile修改此配置。添加sbin目录export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin:$PATH[root@localhost ~]# . /etc/profile[root@localhost ~]# hadoop-daemon.sh start namenode4.2）启动datanode1 [root@localhost ~]#hadoop-daemon.sh start datanode4.3)验证JPS命令查看是否已经启动成功，有结果就是启动成功了。1 [root@localhost ~]#jps5) HDFS上测试创建目录、上传、下载文件5.1)创建目录查看根目录[root@localhost ~]# hdfs dfs -ls /创建[root@localhost ~]# hdfs dfs -mkdir /test[root@localhost ~]# hdfs dfs -ls /5.2)上传文件[root@localhost ~]# echo “123”>1.txt[root@localhost ~]# hdfs dfs -put 1.txt /test[root@localhost ~]# hdfs dfs -ls /test5.3)读取内容1 [root@localhost ~]# hdfs dfs -cat /test/1.txt5.4)下载文件到本地1 [root@localhost ~]# hdfs dfs -get /test/1.txt 6)配置yarn6.1)Yarn介绍. A framework for job scheduling and cluster resource management.。 功能：任务调度 和 集群资源管理. YARN (Yet An other Resouce Negotiator) 另一种资源协调者是 Hadoop 2.0新增加的一个子项目，弥补了Hadoop 1.0(MRv1)扩展性差、可靠性资源利用率低以及无法支持 其他计算框架等不足。 Hadoop的下一代计算框架MRv2将资源管理功能抽象成一个通用系统YARN. MRv1的 jobtracker和tasktrack也不复存在，计算框架 (MR, storm, spark)同时运行在之上，使得hadoop进入了多计算框架的弹性平台时代。 总结： yarn是一种资源协调者 . 从mapreduce拆分而来 带来的好处：让hadoop平台性能及扩展性得到更好发挥6.2)使用Yarn好处 在某些时间，有些资源计算框架的集群紧张,而另外一些集群资源空闲。 那么这框架共享使用一个则可以大提高利率些集群资源空闲。  维护成本低。 数据共享。 避免了集群之间移动数据。 YARN 主从架构o ResourceManager 资源管理 o NodeManager 节点管理o ResourceManager负责对各个NodeManager 上的资源进行统一管理和任务调度。 o NodeManager在各个计算节点运行，用于接收RM中ApplicationsManager 的计算任务、启动/停止任务、和RM中 Scheduler 汇报并协商资源、监控并汇报本节点的情况。6.3) 配置mapred-site.xml默认没有mapred-site.xml文件，但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred- site.xml。[root@localhost ~]# cd /opt/hadoop/etc/hadoop[root@localhost ~]# cp mapred-site.xml.template mapred-site.xml[root@localhost ~]# vim mapred-site.xml<property><name>mapreduce.framework.name</name> <value>yarn</value></property>指定mapreduce运行在yarn框架上。6.4）配置yarn-site.xml[root@localhost ~]# vim yarn-site.xml<property><name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property> <property><name>yarn.resourcemanager.hostname</name> <value>hd1</value></property>yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法。 yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。6.5)启动yarn启动yarn之前要保证NameNode和DataNode启动[root@localhost ~]# jps如果没有发现DataNode和NameNode。则启动[root@localhost ~]# hadoop-daemon.sh start namenode[root@localhost ~]# hadoop-daemon.sh start datanode1 [root@localhost ~]# yarn-daemon.sh start resourcemanager1 [root@localhost ~]# yarn-daemon.sh start nodemanager1 [root@localhost ~]# jps6.6)YARN的Web页面YARN的Web客户端端口号是8088 ，通过http://IP:8088可以查看。6.7)测试在Hadoop的share 目录里，自带了一些jar包，里面带有一些mapreduce实例小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar ，可以运行这些例子体验刚搭建好的Hadoop 平台，我们这里来运行最经典的WordCount实例。# hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /test /output/00# hdfs dfs -ls /output6.7.1）创建目录[root@localhost ~]# hdfs dfs -mkdir -p /test/input[root@localhost ~]# vim /opt/data/wc.inputtom jimehadoop hivehbase hadoop tom创建原始文件:在本地/opt/data目录创建一个文件wc.input,内容如下:tom jimehadoop hivehbase hadoop tom6.7.2) 上传文件将wc.input文件上传到HDFS的/test/input目录中:1 [root@localhost ~]# hdfs dfs -put /opt/data/wc.input /test/input6.7.3) 运行实例[root@localhost ~]#yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /test/input /test/output6.7.4)查看输出结果 [root@localhost ~]#hdfs dfs -ls /test/outputoutput目录中有两个文件， _SUCCESS文件是空文件，有这个文件说明Job执行成功。part-r-00000文件是结果文件，其中-r-说明这个文件是Reduce阶段产生的结果， mapreduce程序执行时，可 以没有reduce阶段，但是肯定会有map阶段，如果没有reduce阶段这个地方有是-m-。一个reduce会产生一个part-r-开头的文件。7)停止hadoop[root@localhost ~]#hadoop-daemon.sh stop namenode[root@localhost ~]#hadoop-daemon.sh stop datanode[root@localhost ~]#yarn-daemon.sh stop resourcemanager[root@localhost ~]#yarn-daemon.sh stop nodemanager

直播时间：2025/8/12 15：00-16：30 直播嘉宾：贺行简-DTSE开发者技术专家吕晨-DTSE开发者技术专家 立即报名，参与直播！直播间可抽取华为耳机、华为定制雨伞、定制T恤哦~cid:link_0 直播链接：cid:link_1 直播简介：华为云师资培训直播，带您掌握产业级大数据课程体系与华为开发者空间实战能力，助力高校数字化转型！  

 1. 借助大数据技术搭建分析模型 大数据技术的发展使得数据抓取、数据采集、数据爬取变得更加容易和高效。在数据分析和挖掘过程中，我们需要借助这些技术来获取大量的原始数据。接下来，我们将介绍如何选择合适的大数据分析和机器学习算法，构建分析模型。  1.1 数据收集 数据收集是整个数据分析过程中的第一步。我们需要从不同的数据源中抓取、采集和爬取数据。这可能包括网站、数据库、API等。数据收集的质量和数量直接影响到后续分析和挖掘的效果。  1.2 数据清洗 在数据收集完成后，我们需要对数据进行清洗，以去除重复、错误和无关的数据。数据清洗是数据处理过程中非常重要的一环，它关系到最终分析结果的准确性和可靠性。  1.3 数据整合 经过数据清洗后，我们需要对数据进行整合，将不同来源的数据进行统一和整理。这一步骤的目的是为了方便后续的数据分析工作。  2. 模型搭建 在完成数据收集和整理后，我们开始选择合适的大数据分析和机器学习算法，构建分析模型。常用的算法包括决策树、神经网络、支持向量机等。  2.1 选择算法 选择合适的算法是构建分析模型的关键。我们需要根据实际问题和数据特点来选择最合适的算法。例如，对于分类问题，我们可以选择决策树、神经网络等算法；对于回归问题，我们可以选择支持向量机、线性回归等算法。  2.2 模型训练 选择好算法后，我们需要利用数据对模型进行训练。这一过程中，我们需要不断调整模型的参数，以达到最佳的性能。  2.3 模型评估 模型训练完成后，我们需要对模型进行评估，以检验模型的准确性和泛化能力。常用的评估指标包括准确率、精确率、召回率、F1值等。  3. 模型优化 在模型评估的过程中，我们可能会发现模型存在一些问题，如过拟合、欠拟合等。针对这些问题，我们可以采用一些方法对模型进行优化，如正则化、交叉验证、特征选择等。  数据抓取、数据采集、数据爬取、数据分析与数据挖掘是一个复杂的过程，需要我们借助大数据技术和机器学习算法来完成。通过对数据的收集、清洗、整合，我们可以选择合适的算法构建分析模型，并通过优化模型来解决实际问题。 

在当今信息化社会，数据已经成为企业竞争的核心资产。如何准确、快速地获取有效数据，是各行各业都在关注的问题。本文将为您介绍一种能够精准获取三网DPI、SDK实时获取意向用户数据的方法，帮助您更好地理解并应用这一技术。 该方法基于深度数据包检测(DPI)技术，通过实时捕获、解析网络流量，提取关键信息。收集与自身行业相关的网页链接、手机上App、小程序名称、关键字和400号码，然后根据运营商大数据的数据信息数据模型创建精确数据模型。接着，对顾客的上网行为、通讯行为进行分析，从而获得顾客的自身联系电话等信息，如地域、性别、访问频次、访问时间等各行各业的数据信息。 例如，金融贷款、教育机构、股民、期货、外汇、工商企业、POS机、机票、保健品、白酒、各类电商等行业，都可以通过这一方法实时获取高精准的客户数据。这种数据获取方式可以渗透SDK/DPI爬虫精准数据，获取指定网站访客、app登录访客手机号码。但是，这种数据不像渗透资源那样类别齐全，基本只包含手机号码、对应的APP。 精准数据获取三网DPI、SDK实时获取意向用户数据的方法，具有广泛的应用前景。它可以帮助企业快速获取潜在客户信息，提高市场营销效果。通过对客户的上网行为、通讯行为进行分析，企业可以更好地了解客户需求，优化产品和服务。该方法还可以应用于金融、教育、医疗等行业，提高行业监管水平，保障公共利益。精准数据获取技术将为我国各行各业的发展带来深远影响。 三网运营商大数据的精准客户资源，其原理和机制主要基于数据挖掘和用户行为分析。运营商通过各种手段收集用户的数据，包括用户的实时访问行为、应用使用行为、通信行为等。然后，通过数据挖掘技术，对这些数据进行深度分析，提取出用户的各种特征和行为模式。根据企业的需求，通过标签筛选，精准地识别出目标用户。 以移动运营商为例，其大数据平台可以实时跟踪所有移动用户的各种行为足迹，进行意向数据确认，如搜索行为、访问行为、应用下载、注册、登录行为、短信交互行为、拨号行为、消费记录等综合信息。通过对这些数据的分析，企业可以精准地找到目标客户，实现精准营销。例如，一家电商企业，通过移动运营商的大数据平台，找到了最近一周内在淘宝、京东等电商平台频繁搜索和浏览手机的用户，然后针对这些用户进行精准的广告投放，结果显著提高了产品的销售量。 

flinkSQL client中select 还是报错的，请帮忙指点下，哪里有问题？谢谢org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$SessionClosedRequireAuthException: KeeperErrorCode = Session closed because client failed to authenticate for /flink_base/flink或者org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /flink_base/flinkzookeeper已经启动，192.168.0.82:24002 ，而且zookeeper中的ACL权限已经设置，但是在设置配额失败[zk: 192.168.0.82:24002(CONNECTED) 2] create /flink_base/flink_base Created /flink_base/flink_base [zk: 192.168.0.82:24002(CONNECTED) 3] ls /flink_base/ Path must not end with / character [zk: 192.168.0.82:24002(CONNECTED) 4] ls /flink_base [flink, flink_base] [zk: 192.168.0.82:24002(CONNECTED) 5] [zk: 192.168.0.82:24002(CONNECTED) 5] [zk: 192.168.0.82:24002(CONNECTED) 5] [zk: 192.168.0.82:24002(CONNECTED) 5] setquota -n 1000000 /flink_base/flink Insufficient permission : /flink_base/flink [zk: 192.168.0.82:24002(CONNECTED) 6] getAcl /flink_base/flink 'world,'anyone : cdrwa [zk: 192.168.0.82:24002(CONNECTED) 7] setAcl /flink_base/flink world:anyone:rwcda [zk: 192.168.0.82:24002(CONNECTED) 8] setquota -n 1000000 /flink_base/flink Insufficient permission : /flink_base/flink [zk: 192.168.0.82:24002(CONNECTED) 9] getAcl /flink_base/ Path must not end with / character [zk: 192.168.0.82:24002(CONNECTED) 10] getAcl /flink_base 'world,'anyone : cdrwa [zk: 192.168.0.82:24002(CONNECTED) 11] getAcl /flink_base/flink 'world,'anyone : cdrwa [zk: 192.168.0.82:24002(CONNECTED) 12] ls /zookeeper/quota [beeline, elasticsearch, flink_base, graphbase, hadoop, hadoop-adapter-data, hadoop-flag, hadoop-ha, hbase, hdfs-acl-log, hive, hiveserver2, kafka, loader, mr-ha, rmstore, sparkthriftserver, sparkthriftserver2x, sparkthriftserver2x_sparkInternal_HAMode, yarn-leader-election] [zk: 192.168.0.82:24002(CONNECTED) 13] ls /zookeeper/quota/flink_base [zookeeper_limits, zookeeper_stats] [zk: 192.168.0.82:24002(CONNECTED) 5] setquota -n 1000000 /flink_base/flink Insufficient permission : /flink_base/flink tail -f /home/dmp/app/ficlient/Flink/flink/log/flink-root-sql-client-192-168-0-85.log  中的日志如下flink-conf.yaml中的全部配置如下akka.ask.timeout: 120 s akka.client-socket-worker-pool.pool-size-factor: 1.0 akka.client-socket-worker-pool.pool-size-max: 2 akka.client-socket-worker-pool.pool-size-min: 1 akka.framesize: 10485760b akka.log.lifecycle.events: false akka.lookup.timeout: 30 s akka.server-socket-worker-pool.pool-size-factor: 1.0 akka.server-socket-worker-pool.pool-size-max: 2 akka.server-socket-worker-pool.pool-size-min: 1 akka.ssl.enabled: true akka.startup-timeout: 10 s akka.tcp.timeout: 60 s akka.throughput: 15 blob.fetch.backlog: 1000 blob.fetch.num-concurrent: 50 blob.fetch.retries: 50 blob.server.port: 32456-32520 blob.service.ssl.enabled: true classloader.check-leaked-classloader: false classloader.resolve-order: child-first client.rpc.port: 32651-32720 client.timeout: 120 s compiler.delimited-informat.max-line-samples: 10 compiler.delimited-informat.max-sample-len: 2097152 compiler.delimited-informat.min-line-samples: 2 env.hadoop.conf.dir: /home/dmp/app/ficlient/Flink/flink/conf env.java.opts.client: -Djava.io.tmpdir=/home/dmp/app/ficlient/Flink/tmp env.java.opts.jobmanager: -Djava.security.krb5.conf=/opt/huawei/Bigdata/common/runtime/krb5.conf -Djava.io.tmpdir=${PWD}/tmp -Des.security.indication=true env.java.opts.taskmanager: -Djava.security.krb5.conf=/opt/huawei/Bigdata/common/runtime/krb5.conf -Djava.io.tmpdir=${PWD}/tmp -Des.security.indication=true env.java.opts: -Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=20 -XX:GCLogFileSize=20M -Djdk.tls.ephemeralDHKeySize=3072 -Djava.library.path=${HADOOP_COMMON_HOME}/lib/native -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false -Dbeetle.application.home.path=/opt/huawei/Bigdata/common/runtime/security/config -Dwcc.configuration.path=/opt/huawei/Bigdata/common/runtime/security/config -Dscc.configuration.path=/opt/huawei/Bigdata/common/runtime/securityforscc/config -Dscc.bigdata.common=/opt/huawei/Bigdata/common/runtime env.yarn.conf.dir: /home/dmp/app/ficlient/Flink/flink/conf flink.security.enable: true flinkserver.alarm.cert.skip: true flinkserver.host.ip: fs.output.always-create-directory: false fs.overwrite-files: false heartbeat.interval: 10000 heartbeat.timeout: 120000 high-availability.job.delay: 10 s high-availability.storageDir: hdfs://hacluster/flink/recovery high-availability.zookeeper.client.acl: creator high-availability.zookeeper.client.connection-timeout: 90000 high-availability.zookeeper.client.max-retry-attempts: 5 high-availability.zookeeper.client.retry-wait: 5000 high-availability.zookeeper.client.session-timeout: 90000 high-availability.zookeeper.client.tolerate-suspended-connections: true high-availability.zookeeper.path.root: /flink high-availability.zookeeper.path.under.quota: /flink_base high-availability.zookeeper.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 high-availability.zookeeper.quota.enabled: true high-availability: zookeeper job.alarm.enable: true jobmanager.heap.size: 1024mb jobmanager.web.403-redirect-url: https://192.168.0.82:28443/web/pages/error/403.html jobmanager.web.404-redirect-url: https://192.168.0.82:28443/web/pages/error/404.html jobmanager.web.415-redirect-url: https://192.168.0.82:28443/web/pages/error/415.html jobmanager.web.500-redirect-url: https://192.168.0.82:28443/web/pages/error/500.html jobmanager.web.access-control-allow-origin: * jobmanager.web.accesslog.enable: true jobmanager.web.allow-access-address: * jobmanager.web.backpressure.cleanup-interval: 600000 jobmanager.web.backpressure.delay-between-samples: 50 jobmanager.web.backpressure.num-samples: 100 jobmanager.web.backpressure.refresh-interval: 60000 jobmanager.web.cache-directive: no-store jobmanager.web.checkpoints.disable: false jobmanager.web.checkpoints.history: 10 jobmanager.web.expires-time: 0 jobmanager.web.history: 5 jobmanager.web.logout-timer: 600000 jobmanager.web.pragma-value: no-cache jobmanager.web.refresh-interval: 3000 jobmanager.web.ssl.enabled: false jobmanager.web.x-frame-options: DENY library-cache-manager.cleanup.interval: 3600 metrics.internal.query-service.port: 28844-28943 metrics.reporter.alarm.factory.class: com.huawei.mrs.flink.alarm.FlinkAlarmReporterFactory metrics.reporter.alarm.interval: 30 s metrics.reporter.alarm.job.alarm.checkpoint.consecutive.failures.num: 5 metrics.reporter.alarm.job.alarm.failure.restart.rate: 80 metrics.reporter.alarm.job.alarm.task.backpressure.duration: 180 s metrics.reporter: alarm nettyconnector.message.delimiter: $_ nettyconnector.registerserver.topic.storage: /flink/nettyconnector nettyconnector.sinkserver.port.range: 28444-28843 nettyconnector.ssl.enabled: false parallelism.default: 1 query.client.network-threads: 0 query.proxy.network-threads: 0 query.proxy.ports: 32541-32560 query.proxy.query-threads: 0 query.server.network-threads: 0 query.server.ports: 32521-32540 query.server.query-threads: 0 resourcemanager.taskmanager-timeout: 300000 rest.await-leader-timeout: 30000 rest.bind-port: 32261-32325 rest.client.max-content-length: 104857600 rest.connection-timeout: 15000 rest.idleness-timeout: 300000 rest.retry.delay: 3000 rest.retry.max-attempts: 20 rest.server.max-content-length: 104857600 rest.server.numThreads: 4 restart-strategy.failure-rate.delay: 10 s restart-strategy.failure-rate.failure-rate-interval: 60 s restart-strategy.failure-rate.max-failures-per-interval: 1 restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10 s restart-strategy: none security.cookie: 9477298cd52a3e409ed0bc570bdc795179fcc7c301a1225e22f47fe0a3db47c2 security.enable: true security.kerberos.login.contexts: Client,KafkaClient security.kerberos.login.keytab: security.kerberos.login.principal: security.kerberos.login.use-ticket-cache: true security.networkwide.listen.restrict: true security.ssl.algorithms: TLS_DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_DHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 security.ssl.enabled: false security.ssl.encrypt.enabled: false security.ssl.key-password: Bapuser@9000 security.ssl.keystore-password: Bapuser@9000 security.ssl.keystore: ssl/flink.keystore security.ssl.protocol: TLSv1.2 security.ssl.rest.enabled: false security.ssl.truststore-password: Bapuser@9000 security.ssl.truststore: ssl/flink.truststore security.ssl.verify-hostname: false slot.idle.timeout: 50000 slot.request.timeout: 300000 state.backend.fs.checkpointdir: hdfs://hacluster/flink/checkpoints state.backend.fs.memory-threshold: 20kb state.backend.incremental: true state.backend: rocksdb state.savepoints.dir: hdfs://hacluster/flink/savepoint task.cancellation.interval: 30000 task.cancellation.timeout: 180000 taskmanager.data.port: 32391-32455 taskmanager.data.ssl.enabled: false taskmanager.debug.memory.logIntervalMs: 0 taskmanager.debug.memory.startLogThread: false taskmanager.heap.size: 1024mb taskmanager.initial-registration-pause: 500 ms taskmanager.max-registration-pause: 30 s taskmanager.maxRegistrationDuration: 5 min taskmanager.memory.fraction: 0.7 taskmanager.memory.off-heap: false taskmanager.memory.preallocate: false taskmanager.memory.segment-size: 32768 taskmanager.network.detailed-metrics: false taskmanager.network.memory.buffers-per-channel: 2 taskmanager.network.memory.floating-buffers-per-gate: 8 taskmanager.network.memory.fraction: 0.1 taskmanager.network.memory.max: 1gb taskmanager.network.memory.min: 64mb taskmanager.network.netty.client.connectTimeoutSec: 300 taskmanager.network.netty.client.numThreads: -1 taskmanager.network.netty.num-arenas: -1 taskmanager.network.netty.sendReceiveBufferSize: 4096 taskmanager.network.netty.server.backlog: 0 taskmanager.network.netty.server.numThreads: -1 taskmanager.network.netty.transport: nio taskmanager.network.numberOfBuffers: 2048 taskmanager.network.request-backoff.initial: 100 taskmanager.network.request-backoff.max: 10000 taskmanager.numberOfTaskSlots: 1 taskmanager.refused-registration-pause: 10 s taskmanager.registration.timeout: 5 min taskmanager.rpc.port: 32326-32390 taskmanager.runtime.hashjoin-bloom-filters: false taskmanager.runtime.max-fan: 128 taskmanager.runtime.sort-spilling-threshold: 0.8 use.path.filesystem: true use.smarterleaderlatch: true web.submit.enable: false web.timeout: 10000 yarn.application-attempt-failures-validity-interval: 600000 yarn.application-attempts: 5 yarn.application-master.port: 32586-32650 yarn.heap-cutoff-min: 384 yarn.heap-cutoff-ratio: 0.25 yarn.heartbeat-delay: 5 yarn.heartbeat.container-request-interval: 500 yarn.maximum-failed-containers: 5 yarn.per-job-cluster.include-user-jar: ORDER zk.ssl.enabled: false zookeeper.clientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 zookeeper.root.acl: OPEN zookeeper.sasl.disable: false zookeeper.sasl.login-context-name: Client zookeeper.sasl.service-name: zookeeper zookeeper.secureClientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 

1.在flink sql client中执行sql  直接报错[ERROR] Could not execute SQL statement. Reason: org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /flink_base/flink 2.而且进入zookeeper中查询也是报错,求解求解[omm@192-168-0-82 zookeeper]$ pwd /opt/huawei/Bigdata/FusionInsight_HD_8.2.0.1/install/FusionInsight-Zookeeper-3.6.3/zookeeper [omm@192-168-0-82 zookeeper]$ bin/zkCli.sh -server 192.168.0.82:24002 Connecting to 192.168.0.82:24002 Welcome to ZooKeeper! JLine support is enabled  WATCHER::  WatchedEvent state:SyncConnected type:None path:null [zk: 192.168.0.82:24002(CONNECTING) 0] ls / KeeperErrorCode = Session closed because client failed to authenticate for / [zk: 192.168.0.82:24002(CONNECTED) 1] WATCHER::  WatchedEvent state:Disconnected type:None path:null  WATCHER::  WatchedEvent state:SyncConnected type:None path:null  WATCHER::  WatchedEvent state:Disconnected type:None path:null 后面是一直循环WATCHER:，flink-conf.yaml中的部分设置如下 flink.security.enable: true flinkserver.alarm.cert.skip: true flinkserver.host.ip: fs.output.always-create-directory: false fs.overwrite-files: false heartbeat.interval: 10000 heartbeat.timeout: 120000 high-availability.job.delay: 10 s high-availability.storageDir: hdfs://hacluster/flink/recovery high-availability.zookeeper.client.acl: creator high-availability.zookeeper.client.connection-timeout: 90000 high-availability.zookeeper.client.max-retry-attempts: 5 high-availability.zookeeper.client.retry-wait: 5000 high-availability.zookeeper.client.session-timeout: 90000 high-availability.zookeeper.client.tolerate-suspended-connections: true high-availability.zookeeper.path.root: /flink high-availability.zookeeper.path.under.quota: /flink_base high-availability.zookeeper.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 high-availability.zookeeper.quota.enabled: true high-availability: zookeeper yarn.application-attempts: 5 yarn.application-master.port: 32586-32650 yarn.heap-cutoff-min: 384 yarn.heap-cutoff-ratio: 0.25 yarn.heartbeat-delay: 5 yarn.heartbeat.container-request-interval: 500 yarn.maximum-failed-containers: 5 yarn.per-job-cluster.include-user-jar: ORDER zk.ssl.enabled: false zookeeper.clientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 zookeeper.root.acl: OPEN zookeeper.sasl.disable: false zookeeper.sasl.login-context-name: Client zookeeper.sasl.service-name: zookeeper zookeeper.secureClientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 

这是啥原因呀，在线求助     

想学大数据，大家有什么推荐没

【问题描述】GaussDB A C80SPC300-》 GaussDB A 8.0.0.1升级集群失败(42%)：报SCP  /opt/huawei/Bigdata/mppdb/gtm/gtm.control_b: Permission denied【问题根因】由于一线在备份 /opt/huawei/Bigdata/mppdb/gtm/gtm.control文件使用root用户备份，导致 /opt/huawei/Bigdata/mppdb/gtm/目录下含有非omm用户的文件【解决办法】修改文件gtm.control_b 属主数组为omm：wheel，问题解决