• [生态对接] carbon数据库如何实时抽取数据
      最近遇到个问题,数据上游推送到carbon的数据是实时的,大概5分钟一批。但是carbon数据库不知道怎么才能利用检测工具实时抽取数据到kafka中。有大佬帮忙给个建议吗?
  • [生态对接] spark --jars提交依赖冲突,有没有办法忽略集群中的依赖。只使用fat-jar和--jar提供的
         我最近开发了一个maven项目,想使用spark读取/写入greenplum的数据,但是由于jdbc的传输速度限制。所以想采用greenplum-spark connect这个连接器。当我使用--jars将项目和这个依赖包一起提交上去的时候出现了jar包冲突 报错:classnotfound。  同时自己搭建了一套开源集群,相同的步骤 spark读取/写入greenplum 并且也使用这个连接器--jars提供第三方依赖包,正常读取数据。    所以我想有没有办法忽略集群中的依赖。只使用fat-jar和--jar提供的      
  • [生态对接] 使用greenplum-spark connect连接器遇到的坑
       我最近开发了一个maven项目,想使用spark读取/写入greenplum的数据,但是由于jdbc的传输速度限制。所以想采用greenplum-spark connect这个连接器。当我使用--jars将项目和这个依赖包一起提交上去的时候出现了jar包冲突 报错:classnotfound。所以我又尝试使用jarjar.jar修改相应的包名    但是现在又出现了新的问题,代码中的postgresql依赖找不到对应的class类名报错。   既然外部没办法搞定就从内部项目入手 ……  由于这个依赖属于第三方并不是maven仓库官方提供所以没法加载进入项目中。我尝试加入私有仓库然后再放入我的本地项目中使用maven-shade-plugin将类名包名重定向。不知道是不是第三方依赖的原因,只要提交到cluster上后就会显示找不到类,相当于没有加上这个greenplum-spark依赖。请各位大佬看看是什么原因。 我这边在本地用idea或者Local模式提交都是可以成功的
  • [课程学习] 浅谈数据库:不同的shell操作
    创建HBase表:Createscan  'cx_table_stu01',{COLUMNS=>'cf1:name'}alter 'cx_table_stu01',{NAME=>'cf1','VERSIONS'=>5}有条件查询操作:Scan  'cx_table_stu01',{FILTER=>"ColumnPrefixFilter('name')       AND ValueFilter(=,'binary:hanmeimei')"}Hive表Join操作:select e.* from cx_table_employee e LEFT SEMI JOIN cx_table_salary s on e.user_id=s.userid;select e1.user_id,e1.username,s.salarys from (select e.* from cx_table_employee e where e.user_id < 8) e1 left outer join cx_table_salary s on e1.user_id = s.userid;Spark数据库实战:压平数据库:val rdd1 = sc.parallelize(Array("a b c", "d e f", "h i j"))//将rdd1里面的每一个元素先切分在压平val rdd2 = rdd1.flatMap(_.split(" "))MapReduce初次实战:val rdd1 = sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2),  ("shuke", 1)))val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))val rdd3 = rdd1.union(rdd2)//按key进行聚合val rdd4 = rdd3.reduceByKey(_ + _)rdd4.collect//按value的降序排序val rdd5 = rdd4.map(t => (t._2, t._1)).sortByKey(false).map(t => (t._2, t._1))rdd5.collect创建sparkContext实例:读取文件:val lineRDD= sc.textFile("/user/stu01/cx_person.txt").map(_.split(" "))创建Class:case class Person(id:Int, name:String, age:Int)关联RDD和Class:val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))转换为DF:val personDF = personRDD.toDF创建注册表形式:personDF.registerTempTable("cx_t_person")Dataset编程:使用dataset读取表内容:val ds2 = spark.createDataset(sc.textFile("/user/stu01/cx_person.txt"))使用toDS将其转化为第DataSet:case class Person2(id:Int, name:String, age:Int)val data = List(Person2(1001,"liubei",20),Person2(1002,"guanyu",30))val ds3 = data.toDSds3.show查询数据也有不同的方法:例如使用DF风格的内容:personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).showpersonDF.filter(col("age") >= 25).showClickhouse实践:解压Clinckhouse:tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tarclickhouse client --host 122.9.69.102 --user default --port 9000创建表:create table if not exists test.t1(id UInt16,name String) ENGINE = Memory;查看表:insert into test.t1(id,name) values(1,’tom’),(2,’lily’);新增表结构:CREATE TABLE test.t2(id UInt64,eventDate DateTime) ENGINE = MergeTree() PARTITION BY toYYYYMM(eventDate) ORDER BY idalter table test.t2 add column cost UInt32 default 0;
  • [问题求助] FusionInsight_Manager_6.5.1在openEuler-20.03-LTS-SP1上安装第七步生成密钥失败
    问题现象:/var/log/Bigdata/controller/scriptlog/install.log然后定位到日志/var/log/Bigdata/controller/controller.log日志中执行krb5的命令失败,manager内放了一个krb5组件。kadmin.local命令由FusionInsight_Manager/software/om/package/ometa/kerberos/scripts/genkeytab.sh中执行,ometa目录是解压了FusionInsight-ometa-2.7.0.tar.gz。尝试替换krb5的版本无法使用在genkeytab.sh脚本里面加sleep不生效请问有哪位大佬了解这块吗,咨询一下krb5执行失败的原因
  • [技术干货] 【操作指南】如何快速搭建数据大屏?
    操作场景数据大屏是面向企业数据消费者,将可视化和场景叙事技术结合,运行在智能设备上,非接触式连接的酷炫大屏,满足业务监控数字屏、项目会议演示屏,以及对外媒体大屏等场景,从而推动企业数据群体消费。操作流程图1 创建大屏流程步骤1:新建项目登录DataArts Insight管理控制台。在DataArts Insight控制台,按照如下指引,新建项目。单击右侧的“新建项目”创建项目。在新增项目页面输入项目的名称。选择对应的企业项目。填写描述信息。单击‘确认’完成项目创建。说明:项目名称只能由中英文字、数字、以及下划线(_)、斜线(/)、反斜线(\)、竖线(|)、小括号(())、中括号([])组成。项目名称字符长度不超过50个字符。描述信息的长度不超过512个字符。图2 新增项目步骤2:新建数据源新建数据源有以下几种方式:DataArts Insight首页新建数据源快速入口。项目页面内“数据管理 > 数据源”页面下新建数据源。本示例选择在项目页面下创建数据源。进入新建的项目,按下图指引完成数据源的链接,单击“新建数据源”。图3 新建数据源源库类型:选择数据源作为数据分析的数据输入。DataArts Insight支持连接ClickHouse、GaussDB(DWS),同时也支持API数据源接入。本例选择GaussDB(DWS)为源库类型,接入网络类型选择公网接入。更多参数配置请参考表2。表1 数据源说明数据源描述ClickHouseClickHouse是一款开源的面向联机分析处理的列式数据库。GaussDB(DWS)数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。API数据通过API的方式连接数据源。图4 新建DWS数据源表2 配置项参数说明参数描述名称数据源配置列表的显示名称。说明:名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。域名数据源IP。用户名登录数据库的用户名。密码登录数据库的密码。端口对应数据库的登录端口。数据库登录的数据库名称。SASL_SSL开启SASL_SSL可以实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。完成配置项填写单击“连接测试”。测试连接成功后,点击“确定”完成数据连接。步骤3:新建数据集新建数据集以下几种方式:DataArts Insight首页新建数据集快速入口。项目页面内“数据管理 > 数据集”页面下新建数据集。数据源列表下创建数据集。本示例选择在项目页面下“数据管理 > 数据集”下创建数据集。完成数据源连接后,创建数据集,单击“新建数据集”。图5 新建数据集配置数据源信息。选择步骤2:新建数据源中新建的数据源作为数据集的输入。选择数据源的数据库、Schema。双击数据表,进入数据预览页面。在该页面可对数据进行过滤、新建指标和新建层次维度等操作。图6 配置数据集相关参数单击右侧的“保存”保存数据集的配置信息。输入数据集的名称,单击“确定”完成数据集创建。说明:数据集名称只能由中英文、数字及下划线(_)组成,且不超过64个字符。步骤4:新建数据大屏新建数据大屏有以下几种方式。控制台直接创建。进入项目进行创建。数据集编辑页面创建大屏。数据集列表页面创建大屏。本示例使用数据集编辑页面创建大屏:登录DataArts Insight管理控制台。单击控制台右侧的,搜索所需的项目名称,单击项目名进入项目页面。图7 查找项目单击左侧“数据集”,进入数据集页面,单击对应数据集操作列表下的“编辑”进入数据集编辑页面。图8 数据集编辑页面创建大屏在数据编辑页面,单击右上侧的“创建大屏”,进入创建大屏页面。图9 大屏配置页面在大屏配置页面的左侧选择需要的组件,拖拽进画布内。本示例使用的是折线柱图组件为例,更多组件的使用请参考数据大屏章节。配置组件字段和样式。配置组件字段在数据列选择需要的数据集。将需要的类别轴/维度和轴值/度量分别拖拽至“字段 >类别轴/维度和轴值/度量”内。单击“更新”,完成组件字段配置。配置组件样式单击“折线柱图 > 样式”。在样式页面对组件的样式进行配置。保存或保存并发布大屏。完成大屏制作之后,单击大屏编辑页面右上侧的“保存并发布”或“保存”。保存:保存大屏之后,在大屏页面大屏不具有查看大屏功能。在保存的页面输入大屏的名称。图10 保存并发布说明:大屏名称不能为空,只允许输入长度为1到32位由数字、中文、英文、下划线(_)或中划线(-)组成的字符串。保存并发布:保存并发布大屏之后,在大屏页面大屏具有查看功能。在保存并发布的页面输入大屏的名称。图11 保存并发布说明:大屏名称不能为空,只允许输入长度为1到32位由数字、中文、英文、下划线(_)或中划线(-)组成的字符串。步骤5:查看/预览大屏当大屏创建完成之后,可以进行预览方便对大屏的效果进行修改,本节将为您介绍如何预览大屏。在页面的右上侧,点击“预览”,即可完成预览大屏的功能。图12 预览大屏图13 零售数据大屏效果图
  • [技术干货] 【操作指南】如何使用仪表板分析数据?
    操作场景DataArts Insight提供了简单易用的可视化操作和灵活高效的多维分析能力,DataArts Insight连接外部数据源,即可进行数据分析和报表搭建。本节将为您介绍使用DataArts Insight连接GaussDB(DWS)数据源制作图表的操作步骤。操作流程图1 智能数据洞察快速入门的流程步骤1:新建项目登录DataArts Insight管理控制台。在DataArts Insight控制台,按照如下指引,新建项目。单击右侧的“新建项目”创建项目。图2 创建项目在新增项目页面输入项目的名称。选择对应的企业项目。填写描述信息。单击“确认”完成项目创建。说明:项目名称只能由中英文字、数字、以及下划线(_)、斜线(/)、反斜线(\)、竖线(|)、小括号(())、中括号([])组成。项目名称字符长度不超过50个字符。描述信息的长度不超过512个字符。图3 新增项目步骤2:新建数据源新建数据源有以下几种方式:DataArts Insight首页新建数据源快速入口。图4 数据源项目页面内“数据管理 > 数据源”页面下新建数据源。本示例选择在项目页面下创建数据源。进入新建的项目,按下图指引完成数据源的链接,单击“新建数据源”。图5 新建数据源源库类型:选择数据源作为数据分析的数据输入。DataArts Insight支持连接ClickHouse、GaussDB(DWS),同时也支持API数据源接入,详细了解请参见新建数据源章节。示例选择GaussDB(DWS)为源库类型,接入网络类型选择公网接入。更多参数配置请参考表2。表1 数据源说明 数据源描述ClickHouseClickHouse是一款开源的面向联机分析处理的列式数据库。GaussDB(DWS)数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。API数据通过API的方式连接数据源。图6 新建DWS数据源表2 配置项参数说明 参数描述名称数据源配置列表的显示名称。说明:名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。域名数据源IP。用户名登录数据库的用户名。密码登录数据库的密码。端口对应数据库的登录端口。数据库登录的数据库名称。SASL_SSL开启SASL_SSL可以实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。完成配置项填写单击“连接测试”。测试连接成功后,点击“确定”完成数据连接。步骤3:新建数据集新建数据集以下几种方式:DataArts Insight首页新建数据集快速入口。图7 数据集项目页面内“数据管理 > 数据集”页面下新建数据集。数据源列表下创建数据集。本示例选择在项目页面下“数据管理 > 数据集”下创建数据集。完成数据源连接后,创建数据集,单击“新建数据集”。图8 新建数据集配置数据源信息。选择步骤2:新建数据源中新建的数据源作为数据集的输入。选择数据源的数据库、Schema。双击数据表,进入数据预览页面。在该页面可对数据进行过滤、新建指标和新建层次维度等操作。图9 配置数据集相关参数单击右侧的“保存”保存数据集的配置信息。输入数据集的名称,单击“确定”完成数据集创建。说明:数据集名称只能由中英文、数字及下划线(_)组成,且不超过64个字符。步骤4:新建仪表板创建仪表板有以下几种方式:DataArts Insight首页创建仪表板快速入口。图10 仪表板创建数据集编辑页面。在控制台单击需要操作项目>数据集>操作列>单击编辑,进入数据集编辑页面,单击页面右上角“创建仪表板”按钮。数据集列表页面。在控制台单击需要操作项目>数据集>操作列>新建仪表板。仪表板表页面。在控制台单击需要操作项目>数据分析>仪表板>新建仪表板。本示例选择在数据集编辑页面进行创建仪表板。在新建的数据集页面,单击右上角的“创建仪表板”进入仪表板页面。新建可视化图表,本示例以智能图表为例。在智能图表区域,将数据的“维度”和“度量”通过鼠标拖动到“智能图表”内的“列”内。图11 制作智能图表点击“更新”之后就可以得到需要的智能报表内容。图12 智能报表效果单击右侧的“保存”保存智能报表。输入仪表板的名称,单击“确定”保存成功。也可通过单击“保存并发布”,保存并发布仪表板。发布后支持预览仪表板。步骤5:查看/预览仪表板查看仪表板要查看的仪表板必须是已经发布的仪表板,未发布仪表板不具有查看的功能。在所创建的项目下,单击数据分析下的“仪表板”,进入仪表板页面。在仪表板页面,选择对应的仪表板单击操作列下的“查看”,就可以查看新建成功的仪表板。图13 查看仪表板预览仪表板在仪表板页面,选择对应的仪表板单击操作列下的“预览”,就可以预览仪表板。图14 预览仪表板
  • [问题求助] FusionInsight_HD_8.2.0.1产品,在Flink SQL客户端中select 'hello'报错KeeperErrorCode = ConnectionLoss for /flink_base/flink
    flinkSQL client中select 还是报错的,请帮忙指点下,哪里有问题?谢谢org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$SessionClosedRequireAuthException: KeeperErrorCode = Session closed because client failed to authenticate for /flink_base/flink或者org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /flink_base/flinkzookeeper已经启动,192.168.0.82:24002 ,而且zookeeper中的ACL权限已经设置,但是在设置配额失败[zk: 192.168.0.82:24002(CONNECTED) 5] setquota -n 1000000 /flink_base/flink Insufficient permission : /flink_base/flink tail -f /home/dmp/app/ficlient/Flink/flink/log/flink-root-sql-client-192-168-0-85.log  中的日志如下flink-conf.yaml中的全部配置如下akka.ask.timeout: 120 s akka.client-socket-worker-pool.pool-size-factor: 1.0 akka.client-socket-worker-pool.pool-size-max: 2 akka.client-socket-worker-pool.pool-size-min: 1 akka.framesize: 10485760b akka.log.lifecycle.events: false akka.lookup.timeout: 30 s akka.server-socket-worker-pool.pool-size-factor: 1.0 akka.server-socket-worker-pool.pool-size-max: 2 akka.server-socket-worker-pool.pool-size-min: 1 akka.ssl.enabled: true akka.startup-timeout: 10 s akka.tcp.timeout: 60 s akka.throughput: 15 blob.fetch.backlog: 1000 blob.fetch.num-concurrent: 50 blob.fetch.retries: 50 blob.server.port: 32456-32520 blob.service.ssl.enabled: true classloader.check-leaked-classloader: false classloader.resolve-order: child-first client.rpc.port: 32651-32720 client.timeout: 120 s compiler.delimited-informat.max-line-samples: 10 compiler.delimited-informat.max-sample-len: 2097152 compiler.delimited-informat.min-line-samples: 2 env.hadoop.conf.dir: /home/dmp/app/ficlient/Flink/flink/conf env.java.opts.client: -Djava.io.tmpdir=/home/dmp/app/ficlient/Flink/tmp env.java.opts.jobmanager: -Djava.security.krb5.conf=/opt/huawei/Bigdata/common/runtime/krb5.conf -Djava.io.tmpdir=${PWD}/tmp -Des.security.indication=true env.java.opts.taskmanager: -Djava.security.krb5.conf=/opt/huawei/Bigdata/common/runtime/krb5.conf -Djava.io.tmpdir=${PWD}/tmp -Des.security.indication=true env.java.opts: -Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=20 -XX:GCLogFileSize=20M -Djdk.tls.ephemeralDHKeySize=3072 -Djava.library.path=${HADOOP_COMMON_HOME}/lib/native -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false -Dbeetle.application.home.path=/opt/huawei/Bigdata/common/runtime/security/config -Dwcc.configuration.path=/opt/huawei/Bigdata/common/runtime/security/config -Dscc.configuration.path=/opt/huawei/Bigdata/common/runtime/securityforscc/config -Dscc.bigdata.common=/opt/huawei/Bigdata/common/runtime env.yarn.conf.dir: /home/dmp/app/ficlient/Flink/flink/conf flink.security.enable: true flinkserver.alarm.cert.skip: true flinkserver.host.ip: fs.output.always-create-directory: false fs.overwrite-files: false heartbeat.interval: 10000 heartbeat.timeout: 120000 high-availability.job.delay: 10 s high-availability.storageDir: hdfs://hacluster/flink/recovery high-availability.zookeeper.client.acl: creator high-availability.zookeeper.client.connection-timeout: 90000 high-availability.zookeeper.client.max-retry-attempts: 5 high-availability.zookeeper.client.retry-wait: 5000 high-availability.zookeeper.client.session-timeout: 90000 high-availability.zookeeper.client.tolerate-suspended-connections: true high-availability.zookeeper.path.root: /flink high-availability.zookeeper.path.under.quota: /flink_base high-availability.zookeeper.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 high-availability.zookeeper.quota.enabled: true high-availability: zookeeper job.alarm.enable: true jobmanager.heap.size: 1024mb jobmanager.web.403-redirect-url: https://192.168.0.82:28443/web/pages/error/403.html jobmanager.web.404-redirect-url: https://192.168.0.82:28443/web/pages/error/404.html jobmanager.web.415-redirect-url: https://192.168.0.82:28443/web/pages/error/415.html jobmanager.web.500-redirect-url: https://192.168.0.82:28443/web/pages/error/500.html jobmanager.web.access-control-allow-origin: * jobmanager.web.accesslog.enable: true jobmanager.web.allow-access-address: * jobmanager.web.backpressure.cleanup-interval: 600000 jobmanager.web.backpressure.delay-between-samples: 50 jobmanager.web.backpressure.num-samples: 100 jobmanager.web.backpressure.refresh-interval: 60000 jobmanager.web.cache-directive: no-store jobmanager.web.checkpoints.disable: false jobmanager.web.checkpoints.history: 10 jobmanager.web.expires-time: 0 jobmanager.web.history: 5 jobmanager.web.logout-timer: 600000 jobmanager.web.pragma-value: no-cache jobmanager.web.refresh-interval: 3000 jobmanager.web.ssl.enabled: false jobmanager.web.x-frame-options: DENY library-cache-manager.cleanup.interval: 3600 metrics.internal.query-service.port: 28844-28943 metrics.reporter.alarm.factory.class: com.huawei.mrs.flink.alarm.FlinkAlarmReporterFactory metrics.reporter.alarm.interval: 30 s metrics.reporter.alarm.job.alarm.checkpoint.consecutive.failures.num: 5 metrics.reporter.alarm.job.alarm.failure.restart.rate: 80 metrics.reporter.alarm.job.alarm.task.backpressure.duration: 180 s metrics.reporter: alarm nettyconnector.message.delimiter: $_ nettyconnector.registerserver.topic.storage: /flink/nettyconnector nettyconnector.sinkserver.port.range: 28444-28843 nettyconnector.ssl.enabled: false parallelism.default: 1 query.client.network-threads: 0 query.proxy.network-threads: 0 query.proxy.ports: 32541-32560 query.proxy.query-threads: 0 query.server.network-threads: 0 query.server.ports: 32521-32540 query.server.query-threads: 0 resourcemanager.taskmanager-timeout: 300000 rest.await-leader-timeout: 30000 rest.bind-port: 32261-32325 rest.client.max-content-length: 104857600 rest.connection-timeout: 15000 rest.idleness-timeout: 300000 rest.retry.delay: 3000 rest.retry.max-attempts: 20 rest.server.max-content-length: 104857600 rest.server.numThreads: 4 restart-strategy.failure-rate.delay: 10 s restart-strategy.failure-rate.failure-rate-interval: 60 s restart-strategy.failure-rate.max-failures-per-interval: 1 restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10 s restart-strategy: none security.cookie: 9477298cd52a3e409ed0bc570bdc795179fcc7c301a1225e22f47fe0a3db47c2 security.enable: true security.kerberos.login.contexts: Client,KafkaClient security.kerberos.login.keytab: security.kerberos.login.principal: security.kerberos.login.use-ticket-cache: true security.networkwide.listen.restrict: true security.ssl.algorithms: TLS_DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_DHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 security.ssl.enabled: false security.ssl.encrypt.enabled: false security.ssl.key-password: Bapuser@9000 security.ssl.keystore-password: Bapuser@9000 security.ssl.keystore: ssl/flink.keystore security.ssl.protocol: TLSv1.2 security.ssl.rest.enabled: false security.ssl.truststore-password: Bapuser@9000 security.ssl.truststore: ssl/flink.truststore security.ssl.verify-hostname: false slot.idle.timeout: 50000 slot.request.timeout: 300000 state.backend.fs.checkpointdir: hdfs://hacluster/flink/checkpoints state.backend.fs.memory-threshold: 20kb state.backend.incremental: true state.backend: rocksdb state.savepoints.dir: hdfs://hacluster/flink/savepoint task.cancellation.interval: 30000 task.cancellation.timeout: 180000 taskmanager.data.port: 32391-32455 taskmanager.data.ssl.enabled: false taskmanager.debug.memory.logIntervalMs: 0 taskmanager.debug.memory.startLogThread: false taskmanager.heap.size: 1024mb taskmanager.initial-registration-pause: 500 ms taskmanager.max-registration-pause: 30 s taskmanager.maxRegistrationDuration: 5 min taskmanager.memory.fraction: 0.7 taskmanager.memory.off-heap: false taskmanager.memory.preallocate: false taskmanager.memory.segment-size: 32768 taskmanager.network.detailed-metrics: false taskmanager.network.memory.buffers-per-channel: 2 taskmanager.network.memory.floating-buffers-per-gate: 8 taskmanager.network.memory.fraction: 0.1 taskmanager.network.memory.max: 1gb taskmanager.network.memory.min: 64mb taskmanager.network.netty.client.connectTimeoutSec: 300 taskmanager.network.netty.client.numThreads: -1 taskmanager.network.netty.num-arenas: -1 taskmanager.network.netty.sendReceiveBufferSize: 4096 taskmanager.network.netty.server.backlog: 0 taskmanager.network.netty.server.numThreads: -1 taskmanager.network.netty.transport: nio taskmanager.network.numberOfBuffers: 2048 taskmanager.network.request-backoff.initial: 100 taskmanager.network.request-backoff.max: 10000 taskmanager.numberOfTaskSlots: 1 taskmanager.refused-registration-pause: 10 s taskmanager.registration.timeout: 5 min taskmanager.rpc.port: 32326-32390 taskmanager.runtime.hashjoin-bloom-filters: false taskmanager.runtime.max-fan: 128 taskmanager.runtime.sort-spilling-threshold: 0.8 use.path.filesystem: true use.smarterleaderlatch: true web.submit.enable: false web.timeout: 10000 yarn.application-attempt-failures-validity-interval: 600000 yarn.application-attempts: 5 yarn.application-master.port: 32586-32650 yarn.heap-cutoff-min: 384 yarn.heap-cutoff-ratio: 0.25 yarn.heartbeat-delay: 5 yarn.heartbeat.container-request-interval: 500 yarn.maximum-failed-containers: 5 yarn.per-job-cluster.include-user-jar: ORDER zk.ssl.enabled: false zookeeper.clientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 zookeeper.root.acl: OPEN zookeeper.sasl.disable: false zookeeper.sasl.login-context-name: Client zookeeper.sasl.service-name: zookeeper zookeeper.secureClientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 
  • [问题求助] hetu引擎 有没有类似 lateral view posexplode ( 用于生成动态日期序列)的函数或其他拆分日期(以天数为粒度)处理的方法
    Hive函数posexplode可以用于生成动态日期序列,见下例,请教:hetu引擎有没有类似的功能或方法select  i, date_add('2020-11-01', pe.i) as dynamic_date ,'2020-11-01' as start_time, '2020-11-30' end_timefrom  ods.test  lateral view posexplode(split(space(datediff('2020-11-30', '2020-11-01')),' ')) pe as i, x  limit 30 ;
  • [问题求助] FusionInsight_HD_8.2.0.1产品,在Flink SQL客户端中select 'hello'报错KeeperErrorCode = ConnectionLoss for /flink_base/flink
    1.在flink sql client中执行sql  直接报错[ERROR] Could not execute SQL statement. Reason: org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /flink_base/flink 2.而且进入zookeeper中查询也是报错,求解求解[omm@192-168-0-82 zookeeper]$ pwd /opt/huawei/Bigdata/FusionInsight_HD_8.2.0.1/install/FusionInsight-Zookeeper-3.6.3/zookeeper [omm@192-168-0-82 zookeeper]$ bin/zkCli.sh -server 192.168.0.82:24002 Connecting to 192.168.0.82:24002 Welcome to ZooKeeper! JLine support is enabled  WATCHER::  WatchedEvent state:SyncConnected type:None path:null [zk: 192.168.0.82:24002(CONNECTING) 0] ls / KeeperErrorCode = Session closed because client failed to authenticate for / [zk: 192.168.0.82:24002(CONNECTED) 1] WATCHER::  WatchedEvent state:Disconnected type:None path:null  WATCHER::  WatchedEvent state:SyncConnected type:None path:null  WATCHER::  WatchedEvent state:Disconnected type:None path:null 后面是一直循环WATCHER:,flink-conf.yaml中的部分设置如下 flink.security.enable: true flinkserver.alarm.cert.skip: true flinkserver.host.ip: fs.output.always-create-directory: false fs.overwrite-files: false heartbeat.interval: 10000 heartbeat.timeout: 120000 high-availability.job.delay: 10 s high-availability.storageDir: hdfs://hacluster/flink/recovery high-availability.zookeeper.client.acl: creator high-availability.zookeeper.client.connection-timeout: 90000 high-availability.zookeeper.client.max-retry-attempts: 5 high-availability.zookeeper.client.retry-wait: 5000 high-availability.zookeeper.client.session-timeout: 90000 high-availability.zookeeper.client.tolerate-suspended-connections: true high-availability.zookeeper.path.root: /flink high-availability.zookeeper.path.under.quota: /flink_base high-availability.zookeeper.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 high-availability.zookeeper.quota.enabled: true high-availability: zookeeper yarn.application-attempts: 5 yarn.application-master.port: 32586-32650 yarn.heap-cutoff-min: 384 yarn.heap-cutoff-ratio: 0.25 yarn.heartbeat-delay: 5 yarn.heartbeat.container-request-interval: 500 yarn.maximum-failed-containers: 5 yarn.per-job-cluster.include-user-jar: ORDER zk.ssl.enabled: false zookeeper.clientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 zookeeper.root.acl: OPEN zookeeper.sasl.disable: false zookeeper.sasl.login-context-name: Client zookeeper.sasl.service-name: zookeeper zookeeper.secureClientPort.quorum: 192.168.0.82:24002,192.168.0.81:24002,192.168.0.80:24002 
  • [问题求助] spark写高斯数据库异常提示
    采用spark将计算好的数据写入高斯数据库,提示invalid input syntax for type oid:"xxxxx"。导致部分数据无法写入oid这个是系统表中对数据库资源的标志吧,sql中没有修改这个字段。这个异常具体怎么回事,有大神能够帮忙解释一下吗?
  • [生态对接] 使用开源Hive,无法连接mrs hive-metastore
    版本现象使用开源Hive相关依赖(hive-exec、hive-metastore等)无法连接MRS Hive MetaStore 问题1:MRS Hive MetaStore 是否支持外部访问  问题2:如果支持外部访问需要哪些必要操作?(必须强制要MRS Hive相同的依赖?或者其他注意事项?)  其他:我看到一个类似的问题,https://bbs.huaweicloud.com/forum/thread-99927-1-1.html,是属于同一类问题吗? 
  • [问题求助] AI和大数据的关系
    现在ai火的出圈,ai也是基于大量的数据训练的。那么作为ai工程师和大数据工程师到底有那些相同,相异之处?
  • [问题求助] 大数据处理套件常见的应用场景有哪些?
    大数据处理套件常见的应用场景有哪些?
  • [问题求助] 大数据平台的各组件是如何交互的
    大数据平台的各组件是如何交互的