【功能模块】【操作步骤&问题现象】1、flink消费kafka数据输出到hbase中，写不进hbase中，报错信息如下：com.huawei.bigdata.flink.examples.outputs.HbaseSink2 (HbaseSink2.java:132) java.io.InterruptedIOException: Giving up trying to location region in meta: thread is interrupted.    at org.apache.hadoop.hbase.client.ConnectionImplementation.locateRegionInMeta(ConnectionImplementation.java:973)    at org.apache.hadoop.hbase.client.ConnectionImplementation.locateRegion(ConnectionImplementation.java:790)    at org.apache.hadoop.hbase.client.HRegionLocator.getRegionLocation(HRegionLocator.java:64)    at org.apache.hadoop.hbase.client.RegionLocator.getRegionLocation(RegionLocator.java:58)    at org.apache.hadoop.hbase.client.RegionLocator.getRegionLocation(RegionLocator.java:47)    at org.apache.hadoop.hbase.client.RegionServerCallable.prepare(RegionServerCallable.java:223)    at org.apache.hadoop.hbase.client.RpcRetryingCallerImpl.callWithRetries(RpcRetryingCallerImpl.java:107)    at org.apache.hadoop.hbase.client.HTable.put(HTable.java:540)    at com.huawei.bigdata.flink.examples.outputs.HbaseSink2.invoke(HbaseSink2.java:128)    at com.huawei.bigdata.flink.examples.outputs.HbaseSink2.invoke(HbaseSink2.java:29)    at org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:56)    at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:641)    at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:616)    at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:596)    at org.apache.flink.streaming.api.operators.AbstractStreamOperator$CountingOutput.collect(AbstractStreamOperator.java:734)    at org.apache.flink.streaming.api.operators.AbstractStreamOperator$CountingOutput.collect(AbstractStreamOperator.java:712)    at org.apache.flink.streaming.api.operators.StreamSourceContexts$NonTimestampContext.collect(StreamSourceContexts.java:104)    at org.apache.flink.streaming.api.operators.StreamSourceContexts$NonTimestampContext.collectWithTimestamp(StreamSourceContexts.java:111)    at org.apache.flink.streaming.connectors.kafka.internals.AbstractFetcher.emitRecordWithTimestamp(AbstractFetcher.java:398)    at org.apache.flink.streaming.connectors.kafka.internal.KafkaFetcher.emitRecord(KafkaFetcher.java:185)    at org.apache.flink.streaming.connectors.kafka.internal.KafkaFetcher.runFetchLoop(KafkaFetcher.java:150)    at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.run(FlinkKafkaConsumerBase.java:715)    at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:100)    at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:63)    at org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.run(SourceStreamTask.java:196)2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】【操作步骤&问题现象】1、我在原有flink连接kafka的example中写了一个sinkHbase的代码(说明：运行原来flink连接kafka样例代码没有任何问题)，之后进行测试，我将所需要的jar包都上传到flink/lib下面了，然后运行代码报：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration，具体报错信息如下所示：2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】【操作步骤&问题现象】1、hbase 在linux上运行样例代码报错：2021-04-06 14:36:05,949 INFO  [main] examples.HBaseSample: Entering testCreateTable.2021-04-06 14:36:06,575 WARN  [main] examples.HBaseSample: table already exists2021-04-06 14:36:06,576 INFO  [main] examples.HBaseSample: Exiting testCreateTable.2021-04-06 14:36:06,576 INFO  [main] examples.HBaseSample: Entering testMultiSplit.2021-04-06 14:36:06,678 ERROR [main] client.HBaseAdmin: Splits are not inside region key range. Abort multisplit2021-04-06 14:36:06,679 ERROR [main] examples.HBaseSample: MultiSplit failedorg.apache.hadoop.hbase.DoNotRetryIOException: Region multi split failed, splitkeys are not within the region boundary.        at org.apache.hadoop.hbase.client.HBaseAdmin.checkAndSortSplitKeys(HBaseAdmin.java:1984)        at org.apache.hadoop.hbase.client.HBaseAdmin.multiSplit(HBaseAdmin.java:1937)        at org.apache.hadoop.hbase.client.HBaseAdmin.multiSplit(HBaseAdmin.java:1904)        at org.apache.hadoop.hbase.client.HBaseAdmin.multiSplitSync(HBaseAdmin.java:2100)        at com.huawei.bigdata.hbase.examples.HBaseSample.testMultiSplit(HBaseSample.java:181)        at com.huawei.bigdata.hbase.examples.HBaseSample.test(HBaseSample.java:78)        at com.huawei.bigdata.hbase.examples.TestMain.main(TestMain.java:48)2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】生产 c70集群  hbase模块【操作步骤&问题现象】同样的代码生产环境1、用java客户端get请求查询hbase，首次查询等待40s秒后出现超时，但接下后续查询就很正常，几十毫秒就可以查到结果2、但如果在上次成功查询后，两分钟后 再去get请求hbase，依旧等待40s后出现超时异常，后面的请求正常测试环境无超时情况，但是首次和间隔两分钟这种get请求，时间稍微久了点

使用MRS 3.0.5安装（包含了hbase组件），为何在master1上找不到hbase命令？参考文档：https://support.huaweicloud.com/cmpntguide-mrs/bakmrs_01_0368.html

请问，华为云 MRS 集群上的HBASE存储的数据如何做到落盘加密呢？ 我看购买MRS 2.1版本时有整盘加密选项，到MRS 3.0 这个选项就没有了。 搜华为文档，发现可以自行配置加密 https://support.huaweicloud.com/usermanual-mrs/admin_guide_000276.html， 但似乎又不推荐。那么今后华为MRS HBASE 落盘加密的规划是怎样的？ 是以后会支持整盘加密，还是支持用户通过配置HFile WAL加密？谢谢

当前许多用户都是自建集群，对于自建集群，需要有完善的监控才能有效的维护hbase集群，Prometheus+Grafana是当前比较成熟和有效的监控解决方案，下文介绍了如何使用Prometheus+Grafana搭建监控，https://bbs.huaweicloud.com/blogs/249325

各位老师，有没有遇到过这种问题，单独的hive可以查到数据，单独地hbase经过zk可以往hbase中put数据，但是连起来，先查hive，再把hive的结果，用hbase链接zk，往hbase中put数据，就报用户认证错误。具体保错如下图，请老师帮忙解决下，谢谢啦。 469221

HBase实用技巧：一种全量+增量数据的迁移方法

问题分析  查看regionserver的运行日志(/var/log/Bigdata/hbase/rs/hbase-omm-regionserver-xxx.log)发现报错连接主机失败，原因是主机名后多了.localhost;2.  /etc/resolv.conf文件中多了一行search localhost。        问题解决参考    将/ect/resolv.conf文件中的search localhost注释掉重启服务恢复。

问题分析            查看regionserver的.out(/var/log/Bigdata/hbase/rs/hbase-omm-regionserver-xxx.out)日志发现重启是由于jvm crash。查看hs_err_pid.log日志，显示异常堆栈未0xb4。问题根因ARM服务器上，openjdk已知bug。简单来说，就是CMS代码中存在逻辑：1.load oop 2.load oop->class  3.load->class.field，这三步本身是需要包再时序的，但是事实上，在arm上由于弱内存续，实际的实行顺序有可能是2/3/1或者2/1/3，这样就没办法保证每一步取到的都是正确的数据，一旦取到的数据有问题，就可能被当作一个地址去做访问二，就SIGSEGV了。问题解决参考    不使用CMS算法。    

问题分析 排查regionserver运行日志（/var/log/Bigdata/hbase/rs/hbase-omm-regionserver-xxx.log），异常重启的原因为连不上zookeeper集群。查看zookeeper GC日志与运行日志。发现zookeeper gc 日志中存在Full GC打印。问题解决参考    ZooKeeper实例Full GC导致RegionServer连不上zookeeper，需要增大ZooKeeper的GC配置。FI界面修改quorumpeer的GC配置如下，修改完后保存配置，重启zookeeper服务。

问题分析查看异常重启的regionserver的hbase.out(/var/log/Bigdata/hbase/rs/hbase-omm-regionserver-xxx.out)日志显示重启原因为jvm crash。查看对应hs_err_pid.log所有显示异常时堆栈再0x43。GC参数配置xmx 41G，表压缩算法ZSTD，两个条件共存时会导致RegionServer重启异常，其中一个不满足，不会触发该问题。问题解决参考    修改GC配置在31G以下或者将表的压缩算法改成其他的。

问题分析查看对应RegionServer运行日志(/var/log/Bigdata/hbase/rs/hbase-omm-regionserver-xxx.log)，报错在hdfs如下目录下找不到协处理器jar包。File does not exits:hdfs://hacluster/user/CORLU81NETMLB/bulkload/indexProcessor/Coprocessor.jarRegionServer协处理器jar包放置目录不对，导致RegionServer无法加载到协处理器异常重启。问题解决参考    disable使用这个协处理器的表，将协处理器放到对应的hdfs的目录下，重启RegionServer，重新enable表。

问题分析RS实例异常重启，regionserver运行日志(/var/log/Bigdata/hbase/rs/hbase-omm-regionserver-xxx.log)中报NullPointException异常：        2020-05-22 09:52:35,314 | FATAL | RpcServer.FifoWFPBQ.default.handler=208,queue=28,port=21302 | ABORTING region server fj-hadoop-hdp04,21302,1589247069521: The coprocessor org.apache.hadoop.hbase.regionserver.IndexHalfStoreFileReaderGenerator threw java.lang.NullPointerException | org.apache.hadoop.hbase.regionserver.HRegionServer.abort(HRegionServer.java:2256)        java.lang.NullPointerException         at java.util.ArrayList.addAll(ArrayList.java:581)         at org.apache.hadoop.hbase.regionserver.IndexHalfStoreFileReaderGenerator.getLocalIndexScanners(IndexHalfStoreFileReaderGenerator.java:375)         at org.apache.hadoop.hbase.regionserver.IndexHalfStoreFileReaderGenerator.access$000(IndexHalfStoreFileReaderGenerator.java:71)         at org.apache.hadoop.hbase.regionserver.IndexHalfStoreFileReaderGenerator$1.getScannersNoCompaction(IndexHalfStoreFileReaderGenerator.java:321)         at org.apache.hadoop.hbase.regionserver.StoreScanner.<init>(StoreScanner.java:212)         at org.apache.hadoop.hbase.regionserver.IndexHalfStoreFileReaderGenerator$1.<init>(IndexHalfStoreFileReaderGenerator.java:316)         at org.apache.hadoop.hbase.regionserver.IndexHalfStoreFileReaderGenerator.preStoreScannerOpen(IndexHalfStoreFileReaderGenerator.java:315)         at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$59.call(RegionCoprocessorHost.java:1424)         at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$RegionOperation.call(RegionCoprocessorHost.java:1780)         at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.execOperation(RegionCoprocessorHost.java:1856)         at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.execOperationWithResult(RegionCoprocessorHost.java:1819)         at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.preStoreScannerOpen(RegionCoprocessorHost.java:1419)         at org.apache.hadoop.hbase.regionserver.HStore.getScanner(HStore.java:2154)         at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.initializeScanners(HRegion.java:5980)         at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.<init>(HRegion.java:5954)         at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.<init>(HRegion.java:5959)         at org.apache.hadoop.hbase.regionserver.HRegion.instantiateRegionScanner(HRegion.java:2768)         at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2748)         at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2730)         at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2724)         at org.apache.hadoop.hbase.regionserver.RSRpcServices.newRegionScanner(RSRpcServices.java:2742)         at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3000)         at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:35072)         at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2482)         at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:123)         at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:191)         at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:168)    2. 此问题为开源问题，单号为：https://issues.apache.org/jira/browse/PHOENIX-4839    3. 原因是在PHOENIX-4885以后，any local index query will open all HFiles of every Region，所以在本地索引查询的时候会打开所有的hfile去查询，有一些storescanner在memstore中存储，所以要去内存中扫描，但是根据pt没有找到对应的storescanner，返回为null。此处将null加入到了arraylist中，报了空指针异常。问题解决参考    6.5.1.7版本已经解决，升级版本到6.5.1.7。