- 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库,来自俄罗斯的Yandex公司,2016年开源。它独立于Hadoop大数据体系,其最核心的特点是极致压缩率和极速查询性能,能为用户节约大量成本,同时创造更多收益。它提供了兼容标准SQL协议的接口,支持JDBC、ODBC驱动,使用C++语言实现。当然它还有个宏伟的目标:成为世界上最快的分析型数据库,官方测试数据表明... 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库,来自俄罗斯的Yandex公司,2016年开源。它独立于Hadoop大数据体系,其最核心的特点是极致压缩率和极速查询性能,能为用户节约大量成本,同时创造更多收益。它提供了兼容标准SQL协议的接口,支持JDBC、ODBC驱动,使用C++语言实现。当然它还有个宏伟的目标:成为世界上最快的分析型数据库,官方测试数据表明...
- MRS集群创建过程中遇到的问题华为Stack创建MRS集群时需要注意MRS节点规格关联的主机组中,主机个数应该大于集群master节点数,以满足反亲和性要求。MRS集群 FusionInsight Manger admin账户应注意避免与系统默认账户重复,否则可能导致创建失败。集群创建之前确认vpc类型的外部网络已经分配。集群创建过程较长,在环境资源紧张、或者测试时建议先临时关闭MRS回滚功... MRS集群创建过程中遇到的问题华为Stack创建MRS集群时需要注意MRS节点规格关联的主机组中,主机个数应该大于集群master节点数,以满足反亲和性要求。MRS集群 FusionInsight Manger admin账户应注意避免与系统默认账户重复,否则可能导致创建失败。集群创建之前确认vpc类型的外部网络已经分配。集群创建过程较长,在环境资源紧张、或者测试时建议先临时关闭MRS回滚功...
- Job和CronJob是负责批量处理短暂的一次性任务(short lived one-off tasks),即仅执行一次的任务,它保证批处理任务的一个或多个Pod成功结束。Job:是Kubernetes用来控制批处理型任务的资源对象。批处理业务与长期伺服业务(Deployment、Statefulset)的主要区别是批处理业务的运行有头有尾,而长期伺服业务在用户不停止的情况下永远运行。Job... Job和CronJob是负责批量处理短暂的一次性任务(short lived one-off tasks),即仅执行一次的任务,它保证批处理任务的一个或多个Pod成功结束。Job:是Kubernetes用来控制批处理型任务的资源对象。批处理业务与长期伺服业务(Deployment、Statefulset)的主要区别是批处理业务的运行有头有尾,而长期伺服业务在用户不停止的情况下永远运行。Job...
- 继上篇在华为云编译和使用单点的ClickHouse,本篇博文会向大家分享MRS集群上配置部署ClickHouse服务,是ClickHouse集群:) 继上篇在华为云编译和使用单点的ClickHouse,本篇博文会向大家分享MRS集群上配置部署ClickHouse服务,是ClickHouse集群:)
- 1 前言大家好,今天继续向各位分享在华为云上编译和使用ClickHouse,这里会以单节点为例,后续会有系列博文介绍怎样部署集群和使用,欢迎持续关注^_^2 准备工作在开始本文之前,建议在华为云购买一台云服务器,同时考虑到后续的顺利操作,云服务器需要有一些要求:CPU架构:x86计算规格:c6.2xlarge.4,如果想编译快一点尽量提高CPU的核数镜像:公共镜像,CentOS CentOS... 1 前言大家好,今天继续向各位分享在华为云上编译和使用ClickHouse,这里会以单节点为例,后续会有系列博文介绍怎样部署集群和使用,欢迎持续关注^_^2 准备工作在开始本文之前,建议在华为云购买一台云服务器,同时考虑到后续的顺利操作,云服务器需要有一些要求:CPU架构:x86计算规格:c6.2xlarge.4,如果想编译快一点尽量提高CPU的核数镜像:公共镜像,CentOS CentOS...
- 为了应对数据极速增长带来的多样性业务诉求,华为云CTO张宇昕在峰会上重磅发布了华为云FusionInsight新一代智能数据湖,通过一云一湖两引擎,使能数据治理和运营,释放海量数据价值。 为了应对数据极速增长带来的多样性业务诉求,华为云CTO张宇昕在峰会上重磅发布了华为云FusionInsight新一代智能数据湖,通过一云一湖两引擎,使能数据治理和运营,释放海量数据价值。
- 本博客主要介绍华为FusionInsight MRS补丁安装相关流程,以及注意事项。 本博客主要介绍华为FusionInsight MRS补丁安装相关流程,以及注意事项。
- 本章主要介绍华为FusionInsight MRS 版本升级相关流程,以及注意事项。 本章主要介绍华为FusionInsight MRS 版本升级相关流程,以及注意事项。
- Hive是建立在Hadoop上的数据仓库框架,提供类似SQL的HiveQL语言操作结构化数 据,其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务,从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口,支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca... Hive是建立在Hadoop上的数据仓库框架,提供类似SQL的HiveQL语言操作结构化数 据,其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务,从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口,支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca...
- CarbonData是一种新型的Apache Hadoop文件格式,使用先进的列式存储、索引、压 缩和编码技术,将数据保存在HDFS中以提高计算效率,有助于加速超过PB数量级的数 据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成 的高性能分析引擎,用户可使用Spark SQL执行数据查询和分析。 CarbonData主要支持以下特性: ● SQL功能 ... CarbonData是一种新型的Apache Hadoop文件格式,使用先进的列式存储、索引、压 缩和编码技术,将数据保存在HDFS中以提高计算效率,有助于加速超过PB数量级的数 据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成 的高性能分析引擎,用户可使用Spark SQL执行数据查询和分析。 CarbonData主要支持以下特性: ● SQL功能 ...
- Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用 程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: ● 能够快速处理OLAP工作负载 ● 支持与MapReduce,Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成,使其成为将HDFS与Apache Parq... Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用 程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: ● 能够快速处理OLAP工作负载 ● 支持与MapReduce,Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成,使其成为将HDFS与Apache Parq...
- 实现Kerberos认证集群与开源elasticsearch对接 实现Kerberos认证集群与开源elasticsearch对接
- DAYU数据开发常见问题解答,持续更新~ DAYU数据开发常见问题解答,持续更新~
- 近期,华为云FusionInsight MRS成功突破单集群2万+节点,刷新业内记录。超大规模单集群彻底解决了多系统烟囱林立的局面,消除数据孤岛,减少数据冗余,还能为数据分析的时效性提供保障,加速数据价值变现。 近期,华为云FusionInsight MRS成功突破单集群2万+节点,刷新业内记录。超大规模单集群彻底解决了多系统烟囱林立的局面,消除数据孤岛,减少数据冗余,还能为数据分析的时效性提供保障,加速数据价值变现。
- 出于安全考虑,最新发布的MRS1.9.3版本对部分存在严重安全漏洞的第三方开源组件进行了版本升级。这导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty的版本兼容性问题。经过对Jetty冲突类的分析排查,总结出以下对接方法,按以下步骤进行操作还是可以完成部署和对接的,发出来分享给大家。1. 参照如下链接在一个ECS节点进行MRS Client安装。我把MRS客户端安装在了/sr... 出于安全考虑,最新发布的MRS1.9.3版本对部分存在严重安全漏洞的第三方开源组件进行了版本升级。这导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty的版本兼容性问题。经过对Jetty冲突类的分析排查,总结出以下对接方法,按以下步骤进行操作还是可以完成部署和对接的,发出来分享给大家。1. 参照如下链接在一个ECS节点进行MRS Client安装。我把MRS客户端安装在了/sr...
上滑加载中
推荐直播
-
鸿蒙应用实战:带你掌握UIAbility使用
2024/12/12 周四 16:00-18:00
Cindy 华为云学堂技术讲师
本期直播带你了解Stage应用模型和UIAbility应用组件的核心概念、掌握在Stage模型下,使用UIAbility组件进行应用开发的基本流程,直播中会讲解场景化的代码示例,助力开发者深度理解开发内容。
回顾中 -
基于ArkTS卡片开发的鸿蒙应用趣味案例
2024/12/13 周五 16:00-18:00
Skye 华为云学堂技术讲师
服务卡片是HarmonyOS应用开发的一大重要亮点。如何创建ArkTS服务卡片,以及如何运用卡片事件的能力呢?本期直播我们将深入剖析其理论要点,并结合实验案例,带大家一起深入体验HarmonyOS服务卡片的开发过程。
去报名 -
OpenSpeech
2024/12/14 周六 10:30-15:30
华为讲师团
我们希望能够更接地气、更懂开发者,展示开发者不一样的多维面。不管是中国还是海外,学生还是企业, 每一个开发者的故事都值得被聆听。
即将直播
热门标签