- Apache Doris 作为一款具备高性能的实时分析数据库,拥有湖仓一体的能力。当它与 MinIO 这样高性能且 S3 兼容的对象存储系统相结合时,能够构建出一个高效且具备低成本特性的数据分析系统。本文将介绍基于 Apache Doris 和 MinIO 的存算分离部署教程与使用实践。 Apache Doris 作为一款具备高性能的实时分析数据库,拥有湖仓一体的能力。当它与 MinIO 这样高性能且 S3 兼容的对象存储系统相结合时,能够构建出一个高效且具备低成本特性的数据分析系统。本文将介绍基于 Apache Doris 和 MinIO 的存算分离部署教程与使用实践。
- 随着业务全球化扩展与数字化运营的深入推进,日志系统的规模和复杂度不断攀升,原有基于 OpenSearch 的日志平台逐渐难以满足成本控制、性能保障和可维护性等多维需求。为应对持续增长的数据压力和更灵活的分析场景,领创集团技术团队启动了日志系统的架构升级实践,并最终选择 Apache Doris 作为新一代日志系统的核心。实现了综合成本下降超 45%、查询性能提升 5 倍、日志写入达到准实时以及灵活 随着业务全球化扩展与数字化运营的深入推进,日志系统的规模和复杂度不断攀升,原有基于 OpenSearch 的日志平台逐渐难以满足成本控制、性能保障和可维护性等多维需求。为应对持续增长的数据压力和更灵活的分析场景,领创集团技术团队启动了日志系统的架构升级实践,并最终选择 Apache Doris 作为新一代日志系统的核心。实现了综合成本下降超 45%、查询性能提升 5 倍、日志写入达到准实时以及灵活
- 本文基于 ClickBench 数据集,展示了 Apache Doris 如何通过选择压缩算法、调整数据页大小与分桶数、优化编码策略以及改进数据排序来提升压缩效率。最终,相同数据集的压缩空间从 16.08 GB 降至 8.2 GB,压缩率提升 48.6%。通过合理的调整与优化,Doris 成功在保持查询性能的同时显著降低了存储成本。 本文基于 ClickBench 数据集,展示了 Apache Doris 如何通过选择压缩算法、调整数据页大小与分桶数、优化编码策略以及改进数据排序来提升压缩效率。最终,相同数据集的压缩空间从 16.08 GB 降至 8.2 GB,压缩率提升 48.6%。通过合理的调整与优化,Doris 成功在保持查询性能的同时显著降低了存储成本。
- 在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。 在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。
- 亲爱的社区小伙伴们,Apache Doris 4.0.1 版本已于 2025 年 11 月 08 日正式发布。此版本聚焦核心模块的打磨与优化,在 AI & Search 方面实现了重要能力扩展,同时全面提升了 Lakehouse 与查询引擎的稳定性和性能。行为变更SHOW PARTITIONS 命令不再支持 Iceberg 表,请直接使用 Iceberg 的 $partitions 系统表查... 亲爱的社区小伙伴们,Apache Doris 4.0.1 版本已于 2025 年 11 月 08 日正式发布。此版本聚焦核心模块的打磨与优化,在 AI & Search 方面实现了重要能力扩展,同时全面提升了 Lakehouse 与查询引擎的稳定性和性能。行为变更SHOW PARTITIONS 命令不再支持 Iceberg 表,请直接使用 Iceberg 的 $partitions 系统表查...
- 随着业务全球化扩展与数字化运营的深入推进,日志系统的规模和复杂度不断攀升,原有基于 OpenSearch 的日志平台逐渐难以满足成本控制、性能保障和可维护性等多维需求。为应对持续增长的数据压力和更灵活的分析场景,领创集团技术团队启动了日志系统的架构升级实践,并最终选择 Apache Doris 作为新一代日志系统的核心。实现了综合成本下降超 45%、查询性能提升 5 倍、日志写入达到准实时以... 随着业务全球化扩展与数字化运营的深入推进,日志系统的规模和复杂度不断攀升,原有基于 OpenSearch 的日志平台逐渐难以满足成本控制、性能保障和可维护性等多维需求。为应对持续增长的数据压力和更灵活的分析场景,领创集团技术团队启动了日志系统的架构升级实践,并最终选择 Apache Doris 作为新一代日志系统的核心。实现了综合成本下降超 45%、查询性能提升 5 倍、日志写入达到准实时以...
- 货拉拉是国内领先的同城货运数字化平台,成立于 2013 年。截⾄ 2025 年 4 ⽉ ,货拉拉业务覆盖全球 14 个市场 ,400+ 城市 ,其中中国内地总共覆盖 363 座城市 ,⽉活司机达 120 万 ,⽉活⽤户达 1400 万, 并在全球设有 6 个数据中⼼。作为共享经济模式的代表企业 ,货拉拉通过移动互联⽹技术整合社会运⼒资源 ,为⽤户提供即时货运、企业物流、搬家服务等多元化解决⽅... 货拉拉是国内领先的同城货运数字化平台,成立于 2013 年。截⾄ 2025 年 4 ⽉ ,货拉拉业务覆盖全球 14 个市场 ,400+ 城市 ,其中中国内地总共覆盖 363 座城市 ,⽉活司机达 120 万 ,⽉活⽤户达 1400 万, 并在全球设有 6 个数据中⼼。作为共享经济模式的代表企业 ,货拉拉通过移动互联⽹技术整合社会运⼒资源 ,为⽤户提供即时货运、企业物流、搬家服务等多元化解决⽅...
- Apache Doris 4.0 正式发布!深度融合AI与搜索能力,支持向量索引、AI函数、全文检索打分,强化离线计算稳定性,提升查询性能与数据质量,助力企业构建高效实时数仓。 Apache Doris 4.0 正式发布!深度融合AI与搜索能力,支持向量索引、AI函数、全文检索打分,强化离线计算稳定性,提升查询性能与数据质量,助力企业构建高效实时数仓。
- Planet 是一家全球领先的金融科技企业,在零售、酒店和旅游行业的支付与税务数字化服务领域深耕近四十年。公司业务广泛,覆盖支付处理、免税退税及行业软件等,致力于通过一体化的解决方案提升全球商户的运营效率与顾客体验。为了应对日益增长的数据分析需求并优化成本效益,Planet 数据团队近期主导完成了一项重要的数据仓库升级,将系统从 Snowflake 迁移至开源的 Apache Doris。这... Planet 是一家全球领先的金融科技企业,在零售、酒店和旅游行业的支付与税务数字化服务领域深耕近四十年。公司业务广泛,覆盖支付处理、免税退税及行业软件等,致力于通过一体化的解决方案提升全球商户的运营效率与顾客体验。为了应对日益增长的数据分析需求并优化成本效益,Planet 数据团队近期主导完成了一项重要的数据仓库升级,将系统从 Snowflake 迁移至开源的 Apache Doris。这...
- 概述对于 Apache Doris 这样的高性能分析型数据库而言,高效、稳定的数据导入是保障实时分析能力的生命线。然而,在海量数据持续写入的场景下,如何平衡导入延迟与吞吐、如何避免性能瓶颈,是开发者面临的核心挑战。Apache Doris 本文将深入剖析 Doris 数据导入的核心原理,涵盖关键流程、组件、事务管理等,探讨影响导入性能的因素,并提供实用的优化方法和最佳实践,有助于用户选择合适... 概述对于 Apache Doris 这样的高性能分析型数据库而言,高效、稳定的数据导入是保障实时分析能力的生命线。然而,在海量数据持续写入的场景下,如何平衡导入延迟与吞吐、如何避免性能瓶颈,是开发者面临的核心挑战。Apache Doris 本文将深入剖析 Doris 数据导入的核心原理,涵盖关键流程、组件、事务管理等,探讨影响导入性能的因素,并提供实用的优化方法和最佳实践,有助于用户选择合适...
- 在数据库系统的核心层,查询优化器如同一位精明的策略家,不断分析数据特征并制定最优执行计划。Apache Doris 作为一款高性能的 MPP 分析型数据库,其优化器内置的 Data Trait 分析机制,通过挖掘数据内在的统计特征和语义约束,为查询优化提供了基础设施。让我们一起来探索这个强大的功能!什么是 Data Trait?设想一下,如果你能提前知道数据的 “性格特征”,是不是就能更聪明... 在数据库系统的核心层,查询优化器如同一位精明的策略家,不断分析数据特征并制定最优执行计划。Apache Doris 作为一款高性能的 MPP 分析型数据库,其优化器内置的 Data Trait 分析机制,通过挖掘数据内在的统计特征和语义约束,为查询优化提供了基础设施。让我们一起来探索这个强大的功能!什么是 Data Trait?设想一下,如果你能提前知道数据的 “性格特征”,是不是就能更聪明...
- 一、传统 AK/SK 方式访问 AWS 资源存在的问题密钥管理困境:长期暴露风险:静态 AK/SK 需硬编码于配置文件中,一旦因代码泄露、误提交或恶意窃取导致密钥扩散,攻击者可永久获得等同于密钥所有者的完整权限,引发持续性的数据泄露、资源篡改及资金损失风险;审计盲区: 多用户/多服务共享同一组密钥时,云操作日志仅记录密钥身份而无法关联具体使用者,无法追溯真实责任人或业务模块;运维成本高:密... 一、传统 AK/SK 方式访问 AWS 资源存在的问题密钥管理困境:长期暴露风险:静态 AK/SK 需硬编码于配置文件中,一旦因代码泄露、误提交或恶意窃取导致密钥扩散,攻击者可永久获得等同于密钥所有者的完整权限,引发持续性的数据泄露、资源篡改及资金损失风险;审计盲区: 多用户/多服务共享同一组密钥时,云操作日志仅记录密钥身份而无法关联具体使用者,无法追溯真实责任人或业务模块;运维成本高:密...
- 客户背景深耕银行 IT 建设领域 26 的年, 宇信科技服务超数百家金融机构,覆盖核心系统、渠道平台、风控中台等关键业务场景。其数据条线团队专注经营分析场景 20 余年,为城商行、农商行提供从报表系统到智能决策的全栈解决方案。随着银行业数字化进程步入深水区,宇信科技面临双重挑战:一方面,市场节奏的加快,让客户对 "分钟级数据响应" 需求迫切,传统数据平台的处理效率与扩展能力已显滞后;另一方面... 客户背景深耕银行 IT 建设领域 26 的年, 宇信科技服务超数百家金融机构,覆盖核心系统、渠道平台、风控中台等关键业务场景。其数据条线团队专注经营分析场景 20 余年,为城商行、农商行提供从报表系统到智能决策的全栈解决方案。随着银行业数字化进程步入深水区,宇信科技面临双重挑战:一方面,市场节奏的加快,让客户对 "分钟级数据响应" 需求迫切,传统数据平台的处理效率与扩展能力已显滞后;另一方面...
- 稳定性是数据价值实现的根本保障。数据从采集、传输、存储到计算处理的每个环节都需要系统的稳定运行支撑。数据库作为数据生命周期的核心载体,其稳定性的构建一直是业界公认的最大挑战。一款数据库从技术架构落地到获得用户信任,通常需要经历数年的验证周期:既要在千万级并发请求中保持一致性响应,又要在长期运行中抵御内存泄漏等隐性风险,同时还要确保版本迭代时的数据兼容性和完整性。每次故障修复和测试完善都是为稳... 稳定性是数据价值实现的根本保障。数据从采集、传输、存储到计算处理的每个环节都需要系统的稳定运行支撑。数据库作为数据生命周期的核心载体,其稳定性的构建一直是业界公认的最大挑战。一款数据库从技术架构落地到获得用户信任,通常需要经历数年的验证周期:既要在千万级并发请求中保持一致性响应,又要在长期运行中抵御内存泄漏等隐性风险,同时还要确保版本迭代时的数据兼容性和完整性。每次故障修复和测试完善都是为稳...
- 引言:Data Agent 引发的数据变革2025 年,被誉为 Agent 智能体的元年,基于 Agent 引发了企业数据领域前所未有的智能化变革。利用 Dify、Langchain、SpringAI 等框架和平台,基于 Apache Doris MCP Server 为代表的数据仓库 AI 组件打造的新一代 Data Agent,正在重塑数据的价值发现、管理和应用方式。Data Agent... 引言:Data Agent 引发的数据变革2025 年,被誉为 Agent 智能体的元年,基于 Agent 引发了企业数据领域前所未有的智能化变革。利用 Dify、Langchain、SpringAI 等框架和平台,基于 Apache Doris MCP Server 为代表的数据仓库 AI 组件打造的新一代 Data Agent,正在重塑数据的价值发现、管理和应用方式。Data Agent...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签