- 数据,是有保质期的。正如冰箱里的牛奶,今天新鲜,明天可能就有点酸,后天直接倒掉。数据的价值,也会随着时间的推移而递减。过去那些“老派”的 OLAP 系统,只能批量处理账目,对实时性要求高的“流水账”就力不从心了。它们在面对高并发实时写入和复杂的分析查询时,常常会露出疲态,数据延迟、查询性能、并发处理和数据更新等问题层出不穷。当所有人都焦虑于如何让数据“快”起来的时候,Apache Doris... 数据,是有保质期的。正如冰箱里的牛奶,今天新鲜,明天可能就有点酸,后天直接倒掉。数据的价值,也会随着时间的推移而递减。过去那些“老派”的 OLAP 系统,只能批量处理账目,对实时性要求高的“流水账”就力不从心了。它们在面对高并发实时写入和复杂的分析查询时,常常会露出疲态,数据延迟、查询性能、并发处理和数据更新等问题层出不穷。当所有人都焦虑于如何让数据“快”起来的时候,Apache Doris...
- 在分布式系统中,复杂并发场景下的数据一致性与流程正确性始终是设计与实现中的核心挑战。Apache Doris 的自动分区功能正是在这一背景下应运而生。然此项技术的实现并非一蹴而就,我们面临多个层面的并发问题,包括 BE 与 FE 之间的元数据竞争、OlapTableSink 与数据发送线程的状态同步等。通过拆解与简化问题,我们设计了串行化分区创建、双重检查线程退出及基于 "锚点分区" 的引用... 在分布式系统中,复杂并发场景下的数据一致性与流程正确性始终是设计与实现中的核心挑战。Apache Doris 的自动分区功能正是在这一背景下应运而生。然此项技术的实现并非一蹴而就,我们面临多个层面的并发问题,包括 BE 与 FE 之间的元数据竞争、OlapTableSink 与数据发送线程的状态同步等。通过拆解与简化问题,我们设计了串行化分区创建、双重检查线程退出及基于 "锚点分区" 的引用...
- 在初步探索了 AI 函数的可能性之后,本次我们将目光投向两个更为核心的函数:AI_AGG 和 EMBED。我们将深入解析这两个函数的设计理念、实现原理及其在业务场景中的应用,展示 Apache Doris 如何通过原生的函数设计,将文本聚合与语义向量分析无缝集成到 SQL 中,为用户提供更强大、更易用的智能数据分析体验。AI_AGG:基于 AI 的文本聚合聚合是数据分析中最常见的操作,但如果... 在初步探索了 AI 函数的可能性之后,本次我们将目光投向两个更为核心的函数:AI_AGG 和 EMBED。我们将深入解析这两个函数的设计理念、实现原理及其在业务场景中的应用,展示 Apache Doris 如何通过原生的函数设计,将文本聚合与语义向量分析无缝集成到 SQL 中,为用户提供更强大、更易用的智能数据分析体验。AI_AGG:基于 AI 的文本聚合聚合是数据分析中最常见的操作,但如果...
- 网易云音乐基于 Apache Doris 替换了早期架构中 Kylin、Druid、Clickhouse、Elasticsearch、HBase 等引擎,统一了实时分析架构,并广泛应用于广告实时数仓、日志平台和会员报表分析等典型场景中,带来导入性能提升 3~30 倍,机器成本整体降低 55%、部分场景下高达 85%,每年节省数百万成本,综合效能提升 3~7 倍等显著收益。截止目前,已有超过 ... 网易云音乐基于 Apache Doris 替换了早期架构中 Kylin、Druid、Clickhouse、Elasticsearch、HBase 等引擎,统一了实时分析架构,并广泛应用于广告实时数仓、日志平台和会员报表分析等典型场景中,带来导入性能提升 3~30 倍,机器成本整体降低 55%、部分场景下高达 85%,每年节省数百万成本,综合效能提升 3~7 倍等显著收益。截止目前,已有超过 ...
- 引言:时序数据管理的挑战与机遇在工业4.0与物联网技术深度融合的今天,全球设备产生的时序数据量正以指数级增长。据IDC预测,到2025年物联网设备产生的数据将达79.4ZB,其中60%为时序数据。这类数据具有高频采集(毫秒级)、维度丰富(单设备数百监测点)、严格有序(时间戳为核心)等特性,传统关系型数据库在处理时面临写入吞吐不足、存储成本高企、查询效率低下等痛点。本文从大数据视角出发,结合国... 引言:时序数据管理的挑战与机遇在工业4.0与物联网技术深度融合的今天,全球设备产生的时序数据量正以指数级增长。据IDC预测,到2025年物联网设备产生的数据将达79.4ZB,其中60%为时序数据。这类数据具有高频采集(毫秒级)、维度丰富(单设备数百监测点)、严格有序(时间戳为核心)等特性,传统关系型数据库在处理时面临写入吞吐不足、存储成本高企、查询效率低下等痛点。本文从大数据视角出发,结合国...
- Apache Tomcat(简称Tomcat)是由Apache软件基金会开发的开源Web服务器和Servlet容器,实现了Java Servlet和JavaServer Pages(JSP)规范,为Java Web应用提供了"纯Java"的HTTP运行环境。Tomcat以其轻量、稳定、可扩展的特性,广泛应用于企业级Java应用部署。 Apache Tomcat(简称Tomcat)是由Apache软件基金会开发的开源Web服务器和Servlet容器,实现了Java Servlet和JavaServer Pages(JSP)规范,为Java Web应用提供了"纯Java"的HTTP运行环境。Tomcat以其轻量、稳定、可扩展的特性,广泛应用于企业级Java应用部署。
- 引言面对物联网设备产生的海量时间序列数据,传统数据库正面临前所未有的性能与架构挑战。在工业物联网、智慧城市、车联网等场景中,每秒产生数百万数据点已成为常态。据实测数据,传统关系型数据库在处理此类数据时,写入性能通常不超过1万点/秒,且存储成本居高不下。而专门设计的时序数据库如Apache IoTDB,单节点写入吞吐可达1000万点/秒以上,存储空间仅为传统方案的1/10。本文将深入解析时序... 引言面对物联网设备产生的海量时间序列数据,传统数据库正面临前所未有的性能与架构挑战。在工业物联网、智慧城市、车联网等场景中,每秒产生数百万数据点已成为常态。据实测数据,传统关系型数据库在处理此类数据时,写入性能通常不超过1万点/秒,且存储成本居高不下。而专门设计的时序数据库如Apache IoTDB,单节点写入吞吐可达1000万点/秒以上,存储空间仅为传统方案的1/10。本文将深入解析时序...
- 提到开源,很多人会立刻想到Linux——那个托起了全球互联网和超级计算机的隐形巨人。的确,Linux是开源史上最成功的项目之一。但如果你认为开源世界就等于Linux,那可能就错过了整片星空。今天,我们就来聊聊主流开源社区有哪些,它们是否都基于Linux,以及为什么在有了Linux之后,我们还需要一个如此庞大的开源生态系统。 一、 主流开源社区“群星闪耀”开源社区是开源项目协作、开发和治理的载... 提到开源,很多人会立刻想到Linux——那个托起了全球互联网和超级计算机的隐形巨人。的确,Linux是开源史上最成功的项目之一。但如果你认为开源世界就等于Linux,那可能就错过了整片星空。今天,我们就来聊聊主流开源社区有哪些,它们是否都基于Linux,以及为什么在有了Linux之后,我们还需要一个如此庞大的开源生态系统。 一、 主流开源社区“群星闪耀”开源社区是开源项目协作、开发和治理的载...
- 在数据洪流奔涌的今天,企业对实时决策的需求已从“锦上添花”变为“生死攸关”。传统批处理模式面对每秒百万级的数据洪流时,往往力不从心——延迟高、开发复杂、运维成本陡增。而Apache Flink作为新一代流处理引擎,凭借其低延迟、高吞吐的特性,正成为实时计算的首选。但真正让开发者如释重负的,是Flink SQL这一“化繁为简”的利器。它让熟悉SQL的分析师和工程师无需深入流处理底层,就能像操作... 在数据洪流奔涌的今天,企业对实时决策的需求已从“锦上添花”变为“生死攸关”。传统批处理模式面对每秒百万级的数据洪流时,往往力不从心——延迟高、开发复杂、运维成本陡增。而Apache Flink作为新一代流处理引擎,凭借其低延迟、高吞吐的特性,正成为实时计算的首选。但真正让开发者如释重负的,是Flink SQL这一“化繁为简”的利器。它让熟悉SQL的分析师和工程师无需深入流处理底层,就能像操作...
- Apache HTTP Server(简称Apache)和Apache Tomcat(简称Tomcat)虽然同属Apache软件基金会项目,但二者在设计目标、功能定位和技术架构上有显著差异。以下是两者的核心区别及适用场景的详细对比: 一、核心定位与功能差异维度Apache HTTP ServerApache Tomcat本质静态内容服务器 + 反向代理Java Web应用服务器(Servle... Apache HTTP Server(简称Apache)和Apache Tomcat(简称Tomcat)虽然同属Apache软件基金会项目,但二者在设计目标、功能定位和技术架构上有显著差异。以下是两者的核心区别及适用场景的详细对比: 一、核心定位与功能差异维度Apache HTTP ServerApache Tomcat本质静态内容服务器 + 反向代理Java Web应用服务器(Servle...
- Apache Lucene 是一个由 Apache 软件基金会维护的开源高性能、全功能信息检索库,专为文本搜索和索引设计,广泛应用于搜索引擎、内容管理系统和企业级应用中。以下从核心架构、功能特性、适用场景及优缺点四个方面进行详细介绍: 一、核心架构倒排索引(Inverted Index):Lucene 的核心数据结构,记录每个词项(Term)与包含该词项的文档(Document)之间的映射关... Apache Lucene 是一个由 Apache 软件基金会维护的开源高性能、全功能信息检索库,专为文本搜索和索引设计,广泛应用于搜索引擎、内容管理系统和企业级应用中。以下从核心架构、功能特性、适用场景及优缺点四个方面进行详细介绍: 一、核心架构倒排索引(Inverted Index):Lucene 的核心数据结构,记录每个词项(Term)与包含该词项的文档(Document)之间的映射关...
- Doris 与 ClickHouse 各有优势,但在运维效率、集群自动化能力、故障恢复机制以及开源治理模型方面,Doris 展现出了更成熟、更开放、更面向云原生架构的产品能力。对于希望构建可控、弹性、高可用分析平台的团队而言,Doris 提供了一个更具确定性和长期价值的选择。而 ClickHouse 仍是极具性能优势的分析引擎,但其闭源方向的转变可能需要用户在技术与商业之间做出更谨慎的权衡。 Doris 与 ClickHouse 各有优势,但在运维效率、集群自动化能力、故障恢复机制以及开源治理模型方面,Doris 展现出了更成熟、更开放、更面向云原生架构的产品能力。对于希望构建可控、弹性、高可用分析平台的团队而言,Doris 提供了一个更具确定性和长期价值的选择。而 ClickHouse 仍是极具性能优势的分析引擎,但其闭源方向的转变可能需要用户在技术与商业之间做出更谨慎的权衡。
- 本文展示了 Apache Doris 中,谓词过滤、LIMIT 数据裁剪、TopK 数据裁剪、JOIN 数据裁剪四种数据裁剪方式的实现策略。目前,Apache Doris 通过这四类高效的数据裁剪策略极大提升了处理数据的效率。 本文展示了 Apache Doris 中,谓词过滤、LIMIT 数据裁剪、TopK 数据裁剪、JOIN 数据裁剪四种数据裁剪方式的实现策略。目前,Apache Doris 通过这四类高效的数据裁剪策略极大提升了处理数据的效率。
- 引言在上一篇文章《Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍》中,我们介绍了 Apache Doris 4.0 如何通过原生集成 LLM 函数,将大语言模型的强大能力引入 SQL 分析场景,实现文本处理的智能化与内部分析的无缝化。这一能力不仅拓展了数据库的边界,也为数据密集型业务注入了全新的智能维度。然而,技术能力的落地并不止于功能实现,真正的价值... 引言在上一篇文章《Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍》中,我们介绍了 Apache Doris 4.0 如何通过原生集成 LLM 函数,将大语言模型的强大能力引入 SQL 分析场景,实现文本处理的智能化与内部分析的无缝化。这一能力不仅拓展了数据库的边界,也为数据密集型业务注入了全新的智能维度。然而,技术能力的落地并不止于功能实现,真正的价值...
- Apache POI是一个开源的Java库,广泛应用于读取和修改Microsoft Office格式的文件,尤其是Excel、Word和PowerPoint。它是利用Java处理Microsoft Office文档最流行的库之一,使得在Java应用程序中操作这些文件变得可行。1 POI介绍Apache POI是用Java编写的免费开源的跨平台的Java API,Apache POI提供API... Apache POI是一个开源的Java库,广泛应用于读取和修改Microsoft Office格式的文件,尤其是Excel、Word和PowerPoint。它是利用Java处理Microsoft Office文档最流行的库之一,使得在Java应用程序中操作这些文件变得可行。1 POI介绍Apache POI是用Java编写的免费开源的跨平台的Java API,Apache POI提供API...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化?专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征!本期直播间,我们特邀华为算子专家王老师,为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧,直击赛题核心。想提升代码效率、冲击更高排名?锁定直播,带你破局!
回顾中 -
AI编码实干派,“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国,深圳,2026年2月26日】,以“AI编码实干派,码力全开”为主题的华为云码道(CodeArts)代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布,为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw,开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中
热门标签