- 言必称 AI 的 2025 年即将过去,这一年里大数据领域的“顶流”毫无疑问是 ChatBI/Data Agent。岁末肯定要展望未来,于是,带着好奇,我们问了大模型几个问题: 言必称 AI 的 2025 年即将过去,这一年里大数据领域的“顶流”毫无疑问是 ChatBI/Data Agent。岁末肯定要展望未来,于是,带着好奇,我们问了大模型几个问题:
- 可以把Oracle视图看作是给一段复杂查询存的“快捷方式”,让你能像查一张简单的表一样去访问它,省去了每次都写长串代码的麻烦。普通视图只是个逻辑窗口,本身不存数据,主要用来简化操作和控制权限。但如果某个查询实在太慢,想用空间换时间,那就得用“物化视图”。它会真实地存一份数据副本,专门给查询提-速,是性能优化的一大杀手锏。 可以把Oracle视图看作是给一段复杂查询存的“快捷方式”,让你能像查一张简单的表一样去访问它,省去了每次都写长串代码的麻烦。普通视图只是个逻辑窗口,本身不存数据,主要用来简化操作和控制权限。但如果某个查询实在太慢,想用空间换时间,那就得用“物化视图”。它会真实地存一份数据副本,专门给查询提-速,是性能优化的一大杀手锏。
- 想在看员工薪水的同时,还能在同一行看到他所在部门的平均薪水吗?或者想给每个部门的产品按销量排名?这就是窗口函数的魔力。它不像GROUP BY会把数据压缩成一行,而是为每一行都进行一次“开窗”计算。通过OVER(PARTITION BY ...),你可以轻松实现分组排名、累计求和、或是与前后行数据对比等高级分析,代码比复杂的自连接和子查询要优雅得多。 想在看员工薪水的同时,还能在同一行看到他所在部门的平均薪水吗?或者想给每个部门的产品按销量排名?这就是窗口函数的魔力。它不像GROUP BY会把数据压缩成一行,而是为每一行都进行一次“开窗”计算。通过OVER(PARTITION BY ...),你可以轻松实现分组排名、累计求和、或是与前后行数据对比等高级分析,代码比复杂的自连接和子查询要优雅得多。
- 在软件开发领域,我们常常追求功能的实现速度,却容易忽视那些支撑系统长期健康运行的基础工程实践。本文将以第一视角讲述一段真实经历,探讨文档注释的战略意义、迁移脚本的设计哲学以及跨域问题的解决方案,揭示它们如何共同构筑起可维护、可扩展的软件生态系统。 一、文档注释:不只是注解,更是设计的蓝图 1.1 初识痛点:失语的代码遗产刚加入团队时,面对满屏缺乏注释的业务逻辑代码,如同阅读一本被撕去扉页的小... 在软件开发领域,我们常常追求功能的实现速度,却容易忽视那些支撑系统长期健康运行的基础工程实践。本文将以第一视角讲述一段真实经历,探讨文档注释的战略意义、迁移脚本的设计哲学以及跨域问题的解决方案,揭示它们如何共同构筑起可维护、可扩展的软件生态系统。 一、文档注释:不只是注解,更是设计的蓝图 1.1 初识痛点:失语的代码遗产刚加入团队时,面对满屏缺乏注释的业务逻辑代码,如同阅读一本被撕去扉页的小...
- 不仅提升了个人工作效率,更推动了企业数据民主化进程,让数据真正成为驱动业务增长的核心引擎 不仅提升了个人工作效率,更推动了企业数据民主化进程,让数据真正成为驱动业务增长的核心引擎
- 当 ChatBI 的准确率不断提升,其价值将从“效率工具”升级为“决策中枢”。Aloudata Agent 分析决策智能体通过 NL2MQL2SQL 技术路径,可解决大模型在数据分析场景中的“幻觉”问题 当 ChatBI 的准确率不断提升,其价值将从“效率工具”升级为“决策中枢”。Aloudata Agent 分析决策智能体通过 NL2MQL2SQL 技术路径,可解决大模型在数据分析场景中的“幻觉”问题
- 报表要求的数据格式总是千奇百怪?其实用SQL就能让数据轻松“变形”。想把多行内容(比如各科成绩)合并成一行里的多列,可以用经典的CASE WHEN,或者在11g以上版本里用更简洁的PIVOT。反过来,把宽表拆成多行,也有UNION ALL和更方便的UNPIVOT。学会这些,再配合UNION、INTERSECT等集合运算,数据就能随心所欲地展示了。 报表要求的数据格式总是千奇百怪?其实用SQL就能让数据轻松“变形”。想把多行内容(比如各科成绩)合并成一行里的多列,可以用经典的CASE WHEN,或者在11g以上版本里用更简洁的PIVOT。反过来,把宽表拆成多行,也有UNION ALL和更方便的UNPIVOT。学会这些,再配合UNION、INTERSECT等集合运算,数据就能随心所欲地展示了。
- 2025 年,每家企业都想拥有自己的 Data Agent,但 90% 的项目可能不是死在 Demo 阶段就是建成后无人问津。为什么?因为我们试图用概率性的 LLM 去直接挑战确定性的数据分析,对结果期待太高,而对过程准备不足。 2025 年,每家企业都想拥有自己的 Data Agent,但 90% 的项目可能不是死在 Demo 阶段就是建成后无人问津。为什么?因为我们试图用概率性的 LLM 去直接挑战确定性的数据分析,对结果期待太高,而对过程准备不足。
- 在这一数字化转型进程中,我们最终引入了 Apache Doris 作为湖仓一体架构的核心组件。Doris 凭借其卓越的查询性能、高吞吐、对标准 SQL 的完整支持以及高效的实时数据摄入能力,在多个候选方案中脱颖而出。尤其值得一提的是,其架构的灵活度及可扩展性、极大降低了运维难度和成本投入。 在这一数字化转型进程中,我们最终引入了 Apache Doris 作为湖仓一体架构的核心组件。Doris 凭借其卓越的查询性能、高吞吐、对标准 SQL 的完整支持以及高效的实时数据摄入能力,在多个候选方案中脱颖而出。尤其值得一提的是,其架构的灵活度及可扩展性、极大降低了运维难度和成本投入。
- 想把分散在多个表里的数据拼起来看?核心就靠JOIN(连接)和子查询。可以用INNER JOIN找到两边都匹配的记录,或用OUTER JOIN查看单边也存在的数据。一个非常强大的技巧,是把一个查询结果当成临时表来用,能让复杂的统计分析变得清晰。再结合新版本里简洁的分页语法,跨表取数和展示就得心应手了。 想把分散在多个表里的数据拼起来看?核心就靠JOIN(连接)和子查询。可以用INNER JOIN找到两边都匹配的记录,或用OUTER JOIN查看单边也存在的数据。一个非常强大的技巧,是把一个查询结果当成临时表来用,能让复杂的统计分析变得清晰。再结合新版本里简洁的分页语法,跨表取数和展示就得心应手了。
- 故障现象使用分区表进行相关查询业务,SQL性能慢。故障原因可能原因有以下:分区索引失效,顺序扫描导致的SQL性能慢分区表无法进行分区剪枝导致的SQL性能慢SQL计划选择非最优导致的SQL性能慢处理方法步骤 1 判断是否存在索引异常的行为。步骤 2 部分分区DDL如果不带UPDATE GLOBAL INDEX子句,会导致分区表Global索引失效。同时用户也可以使用ALTER ... 故障现象使用分区表进行相关查询业务,SQL性能慢。故障原因可能原因有以下:分区索引失效,顺序扫描导致的SQL性能慢分区表无法进行分区剪枝导致的SQL性能慢SQL计划选择非最优导致的SQL性能慢处理方法步骤 1 判断是否存在索引异常的行为。步骤 2 部分分区DDL如果不带UPDATE GLOBAL INDEX子句,会导致分区表Global索引失效。同时用户也可以使用ALTER ...
- 故障现象数据库进程内存占比较高。− 长时间占比较高。− 观察监控平台内存占用的变化曲线,无论当前数据库是否有业务在运行,数据库进程内存占总机器内存的比例长时间处于较高状态,且不下降。− 执行作业期间占比较高。− 数据库进程在没有业务执行时,内存使用持续处于较低的状态,当有业务执行时,内存占用升高,待作业执行结束后,内存又恢复到较低的状态。− 内存上涨不下降。− 数据库进程在执行业务过程中内存... 故障现象数据库进程内存占比较高。− 长时间占比较高。− 观察监控平台内存占用的变化曲线,无论当前数据库是否有业务在运行,数据库进程内存占总机器内存的比例长时间处于较高状态,且不下降。− 执行作业期间占比较高。− 数据库进程在没有业务执行时,内存使用持续处于较低的状态,当有业务执行时,内存占用升高,待作业执行结束后,内存又恢复到较低的状态。− 内存上涨不下降。− 数据库进程在执行业务过程中内存...
- 故障现象出现会话等锁、等锁超时、死锁、并发更新性能下降等。故障原因可能原因有以下:行锁等待,业务逻辑问题,对数据的并发处理顺序有问题,导致死锁、等锁超时或者并发更新同一行。页面锁等待,常见由于数据库内核资源争抢导致。IO锁等待,常见由于数据在内存和磁盘之间置换存在并发导致。处理方法死锁或所等待超时分析步骤 1 登录CN节点,进入CN日志目录cd $GAUSSLOG/pg_log/cn... 故障现象出现会话等锁、等锁超时、死锁、并发更新性能下降等。故障原因可能原因有以下:行锁等待,业务逻辑问题,对数据的并发处理顺序有问题,导致死锁、等锁超时或者并发更新同一行。页面锁等待,常见由于数据库内核资源争抢导致。IO锁等待,常见由于数据在内存和磁盘之间置换存在并发导致。处理方法死锁或所等待超时分析步骤 1 登录CN节点,进入CN日志目录cd $GAUSSLOG/pg_log/cn...
- 故障现象长事务在数据库的表现是session持续时间长,期间可能伴随cpu、内存升高,严重可导致数据库整体响应缓慢,业务无法正常运行。故障原因可能原因有以下:大量的锁竞争。执行了比较耗时的SQL。处理方法步骤 1 登录CN节点,gsql连接数据库。gsql -d postgres -p 8000 -U user -W password -r说明:集中式实例登录主DN节点。步骤 2 ... 故障现象长事务在数据库的表现是session持续时间长,期间可能伴随cpu、内存升高,严重可导致数据库整体响应缓慢,业务无法正常运行。故障原因可能原因有以下:大量的锁竞争。执行了比较耗时的SQL。处理方法步骤 1 登录CN节点,gsql连接数据库。gsql -d postgres -p 8000 -U user -W password -r说明:集中式实例登录主DN节点。步骤 2 ...
- 问题现象业务sql执行时间较长,需要通过smp增加并行提升执行效率,通过hint 方式, 发现query_dop 不生效。以下是sql及对应执行计划、相关表表结构。执行计划select表结构insert表结构技术背景针对上述SQL案例,smp使用有如下约束条件,如下:1. 当function为易变函数,smp不生效, 需要将function调整为i函数。2. 当function不能下推到dn... 问题现象业务sql执行时间较长,需要通过smp增加并行提升执行效率,通过hint 方式, 发现query_dop 不生效。以下是sql及对应执行计划、相关表表结构。执行计划select表结构insert表结构技术背景针对上述SQL案例,smp使用有如下约束条件,如下:1. 当function为易变函数,smp不生效, 需要将function调整为i函数。2. 当function不能下推到dn...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签