• [互动交流] 问数,真的已经被解决了吗?
    ​最近参加了一些行业交流会,围绕 Data Agent 落地,和业内专家、客户做了不少交流。一个感受是,大家对问数这个任务的判断,分歧还挺大。有些人认为问数(ChatBI)已经被解决了,有些人认为问数无法被解决,还有些人认为问数是一个伪命题,根本没有需求。今天,我们想从自己的经验和视角出发,聊聊这个事情。01 在谈更复杂的任务之前,先把问数做好在我看来,现在行业里有一个倾向:还没有学会走路,已经在考虑跑步的事情了。关于 Data Agent 类产品,核心任务主要包含:问数、归因、报告/报表/看板制作、预警推送、预测等任务,权限控制贯穿其中。归因、报告、预警、预测等上层任务,都建立在可靠的数据获取之上。准确性会沿着依赖关系逐层传导,只要其中每一环都存在一定误差,链路越长,最终结果偏离真实业务的风险就越高。另外,有些人会觉得问数是一个伪命题,直接看 BI 不就行了吗?其实不是。到了今天,问数已经不只服务于“人类”。在我们看来,未来最大的增量场景,是被各类 AI Agent 调用。当一个系统成为另一个系统的底层依赖时,调用频次和任务链长度都会放大准确率、延迟和成本的影响。目前行业里关于 Data Agent 的讨论,更多集中在“如何用本体解决业务问题、推动业务动作”。而作为这些任务基础的问数,却常常被一笔带过,或者只用一个“95%以上的准确率”来概括。问题在于,有些准确率并没有同时交代完整的评价指标和测试条件。实验室里能通过的测试,放到复杂生产环境中,是否依然成立?以我们目前接触到的方案来看,复杂生产环境中的问数问题,还远没有被普遍解决。我们从 2019 年开始做 ChatBI,一路走到今天的 Data Agent,累计参与了上百个项目,其中正式落地项目几十个,截至目前项目验收率接近 100%。在问数、归因、看板制作及预警推送等全场景实践中,沉淀了大量的一线认知。今天,我们聚焦‘问数’这个核心场景展开拆解。02 问数任务需要评估的性能参数对于问数任务,我们认为,一个合格的生产级产品,应该评估以下几个性能参数:  以下是亿问 Data Agent 在这些参数上的表现。  03 亿问 Data Agent 算法架构问数属于 NL2SQL 的一个子集,只涉及查询,不会修改表结构或者更新数据。我们的解决方案,说得精确一点,是"NL2NL2LF2SQL"。大家可以看到,这里出现了两次 NL。这不是写错,而是我们架构的精髓所在。核心流程分为三部分。NL2NL:把泛化的查数需求转化为精准的查数需求这部分由大模型完成。比如,用户输入:【你好呀,给我看下近四年的整体营业收入是多少呀,我说的近四年是22年-25年哦,不到26年】。输出可能是【2022年~2025年整体营业收入】,也可能是【2022年~2025年营业收入】。具体措辞不会100%不变,但整体比较稳定。这一部分的提示词不需要包含任何业务信息,只约束如何把需求转化为精准的查数表达。加上制作看板和报告的 Skill 提示词、Agent 基础提示词,也只需3万 Token,并且不会随着业务信息增多而增加,所以行为非常稳定。NL2LF:把精准查数需求转化为 LogicformLF 全称 Logicform,是我们针对查数场景自定义的一种 DSL 语言。它以JSON 为表达载体,方便二次处理和加工,因此可以植入特殊业务逻辑、权限、自定义算法等等。这一部分由我们纯自研的算法 Alisa 完成,是整套架构的两个核心之一。Alisa 仅需要 CPU 推理,不限制表数量,平均能在500ms内给出结果。同样的输入,问一万次,结果一定一模一样。另外,Alisa 并不是简单的“维度+指标”映射 NLP 算法。比如:【2025年销售额前三的门店,在2026年的销售额、销售额同比分别是多少?】这样精确但相对复杂的问题,它可以直接支持。LF2SQL:把 Logicform 转化为 SQL另一个核心,是我们自研的数据库语义层 SemanticDB。它通过“Schema+指标”来表达企业业务。我们定义了 Logicform 的语法,并开发了执行器,将 Logicform 转化为客户侧的 SQL 语句。Logicform 封装了具体的业务算法,能够支持财年、缓慢变化维等多种特殊场景。这部分也没有大模型参与。关于 Alisa,我们之前专门写过一篇文章亿问 Data Agent 与其他 Data Agent 到底有什么区别?这里简单展开一下。它是基于知识图谱语义建模的自研算法,并不采用 DeepLearning 架构。处理一个问题时,需要先把用户说的业务词,映射到企业实际定义的指标、对象和关系上,再处理时间和查询条件。这里用到的业务知识,需要事先在语义模型中定义清楚。   但真实的业务问题,并不总能直接解析。比如,用户只说【上周那个情况怎么样】,连要查什么都没有说清楚。或者,一个业务词可能对应几个不同的指标。这个时候,系统就需要先把问题搞清楚。我们的处理方式是:如果有多个可能的业务含义,就通过语义召回找到相关候选,再交给大模型和用户进行澄清。如果无法解析,Alisa 会返回这个状态,由大模型改写问题、拆解需求,或者让用户补充信息,然后再查。所以,在我们的系统里面,无法解析也是一个明确的结果,可以继续处理。我们认为,这比需求还没有搞清楚,就先生成一个 SQL 执行,要好得多。04 未来的问数,可能更多地是给 AI 用未来,企业内部会出现越来越多的 Agent,其中相当一部分都需要持续查询企业数据。随着调用主体从“人类”扩展到“AI”,权限如何控制、身份如何传递、业务定义如何复用,都会成为必须解决的问题。我们产品的每一层,都可以单独对外开放。比如 SemanticDB 层、Alisa 层、AI 员工层、权限层等等。不同企业可以根据自身已有的技术能力,选择从不同层级接入。先说权限。一个 Agent 代表谁在查询,应该继承谁的权限;如果任务被继续转交给其他 Agent,权限是否能够正确传递,这些都需要有明确的定义。比如,门店负责人让一个 Agent 分析自己门店的经营情况,这个 Agent 就只能在相应的授权范围内查询数据。即使任务被进一步转交给其他 Agent,也不能因此扩大数据访问范围。所以,权限必须在实际查询链路中生效。仅仅在提示词里告诉大模型“哪些数据不能查”,我们认为是不够的。在接入方式上,也可以根据调用方自身的能力来选择:如果调用方已经能够生成符合语法要求的 Logicform,可以直接接入 SemanticDB;如果提供的是精准的查数需求,可以接入 Alisa;如果需要完整的自然语言交互和数据任务能力,可以使用 AI 员工层。无论采用哪种接入方式,调用身份和对应权限都需要贯穿整个查询过程。还有一个很重要的问题,是业务定义的复用。未来企业里可能同时存在销售 Agent、财务 Agent、经营分析 Agent,它们承担的任务可以不同,但如果查询的是同一个口径的营业收入,就应该使用同一套业务定义,而不是由每个 Agent 各自理解一遍。否则,每个 Agent 都维护一套业务知识,一旦指标定义发生变化,就需要逐个同步,最终很容易造成不同 Agent 之间的口径不一致。我们的想法是,把业务定义和查询能力统一维护,让不同的 Agent 按自己的任务需要来调用。  上层 Agent 可以持续增加和变化,底层已经沉淀好的指标口径、对象关系和查询规则则可以稳定复用。这样,企业前面做过的语义建模工作,才不会只服务于某一个 Agent,而能够真正成为整个 AI 应用体系共同使用的基础能力。05 写在最后:先把基础能力做扎实回到开头的分歧,问数不能简单地说“已经被解决”,也不能说“无法解决”,更不是一个“伪命题”。它本质上是一项必须长期做扎实的基础能力。归因、报告、预警、预测等上层任务,都建立在可靠的数据获取之上。未来,当越来越多 Agent 开始持续调用企业数据,底层一次查询中的误差、延迟和不稳定,也可能沿着后续任务链被持续放大。所以,在讨论更复杂的 Data Agent 能力之前,更重要的是先把问数这项基础能力做扎实。 
  • [技术干货] Jync 捷同:把异构数据库同步做成一个 jar
    为什么又造一个同步工具?企业里的数据库从来不止一种:老系统跑在 Oracle / SQL Server,新业务选 MySQL / PostgreSQL,信创改造还要迁到达梦、金仓、openGauss、崖山。现有方案总差一步:流式平台太重:Debezium / Flink CDC 要先搭 Kafka、Flink、ZooKeeper,再写消费作业,部署面远大于同步本身搬运工具不持续:DataX、Kettle、Navicat 擅长「搬一次」,长期增量、结构同步与断点续传要自己编排商业工具成本高:按节点授权,采购周期与费用不适合部门级、项目级同步源库侵入难落地:装 Agent、建触发器在核心生产库上往往批不下来Jync 的做法:单 jar 分钟级部署,零外部依赖,只读账号即可开跑,把「持续同步」做成开箱即用的软件Jync 是什么Jync(J 代表 Java;中文名「捷同」——敏捷同步,两库皆同)是一个在异构数据库之间实时同步结构与数据的 Web 应用。单个 jar 启动,内置 34 种数据库类型(另支持自定义 JDBC 类型),在浏览器里建两条连接、选好表,就能建立持续同步链路。核心能力数据库覆盖:34 种类型、25 种驱动内置,含达梦、金仓、OceanBase、GaussDB、崖山等信创库实时同步:结构 + 数据一起同步,全量后持续追增量,按主键幂等 upsert日志 CDC:MySQL、Oracle、达梦、PostgreSQL 系、SQL Server、崖山六类源秒级回放全量性能:主键 keyset 分块 + 单表并行 + 流式读取,50 万行 Oracle 表实测 21.6 万行/秒结构同步:表、索引、视图、存储过程,自动类型映射、函数转换与标识符适配增量轮询:只读游标查询,无需开 binlog,兼容所有数据库CDC 韧性:源库在线加列不中断,目标表被删只定向重建这一张,位点不动ETL:按 SQL 取数写入目标表,批次共享连接,覆盖 / 追加 / 范围覆盖 / 主键更新专属迁移:ES / OpenSearch → Easysearch、MongoDB → MongoDB / KingbaseES 整库复制Redis 投影:CDC 变更直接写成 JSON / HASH 缓存,支持基线重建与前缀清扫数据加工:13 种列清洗规则、表名映射、只读预览、行数核对质量校验:同步前预检、内容级校验、一键诊断包告警监控:七类故障推送钉钉 / 企业微信 / 飞书 / Webhook,看板与性能曲线安全:应用内 HTTPS、配置包加密导出导入、访客只读、CSRF 防护、三种统一认证部署形态:jar / Docker / Kubernetes,内网离线可跑,元数据库可换 MySQL / PG / OracleAI(可选):模型起草存储过程转换候选,人工确认后落库,不参与同步链路开源:MIT 协议,5000+ 个自动化测试,附真实数据库验证矩阵技术栈与工程取舍语言与框架:Java 17 + Spring Boot 4.1.2 / Spring Framework 7 / Hibernate 7 / Tomcat 11 / Jackson 3前端:Thymeleaf 服务端渲染 + 原生 JS,无前端框架、无构建步骤调度与互斥:Quartz + 数据库租约,调度、JVM 锁、DB 锁三层保护,多实例同一任务只在一个节点执行元数据库:内嵌 H2 2.1.214,连接 / 游标 / 锁 / 变更日志自管理;可换 MySQL、PostgreSQL、Oracle驱动:34 种数据库类型、25 种驱动内置;其余厂商 jar 走 URLClassLoader 运行时加载与隔离离线可用:前端资源与驱动全部内置,默认运行时零外部请求;AI 与 Webhook 均为可选项测试兜底:5548 项自动化测试,含 MySQL 8、PostgreSQL 16、Oracle 23 真实库契约与端到端断言性能上,容器单机、50 万行 Oracle 表的全量加载实测约 21.6 万行/秒,日志 CDC 端到端延迟为秒级;部署面始终只有一个 jar。快速开始java -jar jync.jar打开 http://localhost:8080(默认账号 admin / view,密码 123456,首次登录强制改密),建两条连接、选表、启动同步。五、和同类方案比维度JyncDebezium + KafkaCanalDataX / 数据迁移工具部署形态单个 jar,零外部依赖Kafka + Connect + ZooKeeperCanal Server客户端脚本 / 桌面端持续增量同步✅ 轮询 / Cron / 日志 CDC✅ 但需自写消费代码✅ 仅 MySQL❌ 一次性搬运结构(DDL)同步✅ 自动建表 / 索引 / 视图 / 过程⚠️ 落库需自写⚠️ 仅事件❌ 需预建表同步前检查✅ 只读预检,预演下一轮❌❌❌内容级校验✅ 主键抽样比对,只报告不修复❌ 需另做❌❌国产数据库✅ 达梦、金仓、openGauss、GaussDB、OceanBase、TiDB、崖山、GBase、神通等均有方言实现❌ 基本不支持❌⚠️ 部分搜索 / 文档库✅ ES/OpenSearch → Easysearch、MongoDB 双链路专属迁移⚠️ 有连接器,但需自建 Connect 管线❌⚠️ 部分缓存目标✅ CDC 行级投影到 Redis(JSON / HASH、TTL、前缀重建)⚠️ 需自写 Sink❌❌源库侵入性只读账号,零侵入(CDC 模式除外)需开 binlog / WAL + 复制权限需开 binlog只读,但仅一次性上手成本分钟级高中高低,但不解决持续同步一句话总结:当同步规模还撑不起一套流式基础设施时,Jync 是更合适的答案。开源与获取Jync 基于 MIT 协议开源,商业与非商业用途均可。GitHub:https://github.com/vfaner/jyncGitee:https://gitee.com/super_rgh/jyncGitCode:https://gitcode.com/vfaner/jync官网与部署教程:https://jync.qqmu.com14 分钟演示视频:https://www.bilibili.com/video/BV1iHYJ6vEEd如果你也受够了「为同步两张库搭一套 Kafka」,或者「每次改表结构手动对齐两边」,欢迎试试 Jync——顺手点个 Star、提个 Issue 就更好了。
  • [问题求助] 分库分表后主键生成有哪些方案?雪花算法(Snowflake)的时钟回拨问题如何解决?
    分库分表后主键生成有哪些方案?雪花算法(Snowflake)的时钟回拨问题如何解决?
  • [问题求助] ShardingSphere、MyCat这类中间件和客户端分库分表(如Sharding-JDBC)在架构上有何区别?
    ShardingSphere、MyCat这类中间件和客户端分库分表(如Sharding-JDBC)在架构上有何区别?
  • [问题求助] 联合索引的最左前缀原则是什么?范围查询之后的列还能用到索引吗?
    联合索引的最左前缀原则是什么?范围查询之后的列还能用到索引吗?
  • [问题求助] 哪些写法会导致索引失效?隐式类型转换、函数运算、模糊查询各自的影响是什么?
    哪些写法会导致索引失效?隐式类型转换、函数运算、模糊查询各自的影响是什么?
  • [问题求助] 共享锁、排他锁、意向锁分别是什么?意向锁的存在是为了解决什么问题?
    共享锁、排他锁、意向锁分别是什么?意向锁的存在是为了解决什么问题?
  • [问题求助] RR隔离级别下,InnoDB如何解决幻读?快照读和当前读分别依赖什么机制?
    RR隔离级别下,InnoDB如何解决幻读?快照读和当前读分别依赖什么机制?
  • [问题求助] Undo Log除了支持事务回滚,还承担什么作用?它何时被真正清理?
    Undo Log除了支持事务回滚,还承担什么作用?它何时被真正清理?
  • [问题求助] 什么是Double Write Buffer?它解决了什么问题?为什么它能保证页写入的原子性?
    什么是Double Write Buffer?它解决了什么问题?为什么它能保证页写入的原子性?
  • [问题求助] Buffer Pool的脏页刷盘机制是怎样的?为什么会出现“刷脏页导致业务卡顿”,如何优化?
    Buffer Pool的脏页刷盘机制是怎样的?为什么会出现“刷脏页导致业务卡顿”,如何优化?
  • [问题求助] InnoDB的自适应哈希索引(AHI)是什么?它在什么条件下自动启用,又可能带来什么副作用?
    InnoDB的自适应哈希索引(AHI)是什么?它在什么条件下自动启用,又可能带来什么副作用?
  • [问题求助] 基于语句的复制(SBR)、基于行的复制(RBR)和混合复制(MBR)各有什么优缺点?
    基于语句的复制(SBR)、基于行的复制(RBR)和混合复制(MBR)各有什么优缺点?
  • [问题求助] InnoDB的独立表空间和共享表空间有什么区别?innodb_file_per_table 参数如何影响数据文件管理?
    InnoDB的独立表空间和共享表空间有什么区别?innodb_file_per_table 参数如何影响数据文件管理?
  • [问题求助] MySQL重启后自增主键值会回退吗?InnoDB 8.0前后有何变化?
    MySQL重启后自增主键值会回退吗?InnoDB 8.0前后有何变化?
总条数:1461 到第 页
上滑加载中