• 资讯|华为云智能数据洞察DataArts Insight公测开启!
    作为新一代BI,华为云智能数据洞察DataArts Insight解决了传统BI工具的技术门槛高、智能化不足和结果响应慢的问题,基于盘古大模型,为企业提供可视、实时、易用、安全的企业智能分析服务,支撑业务实时高效决策,打造您的专属智能分析助手。自然语言生成图表盘古 for BI,支持全自然语言交互的BI自助分析,让业务人员和管理者也能轻松获取和分析数据,实现“0”门槛自助分析。业务态势智能洞察将数据与盘古大模型进行融合,深入挖掘数据价值,支持异常检测、根因分析、趋势预测等,通过自动分析洞察见解和专题故事生成,辅助业务管理者高效决策。10亿数据秒级响应通过高性能BI引擎支持多种加速模式,实现展现快、计算快,为使用者提供极致顺滑体验。同时,DataArts Insight支持与华为云数据库、数据仓库、数据湖、数据治理等数据平台产品原生集成,降低集成和运维难度,提供全链路数据安全保护;提供嵌入式分析、可视化图表和盘古 for BI智能问答机器人,可轻松嵌入SaaS应用,赋能SaaS应用智能化升级,提升用户体验,催生新的盈利机会,赋能业务增长。即日起开启公测,敬请体验华为云智能数据洞察DataArts Insight可广泛应用于政务、金融、制造、互联网、电商等多个行业。
  • 智能数据洞察(DataArts Insight)产品介绍
    什么是DataArts Insight(一)智能数据洞察(DataArts Insight)是华为云新一代BI服务,提供可视、实时、易用、安全的企业智能分析数据服务,以最自然高效的方式获取业务见解,支撑业务实时高效决策。适配云上云下多种数据源,提供丰富多样的可视化组件,采用拖拽式自由布局,轻松实现数据分析和报表搭建,快速定制专属数据大屏。产品架构(二)DataArts Insight的产品架构如图所示产品功能(三)01自助式分析DataArts Insight提供的智能图表可以帮助您直观、清晰地展示数据分析结果。DataArts Insight提供了多种图表样式,覆盖了表格、线图/面图、柱状图/条形图、指标图、圆盘图、散点图、气泡图等分析图表,满足您灵活多样的可视化分析需求。02数据大屏内置丰富的行业模板和素材内容,支持一键安装应用,快速搭建大屏。将可视化与叙事技术结合,支持多场景、多页面的故事性大屏。图表配置精细化程度再提升,支持动画效果,更有助于气氛渲染。数据指标、分析加工一键复用,加工效率高。03盘古 for BI将智能报表转化为智能工具,提供更加直观和高效的数据分析方式。通过机器学习和数据挖掘,自动发现数据中的关联与趋势,提供有效的洞察与建议。04数据接入支持多种数据源接入能力,包括DWS、ClickHouse、API、本地文件作为现代商业智能分析的数据源。支持公网连接、支持数据源的连通性测试。05数据加工支持在工作空间新建数据集,通过数据源导入、图形化和SQL形式创建数据集。数据集支持度量和维度的设置,支持新建分组维度,层次维度和计算字段,支持数据集字段隐藏。更多产品信息可进入产品主页查看:智能数据洞察 DataArts Insight
  • [热门活动] 【HCDG城市行东莞站】从“数据治理”洞察“数字化运营之道”,松山湖开发者村助力企业释放数字新动能!
    8月17日,华为运营团队正式入驻松山湖开发者村办公区,松山湖开发者村联合华为云开发者联盟举办HCDG(华为云开发者社区组织)城市行活动,举办以“数据治理承载之下的数字化运营之道”为主题的专家闭门会。华为云数字化转型咨询总监梁磊与瀚森科技、东阳光集团、恒翼能、生益科技等十几家企业共同探讨如何以数据治理为关键策略,实现企业数字化运营的路径。在全新环境下,松山湖开发者村锚定开村目标,迅速发挥深度洞察行业数字化转型创新业务模式的职能,为东莞松山湖企业数字化转型赋能。洞察企业数据治理诉求松山湖开发者村提供一站式服务会议期间,华为云曾负责安踏、东鹏、江淮汽车、河钢集团等多个重大数字化转型项目的咨询专家,梁磊为与会的企业家朋友们深入浅出地分享了关于“数据治理”的相关知识。数据治理是伴随着企业数字化转型不断持续进行的,是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行。华为云数字化转型咨询总监 梁磊数据治理在企业发展壮大过程中有其必要性,随着企业数据逐年增加,如财务、行政、销售等系统将逐渐形成多个数据孤岛,这时企业对于数据打通就有了新诉求。面对庞大的数据处理要求,需要企业通过战略、组织、制度、流程来建立一套完整的规范,并通过合适的平台工具来全面、系统地落地数据治理,构建一个清洁、可信、共享的数据底座,为企业数字化转型提供可监视的数据基座。东莞作为制造业强市,涵盖了41个工业大类中的34个,集聚超20万家工业企业,是天然的产业数字化转型“试验田”。东莞松山湖产业创新主体活跃,拥有国家高新技术企业635家,前瞻布局了智能制造、新材料、生物医药、新能源等战略性新兴产业,初步形成了以战略性新兴产业企业和科技型企业为主体的先进制造业集群,更是东莞这块“数字化试验田”中的前哨阵地。对于传统制造业企业而言,随着企业数字化转型不断持续进行,需要更加系统、完整的数据治理支撑企业更好地使用数据。共探数字化运营之道松山湖开发者村全力打造制造业企业数字化范本这场小型的专家闭门会,隐藏着松山湖开发者村力促松山湖企业数字化转型,打造中国乃至全球制造业企业数字化转型标杆城市的雄心。开村以来,松山湖开发者村充分发挥华为和伙伴资源优势,快速组建一支来自各行业数字化转型的人才团队,从村里出发,深入企业一线,,围绕“技术赋能,做好产品;商业赋能,卖好产品;运营赋能,运营好产品”的核心理念,为各行各业提供产品全生命周期的数字化一站式服务。松山湖开发者村将持续不断地举行技术圈层及专家交流活动,通过面对面宣讲、现场解答等方式,让松山湖更多企业加入数字化转型阵营,为企业释放更多数字生产力提供了可能。未来,松山湖开发者村将携手更多具备技术创新、业务创新、商业模式创新能力的企业,共同打造松山湖制造业区域数字化范本。
  • [活动公告] 【数据治理产品体验官&HCDG·东莞站】活动已上线,提建议赢开发者大礼包!
    好的产品总是在用户的“吐槽”声中日臻完善欢迎大家参与华为云产品体验官参与活动,按要求仅需2步即可完成任务体验产品-输出建议参与即可获得开发者大礼包一份~ 活动时间:2023年8月14日——8月28日  参与方式:用户参与数据治理产品体验官时体验产品,可按照以下方式提出优化建议,包括但不限于产品性能、操作体验、购买流程、功能建议、竞品对比等全面、深度的产品评测反馈(欢迎对产品的无情吐槽哦~)参与流程:体验产品:点击立即体验数据治理中心 DataArts Studio输出建议:1、用户登陆云声活动平台:cid:link_1,如图所示,点击立即参加按钮2、按照要求提出产品问题和优化建议标题需以参与活动名称+产品体验建议的形式命名。如【数据治理产品体验官】使用API更新/查询容器镜像服务中的容器时报错内容正文要求:       问题描述:提供相关云服务名称以及对应的使用详细描述,方便时尽量附带截图以及链接地址等       建议方案:可写具体的优化建议选择相关的产品/功能标签确认已知晓建议内容将会被公开,且未提交敏感信息后提交。图示3、等待活动评奖名单公布提交建议后,客服团队在2个工作日内进行预审, 每月活动结束后,根据建议预审和采纳情况评选,届时评选获奖用户,公布获奖名单并发放奖品更有线下专场可以面对面交流最新技术、和产品专家面对面交流~【数据治理产品体验官&HCDG·东莞站活动】线下专场活动时间:2023.8.17(周四)14:30-16:30活动地点:深圳市松山湖中集产城数字科技园1栋19A欢迎前往交流!
  • [运维管理] 任务调度里的job_status为f怎么解决?
    任务调度里的job_status为f怎么解决?权限问题?:我用的不是默认管理员账号,有些添加可以,有些不可以!!我调度存储过程类没有声明参数的没问题,声明参数就有问题
  • [教程] DataArts Studio 通过Rest Client 接口读取RESTful接口数据的能力,存储到Hive
    本文指导从RESTful地址中读取数据并同步到MRS-Hive表中,大致方案,DataArtStudio 管理配置采集任务,通过CDM服务进行代理下发和第三方API服务器进行对接,响应消息通过节点间参数传递给MSR-Hive-SQL解析入库,集成流程如下:方案开发流程如下:步骤1:DataArtsStudio 创建Rest Client任务数据开发模块,创建Rest Client节点,输入GET/POST参数,包括认证方式,头域、请求参数/消息体其中请求消息体中json可以使用EL表达式,比如携带时间过滤参数JSON Body体{ "startTime":"#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")}", "endTime":"#{DateUtil.format(DateUtil.now(),"yyyy-MM-dd")}" }系统转换后参数如下:{ "startTime":"2023-07-11", "endTime":"2023-07-12" }EL表达式的详细参考如下:cid:link_0响应消息的JSON中返回的消息如下数组格式:Response body: {"data": [ { "id":99467, "proportionProjectId":"0405", "proportionProjectName":"外勤津贴", "proportionAfterTax":40800, "proportionDepartmentId":289, "proportionDepartmentName":"总所税务部", "voucherStatusTime":1600758794000, "billsNumber":"2020092299467" }, { "id":102000, "proportionProjectId":"040102", "proportionProjectName":"040102 _ 职能部门员工年薪", "proportionAfterTax":20000, "proportionDepartmentId":296, "proportionDepartmentName":"总所创客部", "voucherStatusTime":1606209149000, "billsNumber":"2020112402000" } ] }步骤2:MSR-Hive创建表CREATE TABLE IF NOT EXISTS mrs_hive_rest ( `billsNumber` STRING ,`proportionDepartmentId` BIGINT ,`voucherStatusTime` BIGINT ,`proportionProjectId` STRING ,`proportionAfterTax` BIGINT ,`id` BIGINT ,`proportionProjectName` BIGINT ,`proportionDepartmentName` STRING );步骤3:DataArtsStudio 创建hive-sql脚本用于存储POST接口的响应消息数据开发模块创建hive-sql脚本,例如:-- HIVE sql -- ******************************************************************** -- -- author: zhanghaoqi -- create time: 2023/07/12 15:50:41 GMT+08:00 -- ******************************************************************** -- SELECT * FROM mrs_hive_rest; INSERT INTO mrs_hive_rest SELECT json_tuple(json, 'billsNumber', 'proportionDepartmentId', 'voucherStatusTime', 'proportionProjectId', 'proportionAfterTax', 'id', 'proportionProjectName', 'proportionDepartmentName') FROM ( SELECT explode(split(regexp_replace(regexp_replace('${jsonStr}', '\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),'\\;')) as json) t; SELECT * FROM mrs_hive_rest;SQL脚本关键点说明,在脚本中引用**${jsonStr}** 作为响应的消息的JSON字符串进行解析(在步骤4中定义改参数内容)由于响应消息是JSON数组,使用了内置的json和字符串方法进行解析。步骤4:DataArtsStudio 创建hive-sql节点执行脚本创建hive-sql节点,执行步骤3脚本参数关键点:脚本参数会自动提取SQL脚本中引用的参数,此处需要配置参数的内容,参数使用EL表达式获取前一个Rest_Client节点的返回值 #{JSONUtil.toString(JSONUtil.path(Job.getNodeOutput("Rest_Client_1729"),"data"))} 其中Rest_Client_1729为前一个节点的任务名,data为前一个节点的数据路径。步骤5:配置完成后执行测试运行验证脚本配置完成后,测试运行脚本,通过查看日志确认内容是否符合预期,SQL入库是否成功。[2023/07/12 20:13:24 GMT+0800] [INFO] Connect to server successfully [2023/07/12 20:13:24 GMT+0800] [INFO] Executing SQL:SELECT * FROM mrs_hive_rest; [2023/07/12 20:13:24 GMT+0800] [INFO] Execute SQL successfully [2023/07/12 20:13:24 GMT+0800] [INFO] Reading SQL execution result [2023/07/12 20:13:24 GMT+0800] [INFO] The first 0 rows:[2023/07/12 20:13:24 GMT+0800] [INFO] Read SQL execution result successfully [2023/07/12 20:13:24 GMT+0800] [INFO] [2023/07/12 20:13:24 GMT+0800] [INFO] Executing SQL:INSERT INTO mrs_hive_rest SELECT json_tuple(json, 'billsNumber', 'proportionDepartmentId', 'voucherStatusTime', 'proportionProjectId', 'proportionAfterTax', 'id', 'proportionProjectName', 'proportionDepartmentName') FROM ( SELECT explode(split(regexp_replace(regexp_replace('[{"billsNumber":"2020092299467","proportionDepartmentId":289,"voucherStatusTime":1600758794000,"proportionProjectId":"0405","proportionAfterTax":40800,"id":99467,"proportionProjectName":"外勤津贴","proportionDepartmentName":"总所税务部"},{"billsNumber":"2020112402000","proportionDepartmentId":296,"voucherStatusTime":1606209149000,"proportionProjectId":"040102","proportionAfterTax":20000,"id":102000,"proportionProjectName":"040102 _ 职能部门员工年薪","proportionDepartmentName":"总所创客部"}]', '\[|\]',''),'\}\,\{','\}\;\{'),'\;')) as json) t; [2023/07/12 20:13:38 GMT+0800] [INFO] Execute SQL successfully [2023/07/12 20:13:38 GMT+0800] [INFO] Reading SQL execution result [2023/07/12 20:13:38 GMT+0800] [INFO] Read SQL execution result successfully [2023/07/12 20:13:38 GMT+0800] [INFO] [2023/07/12 20:13:38 GMT+0800] [INFO] Executing SQL:SELECT * FROM mrs_hive_rest; [2023/07/12 20:13:38 GMT+0800] [INFO] Execute SQL successfully [2023/07/12 20:13:38 GMT+0800] [INFO] Reading SQL execution result [2023/07/12 20:13:38 GMT+0800] [INFO] The first 2 rows: 2020092299467,289,1600758794000,0405,40800,99467,null,总所税务部 2020112402000,296,1606209149000,040102,20000,102000,null,总所创客部[2023/07/12 20:13:38 GMT+0800] [INFO] Read SQL execution result successfully [2023/07/12 20:13:38 GMT+0800] [INFO]确认脚本执行成功,入库成功。
  • [其他] 能否像BING一样聊着天去开发和设计,以及生活
    1.首页太花了,影响视觉焦点,AI就AI,别搞差生文具多那一套,云端算力这些,是AI的发动机,消费使用端口角度,谈论发动机的会,买的是车,摸的是方向盘,一个搜索对话框足矣,简外而慧内才是道理。2.在使用者的角度来看,简单好用才是道理,聊天沟通是绕不过去的门槛,不会聊天,那AI就没有广泛性普及意义。唠嗑是相互理解的第一步。上的厨房入得厅堂这是基础,修下水管和搞基础研究也好,应用计算也好,人,是多面性多维度需求。企业,那必然是跨行业、专业、多领域性的大乱炖。3.别只针对专业精深,虽然这块目前很重要,但是,系统级应用,同样重要,加工一个异形构件,加工精度把控,材料属性规避优缺点,加工设备选型,强度,应力型变,实际生产过程与设计反馈调整,这些生产制造经验积累AI学习和辅助,价值性并不低,更何况,部分前沿的技术、开发和研究上,没有足够的论文,报告、专利、实验数据的情况下,AI的逻辑判断和分析,如何辅助。任何产业从原始基础的矿、种子、理论到实现实物落地,无论造车造船造飞机还是种个瓜还是建个房子养个娃,这种半树乃至全树级系统辅助,不重要吗?聊天这块,你躲得过?4.什么时候可以直接语言沟通和其他的高效输入工具取代键盘鼠标这种老的人机接口了,才算得上成型入门。
  • [工具组件] 【数据使能】数据治理中心 DataArts Studio能力项
    分类文档链接备注路标信息cid:link_3特性清单cid:link_2原子APIcid:link_0FAQcid:link_1华为云开发者网DataArts Stadio开放能力cid:link_3
  • [问题求助] 如何将一个dws sql节点中sql块的查询结果集写入另一个dws sql节点,两个节点的数据源链接不一样
    需要将dws数据源A中的多张表join以后得结果集,写入另一个dws数据源中,有什么好办法?不想在源dws数据源中创建很多表,想将多表join后查询结果直接写入另一个dws数据源中
  • [数据编排] 求数据编排的完整操作教程
    主要想了解从数据源配置数据库连接,如何创建模型,如何通过编排算子处理数据到输出处理后的数据,如何将处理好的的数据通过页面展示出来的一系列实操配置的教程。目前从官网了解的一些资料七零八散,做一点就不知道下一步怎么做了,想知道整个操作配置的实际顺序该是怎样的。
  • [问题求助] SOS! 数据湖治理中心 api 查询实例列表,listjobs接口 api 只返回10条json 数据,求助如何返回所有jobs信息的方法
    描述:调华为云api 查看时,总jobs数量有108,但是实际展示的jobs 只有10条,如下图使用的是官网提供的代码:是我调试方法有问题嘛?查看了下ListJobsRequest 的方法,没有调这个限制的参数,等一个大佬给个解决方法。
  • [问题求助] 【香港启德项目】DGC数据湖打开数据开发页面显示空白
    1.DGC数据湖打开数据开发页面显示空白王斌国/18629429514/wangbinguo@chinasoftinc.com
  • [问题求助] 数据湖是否可以使用远程工具等连接
    IDEA 上的database 连接数据湖
  • [业务动态] DAYU数据治理方法论
    DAYU数据治理方法论:智能数据治理中心_DAYU_数据治理方法论_华为云 (huaweicloud.com)DAYU数据治理方法论是华为数据管理方法论的精华总结,旨在帮助客户持续完善数据管理体系,沿企业主业务流打通信息链和数据流,提升数据质量,实现数据“清洁”,以支撑运营效率提升和经营结果的真实呈现,实现智慧数据驱动有效增长,充分实现数据资产价值。数据治理框架数据是企业核心资产,企业需要建立起数据字典,有效管理其日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。方法论流程落地DAYU数据治理方法论是华为数据管理方法论的精华总结,方法论的流程落地和功能落地均参考了业界数据治理最佳实践,并结合华为数字化转型成功经验优化而成。方法论功能落地华为数据治理实践以财经为例,在数据治理前存在很多问题,如由于IT系统的烟囱式建设,导致一个角色跨多个IT系统操作,效率低;数据获取难,手工处理多,单一个收入管理需要从5个系统导出数据,约11个人总共花费50小时完成分析。通过数据治理,华为可以做到3天月度财务报告出初稿、5天月度财务报告出终稿、11天年度财务报告完成初稿,要把一家业务遍及170多个国家和地区的全球化公司的“总账”算清楚可真不容易。要做到财报的高效、准确、完整,离不开高度集成的全球结账管理系统,更离不开数据治理,通过交易核算自动化、ERP优化、数据调度优化、数据质量监控以及提升数据分析平台的性能,华为实现了全球核算实时可视,过程可跟踪、可管理。
  • [业务动态] 什么是数据治理?
                    数据治理(Data Governance)   对数据质量的管理、专注在数据本身。从广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。   过去数十年间,企业的数据面临很多的问题:没有统一的数据标准,各业务系统间数据无法充分共享,关键核心数据无法识别及跨系统无法拉通等。为有效管理企业数据资产,实现数据价值的最大化,急需建立一个完善的数据治理框架体系,为企业数字化转型打下坚实的数据基础。   DAYU数据治理方法论是华为数据管理方法论的精华总结,参考了业界数据治理最佳实践,并结合华为数字化转型成功经验优化而成。DAYU数据治理方法论能有效帮助客户持续完善数据管理体系,沿企业主业务流打通信息链和数据流,提升数据质量,实现数据“清洁”,以支撑运营效率提升和经营结果的真实呈现,实现智慧数据驱动有效增长,充分实现数据资产价值。   DAYU数据治理方法论已经在华为云云服务数据湖治理中心DGC上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DGC开展数据治理工作;功能落地是指DGC平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。帮助中心链接:图解数据湖治理中心DGC_数据湖治理中心 DGC_产品介绍_华为云 (huaweicloud.com)数据治理方法论:智能数据治理中心_DAYU_数据治理方法论_华为云 (huaweicloud.com)产品首页链接:数据湖治理中心_DGC_数据运营_数据运营-华为云 (huaweicloud.com)