• [分享] DIS服务介绍
    数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道。数据接入服务每小时可从数十万种数据源(如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件等)中连续捕获、传送和存储数TB数据。
  • 【教程】如何将流式数据自动实时存入OBS服务
    如果想用华为云OBS的海量存储能力进行实时数据备份,但又不想在OBS客户端上不停地上传文件,应该怎么办?数据接入服务(DIS)可以帮你实现流数据实时免代码自动转储到OBS。 教程要点: [*]创建DIS数据流通道并配置数据自动转储到OBS 准备: [*]已创建华为云账号,并完成实名认证 [*]已创建OBS桶,并准备好的OBS的AK、SK 操作步骤: 1.登录华为云控制台,选择“EI企业智能>数据接入服务” 6196 6197 2.创建DIS流,单击“申请接入通道” 6200 3.配置基本信息: ①配置“通道名称”,该名称用户可以使用默认值。 ② 选择“通道类型”,建议用户选择“高级”,该通道免费。 ③ 选择“分区数量”。用户可以根据分区计算,由数据流折算出分区数量。 ④ 选择“生命周期”,该周期为数据在DIS服务中缓存的时间,以天为单位。 6239 4.配置数据转储到OBS,通道里的流式数据存储在DIS中,并周期性导入OBS。 ① 打开存储开关。 ② 转储服务类型:选择OBS。 ③ IAM委托:从下拉列表中选择OBS委托。DIS需要获取IAM委托去访问OBS桶,委托可以在“统一身份认证服务(IAM)”创建,具体操作方式如下: 步骤 1 使用注册账户登录登录公有云管理控制台。 步骤 2 选择“管理与部署 > 统一身份认证服务”,进入统一身份认证服务页面。 步骤 3 在“委托”页面,单击“创建委托”。 步骤 4 填选相应的委托信息,单击“确定”。 6240 ④ 转储类型:选择按周期转储。用户转储的流式数据被自动整理为指定目录下的文件,并按周期进行存储。 ⑤ 转储文件目录:在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔。本项可选。 ⑥ 数据转储周期:根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。取值范围:60~900,单位:秒。 6241 5.点击提交申请,创建DIS流。 ① 单击“提交申请”后,进入订单确认界面。 ② 确认信息无误后,请勾选“我已经阅读并且同意《华为云DIS服务协议》”,单击“确认申请”。 ③ 返回通道列表,DIS流创建成功。 6237 6.向DIS流发送数据。 DIS提供了多种发送数据的方法,包括SDK、DIS Agent、Flume Sink、Kafka Adaptor,可根据业务需要进行选择。 具体操作方法,请参考: ① Java SDK:http://support.huaweicloud.com/usermanual-dis/zh-cn_topic_0036141706.html ② DIS Agent:http://support.huaweicloud.com/usermanual-dis/dis_01_0020.html ③ Flume Sink:http://support.huaweicloud.com/usermanual-dis/dis_01_0028.html ④ Kafka Adaptor:http://support.huaweicloud.com/usermanual-dis/dis_01_0035.html 7.查看OBS中的数据 6242 6243 经过以上步骤,实时流数据就自动进入了OBS,用户可以继续对数据进行处理和分析,也可以作为备份。 PS:DIS可以轻松接入多种流式数据,并支持对数据进行消费。http://www.huaweicloud.com/product/dis.html
  • 因为它,制作企业报表不再是难事
    摘要:云报表服务上线后,收到了很多中小企业的关注及使用反馈。我们的开发团队在易用性上不断优化外,同时我们也在吸取用户反馈后积极调整报表服务的发展方向,如果你在使用云报表服务的过程中也有一些反馈,欢迎你发邮件给小编([email]zhangxinyao1@huawei.com[/email])反馈,小编等待着你宝贵的建议。 背景:传统报表的学习使用成本非常高,除了购买报表平台,企业还需要投入人力学习平台怎么使用,海量营销数据到底该怎么分析?下面我们一起来看看云上报表怎样简单4步搞定不同的数据源,生成boss满意的报表。 为了具有多数据源及计算数据量的扩展性,我们在架构上使用多层分离的方式,整体来看:数据接入、数据处理、图表生成管理,每个大模块之间通过接口定义交互规则。 191 数据接入层可适配多种数据,创建dataset时数据处理模块通过数据接入层接入数据,进而根据指定的算式计算规则处理数据,图表生成及管理获取dataset处理后的数据生成worksheet图表,还可以根据场景来绘制自己的图表仪表盘。 192 报表生成四部曲第一步:连接数据源添加数据来源信息扩展后支持:1.用户自己的数据,自己服务器上的数据库、文件,云上的保存的数据。2.用户在云上资源操作的相关数据,监控、审计、日志等数据来源第二步:编辑数据集与数据源连接后,可以根据生成图表目标进行加工处理。数据集编辑模块支持多种处理操作:字段元数据修改,行列数据过滤,新增列的生成,支持多达几十种的数据操作。第三步:绘制图表通过在界面上选择不同的维度度量信息,进行不同方式的多种聚合操作,选择心仪的图表,图表get时间的聚合方式,可以聚合时、日、月、年多个维度,让数据从多个角度说明问题,我们提供多种多样的聚合方式包括:平均值、最小值、最大值、求和等,同时我们提供多种多样的图表包括饼图、柱状图、折线图、散点图等。 第四步:绘制仪表盘一张图,一个维度也许不能很好的说明问题,试试把图表都放在一起把。 最后,云报表服务已经上线三个月啦,免费申请公测活动还在火热进行中,如果你在制作报表的过程中遇到任何问题,都欢迎你邮件联系小编哦([email]zhangxinyao1@huawei.com[/email])
总条数:51 到第
上滑加载中