-
数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道。数据接入服务每小时可从数十万种数据源(如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件等)中连续捕获、传送和存储数TB数据。
-
如果想用华为云OBS的海量存储能力进行实时数据备份,但又不想在OBS客户端上不停地上传文件,应该怎么办?数据接入服务(DIS)可以帮你实现流数据实时免代码自动转储到OBS。 教程要点: [*]创建DIS数据流通道并配置数据自动转储到OBS 准备: [*]已创建华为云账号,并完成实名认证 [*]已创建OBS桶,并准备好的OBS的AK、SK 操作步骤: 1.登录华为云控制台,选择“EI企业智能>数据接入服务” 6196 6197 2.创建DIS流,单击“申请接入通道” 6200 3.配置基本信息: ①配置“通道名称”,该名称用户可以使用默认值。 ② 选择“通道类型”,建议用户选择“高级”,该通道免费。 ③ 选择“分区数量”。用户可以根据分区计算,由数据流折算出分区数量。 ④ 选择“生命周期”,该周期为数据在DIS服务中缓存的时间,以天为单位。 6239 4.配置数据转储到OBS,通道里的流式数据存储在DIS中,并周期性导入OBS。 ① 打开存储开关。 ② 转储服务类型:选择OBS。 ③ IAM委托:从下拉列表中选择OBS委托。DIS需要获取IAM委托去访问OBS桶,委托可以在“统一身份认证服务(IAM)”创建,具体操作方式如下: 步骤 1 使用注册账户登录登录公有云管理控制台。 步骤 2 选择“管理与部署 > 统一身份认证服务”,进入统一身份认证服务页面。 步骤 3 在“委托”页面,单击“创建委托”。 步骤 4 填选相应的委托信息,单击“确定”。 6240 ④ 转储类型:选择按周期转储。用户转储的流式数据被自动整理为指定目录下的文件,并按周期进行存储。 ⑤ 转储文件目录:在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔。本项可选。 ⑥ 数据转储周期:根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。取值范围:60~900,单位:秒。 6241 5.点击提交申请,创建DIS流。 ① 单击“提交申请”后,进入订单确认界面。 ② 确认信息无误后,请勾选“我已经阅读并且同意《华为云DIS服务协议》”,单击“确认申请”。 ③ 返回通道列表,DIS流创建成功。 6237 6.向DIS流发送数据。 DIS提供了多种发送数据的方法,包括SDK、DIS Agent、Flume Sink、Kafka Adaptor,可根据业务需要进行选择。 具体操作方法,请参考: ① Java SDK:http://support.huaweicloud.com/usermanual-dis/zh-cn_topic_0036141706.html ② DIS Agent:http://support.huaweicloud.com/usermanual-dis/dis_01_0020.html ③ Flume Sink:http://support.huaweicloud.com/usermanual-dis/dis_01_0028.html ④ Kafka Adaptor:http://support.huaweicloud.com/usermanual-dis/dis_01_0035.html 7.查看OBS中的数据 6242 6243 经过以上步骤,实时流数据就自动进入了OBS,用户可以继续对数据进行处理和分析,也可以作为备份。 PS:DIS可以轻松接入多种流式数据,并支持对数据进行消费。http://www.huaweicloud.com/product/dis.html
-
摘要:云报表服务上线后,收到了很多中小企业的关注及使用反馈。我们的开发团队在易用性上不断优化外,同时我们也在吸取用户反馈后积极调整报表服务的发展方向,如果你在使用云报表服务的过程中也有一些反馈,欢迎你发邮件给小编([email]zhangxinyao1@huawei.com[/email])反馈,小编等待着你宝贵的建议。 背景:传统报表的学习使用成本非常高,除了购买报表平台,企业还需要投入人力学习平台怎么使用,海量营销数据到底该怎么分析?下面我们一起来看看云上报表怎样简单4步搞定不同的数据源,生成boss满意的报表。 为了具有多数据源及计算数据量的扩展性,我们在架构上使用多层分离的方式,整体来看:数据接入、数据处理、图表生成管理,每个大模块之间通过接口定义交互规则。 191 数据接入层可适配多种数据,创建dataset时数据处理模块通过数据接入层接入数据,进而根据指定的算式计算规则处理数据,图表生成及管理获取dataset处理后的数据生成worksheet图表,还可以根据场景来绘制自己的图表仪表盘。 192 报表生成四部曲第一步:连接数据源添加数据来源信息扩展后支持:1.用户自己的数据,自己服务器上的数据库、文件,云上的保存的数据。2.用户在云上资源操作的相关数据,监控、审计、日志等数据来源第二步:编辑数据集与数据源连接后,可以根据生成图表目标进行加工处理。数据集编辑模块支持多种处理操作:字段元数据修改,行列数据过滤,新增列的生成,支持多达几十种的数据操作。第三步:绘制图表通过在界面上选择不同的维度度量信息,进行不同方式的多种聚合操作,选择心仪的图表,图表get时间的聚合方式,可以聚合时、日、月、年多个维度,让数据从多个角度说明问题,我们提供多种多样的聚合方式包括:平均值、最小值、最大值、求和等,同时我们提供多种多样的图表包括饼图、柱状图、折线图、散点图等。 第四步:绘制仪表盘一张图,一个维度也许不能很好的说明问题,试试把图表都放在一起把。 最后,云报表服务已经上线三个月啦,免费申请公测活动还在火热进行中,如果你在制作报表的过程中遇到任何问题,都欢迎你邮件联系小编哦([email]zhangxinyao1@huawei.com[/email])
上滑加载中
推荐直播
-
全面解析华为云EI-API服务:理论基础与实践应用指南
2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能,应用场景,实践案例,调用流程”四个维度来深入解析“语音交互API,文字识别API,自然语言处理API,图像识别API及图像搜索API”五大场景下API服务,同时结合实验,来加深开发者对API服务理解。
回顾中 -
企业员工、应届毕业生、在读研究生共探项目实践
2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧,在线分享如何入门,以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析:理论基础与实践应用指南
2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型,管理全周期AI工作流呢?本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍,同时结合基于ModelArts 的实践性实验,帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签