• 清华大学基于华为云高性能计算解决方案完成癌症基因组学大数据分析项目
    本帖最后由 speedy2016 于 2018-6-28 20:11 编辑清华大学基于华为云高性能计算解决方案完成癌症基因组学大数据分析项目 近期,清华大学生命科学学院杨雪瑞课题组基于华为云HPC基因组学大数据分析解决方案,完成了二十余种癌症的转录调控网络构建。华为云针对项目的大规模计算需求进行了个性化配置,极大的减少计算时间,从海量癌症多组学数据中挖掘基因转录调控通路,向揭示癌症发生发展机制又迈进了一大步。 该项目主要是为了探索在癌症进程中,转录因子(TFs)、靶基因(target genes)、长链非编码RNA(lncRNAs)三者之间的调控关系,构建转录调控网络;并基于该网络揭示癌症的发生发展机制,同时比较不同癌症中转录调控网络的异同。近年来,随着基因测序数据的不断积累和壮大,长链非编码RNA(lncRNAs)不断被发现并且执行了重要的生物学功能。因此在传统的转录因子和靶基因的调控关系中加入长链非编码RNA的因素,构建新型的转录调控网络,为探索癌症的发生过程和调控机制提供了新的可能。 基于华为云成熟的HPC解决方案,为该项目提供了极具针对性的资源配置优化,实现了大规模计算资源的合理分配,不仅实现了高效率计算,还节省了30%以上的时间成本。 当前华为云HPC基因测序方案,可提供基于FPGA测序加速的基因测序主机、基于超高IO块存储构建的lustre集群,以及超高上传下载性能的OBS browser工具和120TB大容量传送立方数据快递服务。相比传统基因测序流程可缩短5倍的测序时间,综合成本可降低40%。 清华大学生命科学学院有着悠久的历史,在科学研究、学科建设和人才培养方面都有着强大的优势,已发展成为我国最具特色和最有影响力的生命科学科研和教学基地之一。以基因组学为重要研究内容之一的计算生物学是学院的重要发展方向,而相关研究的深入也对高性能计算资源提出了大量迫切的需求。 测序行业的持续繁荣和测序数据的快速增长对平台的计算能力以及数据安全都提出了更大的挑战。未来,随着测序技术的不断发展,华为云将联合科研伙伴一起不断推动基因行业的发展和进步。
  • [互动交流] 华为云DevCloud&MRS21天转型大数据实战营DAY2 图文流程
       前言:话说上期的devops让我熟悉了华为的dovcloud和git模式。 随后华为DevCloud&MRS联合推出的大数据实战营,这个训练我感觉机会十分难得,毕竟玩大数据就是玩钱。华为云这一期全程无费用,对于有志于转型大数据的从业者和学生都是一次很好的锻炼机会。 言归正传,这次训练营明显比devops更加的专业和深入,第一天顺利git了作业,然后第二天就难度对于小白的我来说极大。幸好,群里华为云老师和一起学习的同学们热心指导,让我顺利的完成第二天的打卡任务。 进入实战:根据操作文档创建MRS分析集群和HDFS客户端使用.docx从创建集群到绑定弹性ip之间的过程,文档中有详细的指导,直接按图索骥就行。 下面上传数据才是难点。 这里推荐使用xshell管理(putty可能会出现不可预知的错误)。 2.5.3 从数据包下载地址下载本次实验需要的数据包,解压后将目录通过工具上传到集群的/opt目录下。 从2.5.3到作业完毕一共分7步。 华为云社区已知bug,代码会被拦截。我把txt文档做成压缩包一行,一个步骤。大家一步步操作就。 18284 第一步: 18279 下载数据,解压缩后移动到opt目录下。 第二步: 第三步: 第四步: 18280 把数据上传到user/hdfs-examples目录下。 第五步: 18281 查看10组数据已经成功上传。 第六步:把id更换成你的华为云账户 第七步: 18282 在user目录下创建以你华为云账户命名的文件夹。 18283 把数据成功上传和用户名成功创建的截图上传到小打卡 至此,第二天打卡任务完成。 18285    
  • [热门活动] 大数据大家玩,国产虚谷数据库入驻云市场
    本帖最后由 苏sir 于 2018-6-20 14:24 编辑产品介绍: 虚谷分布式数据库是在大数据时代背景下应运而生处理关系型大数据的全新架构数据库产品,虚谷伟业公司对虚谷分布式数据库拥有完全自主知识产权,所有功能性代码均由企业自主研发编写,并经过工信部赛普中心源代码检测,非国际标准性代码企业自有超过98%。虚谷分布式数据库基于分布式架构上研发的一款通用关系型数据,既有分布式的高扩展性、高可靠性与海量数据处理的特点,又包含通用关系型数据库的所有对象管理和接口使用标准,可同时兼顾OLTP与OLAP处理。17801虚谷分布式数据库-功能框架虚谷分布式数据库功能: 1、完全保留传统关系型数据库的模式对象管理方式支持库、表、索引、视图、包、过程函数、触发器、自定义类型; 2、基本数据类型上提供数字类型(number,integer,bigint,float,double...)、时间(date,time,datetime,timestamp...)、字符类型(char,varchar...)、大对象类型(clob,blob)、rowid、guid、布尔等; 3、提供丰富的系统表、系统视图、系统包、系统函数; 4、UTF8、GBK、GB18030等多字符集支持; 5、SQL标准实现和PL/SQL支持,高度兼容ORACLE; 6、访问接口多语言支持(JDBC、ODBC、XGCI..); 7、完整ACID、MVCC、事务隔离级别等实现支持分布式事务; 虚谷数据库提供图形化管理工具、迁移工具、监控工具等如下:17804虚谷分布式数据库集群采用角色管理: 1、主控服务(MasterServer ):节点管理、资源管理、故障处理、存储均衡以及全局锁管理和全局仲裁服务,提供集群中心管理服务; 2、工作服务(WorkServer ):接受客户请求、规划任务、执行任务等,提供任务的并行处理并行计算服务; 3、存储服务(StorageServer):存储片段实际存储管理,响应工作节点发来的增、删、查、改等底层数据操作,提供数据在集群内的分布式存储、多副本容错服务;在虚谷分布式数据库系统中,客户端只会和WorkServer进行通讯交互和MasterServer无关,MasterServer不会成为集群系统瓶颈以保障整个集群的无限扩展性。17802虚谷分布式数据库-架构图产品特点:17803 应用场景: 虚谷分布式数据库为用户提供虚谷标准版数据库、虚谷企业版数据库、虚谷大型分布式关系型数据库、大数据整体解决方案应对用户不同并发用户量、不同复杂度及不同数据量的需求,虚谷数据库能满足小型OA系统到大型数据中心级的所有数据库需求。 1、依赖于虚谷分布式数据库架构特性,用户可根据当前实际需求进行规划投入,待数据库处理能力不足或容量不足时按需扩展,充分利用资源,降低用户成本且扩展过程自动透明,无需用户干预。用户只需关注业务实现,大数据的处理由数据库层提供。 2、依赖于虚谷分布式数据库的兼容性,可对用户现有各类数据库应用,特别是Oracle应用,无缝迁移到虚谷数据库利用虚谷数据库的大数据处理能力进行大数据处理,而无需进行应用重构。 结束语: 经过国家气象局、国家统计局、全国政协、国土资源部等多个部门的测试和应用证明,虚谷分布式数据库具有先进的技术架构、强大的数据处理能力,能全场景支撑用户各类需求。 1、高兼容:完美支持SQL标准、支持PL/SQL对Oracle的高可替代性,应用移植几乎零代码修改。 2、全场景:能同时兼容OLTP和OLAP的混合型大数据应用,单库式服务规避数据分流引入的额外开销。 3、高性能:经用户测试与应用的验证,性能可媲美Oracle。 4、高扩展:轻量级中心管理,节点动态伸缩、随需而变。 5、高可靠:主控双机、多网络通讯和多副本容错技术,自动容灾,提供7*24全时服务。 6、跨平台:支持国内外操作系统平台和芯片架构。
  • [云动向] 【高考进行时】送考生上C位 华为云严选为考生加油打call!
    本帖最后由 灿烂千阳 于 2018-6-7 17:47 编辑16562一年一度的高考正在拉开序幕  送考生上C位  华为云严选号召各路英雄为考生加油打call!  祝愿所有考生  个个考神附体 不会也能蒙对  人人超常发挥 走上人生巅峰​(来来来,扫我呀)☟☟☟☟☟16563   高考,不仅牵动万千家长及广大学子的心,面对新高考,如何为万千学校和学子提供好的服务,也是广大教育类企业努力践行的方向。华为云严选商城携手合作伙伴拓维,为学校和学子们提供"基于3+3模式下的新高考整体解决方案",直面高中改革 “六难”的核心问题。本解决方案依托先进的云计算和大数据技术,为教育局提供统一的一站式的新高考解决平台,从高中学生入学开始,覆盖入学前、课中、课后、高考完四个流程,帮助学校搭建适合的新高考实施蓝图,帮助学生规划科学的成长体系。 16564  针对新高考政策设计开发出不同模块,通过各模块之间的协同配合,数据互通实现整个教学过程的生涯规划、课程选科、排班选课、课程管理、英语口语考试、志愿填报、学生综合素质评价,帮助学生规划学习体系。   1、生涯规划指导  适应新高考改革“专业+学校”录取模式,围绕“选科-报考-就业”为核心路径,以学生能力倾向形成最优选科组合方案,帮助学生和家长科学选科,为学校更好实施选课走班提供最全面的信息化决策辅助工具。16565  2、新高考选科规划  适应新高考改革“专业+学校”录取模式,围绕“选科-报考-就业”为核心路径,以学生能力倾向形成最优选科组合方案,帮助学生和家长科学选科,为学校更好实施选课走班提供最全面的信息化决策辅助工具。  3、排班选课系统  产品充分考虑不同学校的师资、学情、场地设施等实际情况,结合学生的兴趣爱好、学业曲线等数据,提供微走班、中走班、大走班等多种选课方案,学校根据自身条件自由选择,满足其个性化教学需求。  4、互动课堂  依托区域智慧教育政务网与虚拟资源池架构,构建基于云存储、大数据、移动无线网络为支撑的互动学习平台,为课堂教学提供先进的、便利的互动教学环境。通过在线优质教育资源的推送、课堂上平板电脑的使用、课后在线自主学习、评测与分析,实现更高效的师生双向互动,促进学生主动式、协作式、研究型的学习,为探究开放、高效的一对一互动教学模式提供软件平台支持。  5、拓维学堂  构建基于云存储、大数据、移动无线网络为支撑的互动学习平台,为课堂教学提供先进的、便利的互动教学环境。通过在线优质教育资源的推送、课堂上平板电脑的使用、课后在线自主学习、评测与分析,实现更高效的师生双向互动,促进学生主动式、协作式、研究型的学习,为探究开放、高效的一对一互动教学模式提供软件平台支持。通过资源接入,向教师和学生推送个性化的资源,最大程度上为在线互动学习提供便利。16566  6、志愿填报系统  应对新高考改革志愿招生录取变化,依据20年全国高考评价服务的行业优势,结合成熟的高考大数据+智能算法技术,帮助考生和家长掌握院校及专业内涵,避开志愿录取风险,依据个人需求评估最优志愿方案,避免因填报失当导致滑档、落榜的风险。 16567每一次前行,都因心怀远方每一次起航,都因燃起希望祝广大学子,功成名就金榜题名也祝愿每一个人,都前行在梦想的道路上相关推荐:https://app.huaweicloud.com/?locale=zh-cn华为严选,为你严选更多软件和应用https://app.huaweicloud.com/selected/
  • [技术干货] MapReduce大数据量任务运行缓慢
    本帖最后由 建赟 于 2018-5-31 15:20 编辑现象描述运行MapReduce大数据量任务情况下出现reduce任务进展缓慢现象,通过检查原生界面日志发现持续输出以下信息:2015-05-20 23:32:17,527 INFO [fetcher#29] org.apache.hadoop.mapreduce.task.reduce.Fetcher: fetcher#29 - MergeManager returned status WAIT ...2015-05-20 23:32:17,545 INFO [fetcher#13] org.apache.hadoop.mapreduce.task.reduce.Fetcher: fetcher#13 - MergeManager returned status WAIT ...2015-05-20 23:32:17,549 INFO [fetcher#29] org.apache.hadoop.mapreduce.task.reduce.Fetcher: fetcher#29 - MergeManager returned status WAIT ...且每隔5到6个小时会读入部分数据输出以下信息:2015-05-21 05:34:16,257 INFO [fetcher#14] org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput: Read 1720474 bytes from map-output for attempt_1431609106966_0153_m_002488_0以上两种日志信息持续交叉输出。 可能原因由于reduce数据处理过程中需要copy数据到本机执行reduce操作,在reducer中,copy数据任务与数据merge任务为并发执行,可能会出现copy数据任务所占用内存未达到阈值导致写磁盘操作未触发,剩余内存被merge操作占用的现象。 说明: 通过配置参数“mapreduce.reduce.shuffle.input.buffer.percent”为这部分数据设置buffer大小,默认分配的buffer为内存的70%。通过配置参数“mapreduce.reduce.shuffle.merge.percent”设置当copy数据占用内存达到阈值之后将数据写到磁盘上,默认值为66%。 定位思路 [*]检查运行任务的“mapreduce.reduce.shuffle.parallelcopies”参数值是否满足配置要求,请参考表1 [*]检查reduce配置的“mapreduce.reduce.memory.mb”参数值是否满足配置要求,请参考表1 处理步骤 [*]配置“mapreduce.reduce.shuffle.parallelcopies”参数值在建议范围之内。 [*]配置“mapreduce.reduce.memory.mb”参数值在建议范围之内。 16122
  • [热门活动] 【21天专题系列活动】终于等到你!21天转型大数据实战营课程汇总
    Hello DevClouder!各位云端开发者们,大家好。在数据爆炸的年代,大数据技术已然成为兵家必争之地,大数据人才越来越炙手可热!面对机遇,你选择观望等待?还是努力争取?21天转型大数据实战营来了!!!华为云DevCloud&MRS为您准备了最顶尖的华为云大数据导师、最前沿和实用的精编实践课程、最完备雄厚的平台资源支持……带你打破大数据技术壁垒,牢牢把握行业机遇!一起向 Big Data 的巅峰发起冲击吧!面向人群:(1)所有渴望学习大数据的朋友们(2)每日完成学习、实践、打卡任务,就有机会获得惊喜奖品课程预览21天转型大数据实战营课程表 DAY1DAY2DAY3DAY4DAY5DAY6DAY7WEEK1初识MRS服务如何使用HDFS如何开发HDFS程序MapReduce\Yarn介绍如何开发MapReduce程序如何使用Hbase如何开发HBase程序WEEK2如何使用Spark如何开发Spark程序如何使用Hive如何开发Hive程序玩转MRS之访问OBS如何使用Kafka何开发Kafka程序WEEK3如何使用FlumeStorm介绍和程序开发玩转MRS之扩容缩容玩转MRS之弹性伸缩玩转MRS之引导程序玩转MRS之访问原生页面玩转MRS之集群管理
  • [热门活动] 北京北斗星座科技发展有限责任公司入驻华为云市场,助力企业业务上云
    【导语】2018年5月30日,北京北斗星座科技发展有限责任公司入驻华为云市场,在华为云市场发布了“北斗云采平台”产品,能够提供互联网采购和供应的服务能力,帮助企业和用户快速便捷解决采购问题。这款产品有哪些功能,又如何使用呢?一起来了解一下。 一、 产品介绍北斗云采,强调采购过程精细化管理 16098 二、 产品功能(有哪些特点)云采购平台解决采购全业务、全生命周期数据管控、降低采购成本、提高采购效率、最新技术超高安全16099 1、通过供应商间的比价,降低了采购成本2、通过共享供应商大数据库,拓宽了采购渠道,间接降低了采购成本 3、通过采购全过程的监控,避免了采购人员暗箱操作,减少了财产的流失4、规范企业的采购流程,提升了管理水平5、询价,比价、竞价过程中的沟通、报价、附件等所有记录均归档于数据库中,实现了整个采购过程的监督和追踪6、大数据统计分析7、互联网+、云计算、大数据、加解密技术、人工智能、时间戳技术、IP锁定技术、数字证书技术、阿里云五星级安全保障 三、 产品应用于哪些行业中小企业定制采购与供应的服务平台 四、 产品能够解决什么问题解决中小型企业的采购问题,规范采购流程,避免了采购人员暗箱操作,减少了财产的流失,节约了采购人员的时间,提高了采购的效率,采购操作留痕处理。 五、 平台的核心价值: 16100 买方:买的更省! 卖方:卖的更多!免费发布招采信息; 免费获取招采商机; 免费获取优质供应商; 免费使用即时通讯工具;免费的智能采购过程管理工具; 免费入住服务平台; 享受平台一站式采购服务; 享受使用智能报价工具;享受BI智能采购数据分析; 享受发布产品广告; 结果:成本大降!利润大涨! 结果:渠道拓宽,销量大增! 六、 客户的心声:买方:云采平台---老板的采购宝贝!重新定义采购部:不再是花钱的部门,而是为老板赚钱的部门!简单、方便、快捷、智能、傻瓜式操作、一站式服务----让我们的采购更价值!卖方:我们赚大了! 获取商机:更及时、更方便、更容易、更准确; 产品推广:广告推广更精准、广告维护更简单、广告发布更及时; 参与报价:更及时、更方便、更准确; 效 果:货卖得更多,赚的更多;
  • 大数据告诉你,母亲节送妈妈什么礼物会让她更开心
    又到母亲节,据说,“母亲节给妈妈送什么礼物”是世界第2大难题,仅次于第1难的“今天吃什么?”那么这第2大难题应该如何解决呢?显然它不会有一个万能的标准答案,但我们可以给你提供一些线索,希望能帮助你开开脑洞,找到属于你自己的标准答案。01到底送什么:不同国家、不同角度的调查给出不同的结论1.最好的礼物,需要你的陪伴母亲节都是周日,所以“礼物”未必非得是一件有形的物品,它也可以是一项服务。所以,如果你能在母亲身边陪伴她一起过节,让家居生活变个样或是带她去泡个温泉享受一下,都会是绝佳选择。美国的数据也有相似的结论:母亲节是一个属于家庭的节日。2.“珠宝沉默不语,却比任何语言更能打动女人心”去年母亲节期间,美国珠宝首饰支出增幅最大。莎士比亚老爷子早在几百年前就看穿一切:“珠宝沉默不语,却比任何语言更能打动女人心。”所以,不管节日期间你能否陪伴在母亲身边,精致的珠宝首饰都能让她开心。3.妈妈们都喜欢买买买,尤其是衣服根据一点资讯在去年母亲节期间的问卷调查,妈妈们最大的乐趣就是买买买。参与这项调查的妈妈们年龄横跨了60后到90后,由此可见,不管新手妈妈还是资深妈妈,过节时让她们买买买才是硬道理。如果我们再会看英国的数据,会发现母亲节期间服装行业拥有最高的点击率。看来无论国内国外、线上线下,我们能得到的一致结论就是:一件时尚时尚最时尚的衣服,一定能让妈妈满意。4.送花没创意?但有诗情画意!从一点资讯“母亲节”的相关词云来看,康乃馨和忘忧草依然是关联性很强的关键词。智慧、经验平衡职场与家庭,80后盛产“虎妈”作为家庭的象征,妈妈们也用自己的智慧和能力诠释了自己对家庭的责任,越来越多的妈妈即使身在职场也可以当好“宝妈”。数据报告显示,38%的妈妈对自己的认知是工作家庭两不误。而随着年龄的增长和经验积累,妈妈们越来越懂得如何平衡工作与家庭。此外,14%的妈妈的自我评价是“严格虎妈”,其中80后占比更高。报告显示,每4个80后的妈妈中就有1位自称“虎妈”。这或与她们所接受的教育有关,也与职场上的激烈竞争现状相契合。无论出于什么原因“虎妈盛产”的背后,都饱含着对孩子最炙热的母爱。今日头条2015、2016两年的数据中,康乃馨强势代言母亲节。02如果想不出送什么,你就“一时冲动”吧也许是因为真的太难提前想出合适的礼物了,所以总会有人在母亲节期间冲动购物,尤其是男人。不过,相信你的“第一感觉”,也许也会是个不错的选择。03母亲节,真的只是母亲们过节?不管什么节日,商家们都是蛮拼的,所以母亲节也有演变为女性购物节的趋势。必应在美国的数据显示,母亲节礼物并没有全部送给母亲。04男人和女人,谁更重视母亲节?这个问题可能是最有争议的。在中国,搜狗大数据的结果显示,男性更关注母亲节。英国男人买礼物的平均花费明显高于女人,出手阔绰。但在搜索数据上,英国女人赢了男人。美国女性对母亲节内容更感兴趣,女性用户的广告点击率为4.2%,男性用户点击率则为3.8%。
  • [热门活动] 【全云总动员】21天转型大数据实战营重磅上线!
    本帖最后由 DevCloud 于 2018-6-19 15:26 编辑本活动参加华为云社区全云总动员盛夏狂欢趴,携云女郎火热来袭,详情请戳 华为云社区全云总动员 17007 21天精品课程强势推出,众多华为专家倾情加盟,学习前沿技术,享受多重好礼! 15884 什么是21天转型大数据?华为云DevCloud作为一站式云端DevOps平台,集成华为近30年研发实践和前沿理念,面向开发者提供研发工具服务,让软件开发简单高效。MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。借鉴21天形成习惯的理念,DevCloud联合MapReduce服务推出”21天转型大数据实战营“活动,发布21天精品课程,引导用户学习前沿的大数据知识并动手实践,助力玩转大数据。活动规则:1. 活动时间:2018年6月5日至2018年7月16日;课程时间:2018年6月26日至2018年7月16日;2. 活动流程:1) 注册华为云账号并登录;2) 扫描二维码,添加群助手微信,回复“大数据”,即可报名实战营;15885 3) 微信社群助手每日发布当日课程内容及规则,学员完成任务并打卡成功,获得阶段性奖励;3. 打卡规则:1) 打卡时间:每日10:00~22:00;2) 打卡方式:每日完成课程后,按要求上传一张截图作为打卡日记,即可完成打卡;3) 打卡须知:①打卡截图需按要求截图,社群助手将会每日提供打卡示例;②打卡截图中需显示华为云账号,且必须为当日操作截图;③采用闯关打卡模式,每日只计算一次有效打卡;④若当日未进行打卡,后续不可补打卡;⑤社群助手将对每日的打卡内容进行审核,审核周期为3~5个工作日,未按照要求上传截图的打卡,将被视为无效打卡,不计入打卡天数;4. 评奖方式:在规定小程序内完成打卡,点亮徽章,转发至朋友圈,将截图回复至微信社群,可获得抽奖机会,仅在规定统计日期有效,过期判定为无效。1) 完成第一天打卡完成第一天打卡任务即可获得500元MRS代金券,开营第2天号召完成第一天打卡任务的用户将第一天的打卡日记截图发到群内,社群助手将线上发放代金券,用户线上领取即可;15886 2) 连续打卡3天开营第4天号召点亮“坚持打卡3天”徽章的用户将成就卡转发朋友圈,转发后将朋友圈截图发回群内,可获得抽奖机会,奖品为定制电动小风扇一个,截图过期无效;15887 3) 连续打卡7天开营第8天号召点亮“坚持打卡7天”徽章的用户将成就卡转发朋友圈,转发后将朋友圈截图发回群内,可获得抽奖机会,奖品为定制超大鼠标垫一个,截图过期无效;15888 4) 连续打卡14天开营第15天号召点亮“坚持打卡14天”徽章的用户将成就卡转发朋友圈,转发后将朋友圈截图发回群内,可获得抽奖机会,奖品为大数据专业书籍一本,截图过期无效;15889 5) 连续打卡21天开营第22天号召点亮“坚持打卡21天”徽章的用户将成就卡转发朋友圈,转发后将朋友圈截图发回群内,可获得抽奖机会,奖品为机械键盘一个,截图过期无效;15890 5. 奖品发放说明:获奖用户在领奖界面填写邮寄信息,活动结束后奖品将统一发放,所有奖品均包邮,不额外收取任何费用。 这是大数据的时代,还等什么,速来加入我们吧!
  • [其他] 自动弹性伸缩帮助客户低成本的保障业务平稳运行
    随着企业的数据越来越多,越来越多的企业选择使用Spark/Hive等技术来进行分析,由于数据量大,处理任务繁重,资源的消耗比较高,因此使用成本也是比较高。MRS在和客户的交流中,识别到并不是每个企业在每时每刻在进行分析,而一般是在一天的一个时间段内进行分析汇总,因此MRS提供了弹性伸缩能力,可以自动在业务在繁忙时申请额外资源,业务不繁忙时释放闲置资源,让用户按需使用,尽可能的帮助客户降低使用成本,聚焦核心业务。 [*]降低使用成本: 部分企业在进行批量分析时,并不是时时刻刻都在进行分析,例如一般都存在数据持续接入,而到了特定时间段(例如凌晨3点)进行批量分析,可能仅需要消耗2小时。MRS提供的弹性伸缩能力,可以帮助客户,在晚上的时候,将分析节点扩容到指定规模,而计算完毕后,则自动释放计算节点,尽可能的降低使用成本。 14880 XX行每日处理1T增量数据分析成本 [*]平衡突发查询: 大数据集群上,由于有大量的数据,企业会经常面临临时的分析任务,例如政府的临时审计要求、支撑企业决策的临时数据报表、突发热点事件等,都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力,可以让突发大数据分析时,可以及时的补充计算节点,避免因为计算能力不足,导致业务宕机,使用户无需购买额外资源,当突发事件结束后,MRS会自动判断缩容时机,自动完成缩容。下图展示的是使用非弹性伸缩集群20节点和使用弹性伸缩集群,从10节点,当业务突增时弹性到20节点时的性能影响。14881 XX行使用弹性伸缩特性,面对业务突发场景的性能影响 [*]聚焦核心业务: 大数据作为二次开发平台,要开发人员判断具体的资源消耗,还是比较困难的,因为查询分析的条件复杂性(例如全局排序,过滤,合并等)以及数据的复杂性,例如增量数据的不确定性等,都会导致预估多少计算量是非常困难的行为,而使用弹性伸缩能力,可以让业务人员专注于业务开发,无需分心再做各种资源评估。 MRS作为大数据软件开发平台,专注于将业界最通用的大数据开源产品提供给客户使用,开源,开放,让客户最方便使用大数据完成核心业务的开发。
  • [上云精品] 【云端大事件】上海宽数EDF数据智能产品正式发布,助力数字化转型
    本帖最后由 Broaddata 于 2018-4-27 11:43 编辑14599 一、 产品介绍 上海宽数倾力打造的企业大数据智能平台EDI (Enterprise Data Intelligence),以建设企业数据PaaS层为切入点, 帮助企业/机构快速构建新一代数据仓库和基于其上的数据产品,帮忙企业在DT时代快速数字化转型,实现数据智能,对接人工智能。EDI平台基于目前业界领先的大数据技术和理念,融合结构化、非结构化数据,实现了统一的数据架构(Unified Data Architecture)。通过部署EDI,快速的让企业/机构拥有大数据处理的能力,帮助用户在单一平台下,实现对海量数据、全类型数据、外部数据的存储归档、 搜索访问、计算加工、价值挖掘、安全控制、以及数据资产全生命周期管理。 14600 二、 产品功能及特点 上海宽数的大数据智能平台EDI通过把: 现代化的数据基础设施, 所有数据之间的关联融合, 企业对数据加工、服务的需求, 进行统一的封装,构建一个企业大数据集成和管理的PaaS平台,减少用户对于数据技术的直接使用。  数据底层 通过丰富的数据适配器,采用配置式的、自由组合的方式,适配各类现代化数据基础设施。通过统一的数据采集配置,统一调用数据基础设施,融合关联所有数据。  数据应用层 通过统一的数据API,向数据应用提供透明访问的数据服务,保证数据安全的同时,减少使用数据技术的复杂性。  数据PaaS层 剥离数据源和数据应用的复杂性,构建强大的数据管理中台,提供数据管理的各种工具。在数据管理中台,实现一体化的数据架构,在统一管理界面下,实现对海量异构数据的数据治理、存储归档、信息组织、搜索访问、安全控制、分析可视化、以及数据挖掘等。 EDI平台在架构体系层面具有一下一些特点及优势。  高可扩展设计 基于PC服务器的简单快速部署的,无需购买昂贵的传统数据仓库软件和硬件。分布式计算和存储架构,增加服务器即可获得系统性能的线性增长。  高可适应设计 适用小数据量到海量大数据项目,部署可以从3台物理机开始到超大集群,项目启动快。可以根据用户的数据量级和不同的数据类型,选择适合的基础设施,如:海量价值密度低的RFID数据可以选择Hadoop作为数据仓库,而高价值密度的业务数据可以选择GreenPlum作为数据仓库等。  统一数据架构UDA 融合了结构化和非结构化数据的管理,实现了统一数据架构UDA(Unified Data Architecture),结构化数据和非结构化数据在一个统一的数据模型-数据对象(Dataobject)下管理。  数据高可用性和丰富API 实现全数据的全文检索,同时支持基于SQL的数据查询分析。提供丰富的数据服务API,包括元数据服务,数据搜索服务,数据聚合服务,数据任务调度等。外部数据应用要使用和共享数据,可以调用已经注册的API服务。  统一元数据管理和全面数据治理 提供统一的元数据管理工具,全面管理数据各类信息,包括类型,位置和访问信息,数据格式,数据血缘等。提供全面数据治理功能,实现数据的标准化,编码的标准化和映射,数据质量检查等。  统一数据加工框架 提供了一个统一的数据加工的框架,实现了任务调度,任务执行,运行结果显示等。目前支持以下任务: 数据批处理任务,指标计算,标签计算,关系发现,音视频文件语音识别等。  数据安全 支持灵活的用户权限管理配置,通过用户、组、角色进行多方位的用户权限管理。提供统一的数据安全模型,对所有数据的访问提供灵活定义的访问控制。记录所有关于数据访问的安全审计信息,以满足未来数据安全审计的要求。 三、 产品应用于哪些行业 EDI平台应用于各行各业进行数字化转型,包括公安、政府、教育、制造、电商等。可应用的邻域包括:  大数据管理平台  大数据采集工具  大数据处理工具  大数据分析建模  大数据业务咨询  政务网应用  业务基础及应用开发  人工智能应用开发 四、 产品能够解决什么问题 EDI平台帮助企业在DT时代迅速拥有数据能力,快速实现数字化转型:  海量业务数据分析: 更快的SQL查询、数据批处理 和 BI 报表  全类型数据全文检索: 类似“企业百度”,快速搜索企业全量,全类型数据  全面数据治理: 元数据管理,数据标准,数据质量,数据资产清单等  统一数据加工:数据清洗,指标/标签计算,关系发现,音视频文件/文本分析等  数据挖掘:预测,分类,关联分析,深度学习,挖掘数据价值等  数据API:给业务系统,BI系统,AI系统提供API服务,实现企业内数据共享  数据产品: 基于平台快速构建新的数据产品,如360度数据画像(客户,员工,设备等),推荐系统,… 14597
  • [下午茶时光] 【Day 51--2018/4/16】云计算时代下的存储该何去何从?
    14010 【下午茶时光——业界热点陪你喝咖啡】 云计算时代下的存储该何去何从? 天下大势,合久必分,分久必合。纵观整个存储发展史,数据中心的存储方案也大致经历了合-分-合3个阶段。 14011 从IBM在1956年推出世界上第一台真正意义上的机械硬盘,到上世纪70年代,存储与服务器是融于一体的。直到DAS的出现,存储与服务器开始逐渐脱离,此后存储功能更加专业化,职责更加细化。随着网络技术的发展及数据集中管理需求的增长,80年代存储局域网络(SAN)应势而生。90年代则因数据类型的改变,出现了适合非结构化大容量数据的NAS产品。而今云计算时代,存储与服务器分化的趋势再度发生了转变。X86架构计算性能的崛起以及网络带宽的进一步发展,计算及网络资源过剩,一系列机遇下催生了基于X86服务器的SDS软件定义存储。其开放、易扩展、性价比高等特点以及对云架构天生的友好,使这类存储迅速在云计算市场兴起并扩散。存储与服务器再度有了融合的趋势。然而目前为止,国内数据中心的存储大部分依然是传统集中式的SAN存储以及NAS存储,其虽有着成熟、稳定、专业的优势,但由于其封闭、异构、昂贵的特点,已满足不了现今越来越多用户的需求。但我们清楚地知道,其短时间内又不可能被全部替代。 我们已知新兴存储技术爆发性增长、存储与计算融合化已成主流趋势、可存储层面传统需求仍大量遗留,用户数据中心成为了一个存储大杂烩。如何将存储规范化、标准化,并统一起来? 技术快速革新,存储行业如何平衡用户需求与行业发展?传统存储到新型存储是时候转型了,但用户面临的阵痛如何最大限度的避免?基于用户存储面临的现状,我们可以进行一波未来存储发展趋势性分析。目前来看云计算时代下的存储已表现出了3大趋势: 融合化 存储与服务器又将趋于“合”之大势,怎么“合”,“合”成什么样,就是我们需要考虑的问题。首先,存储会与x86服务器融合,我们称为“纵向融合”。纵向融合最具代表性的产品形态就是最近大火的超融合架构。超融合将分布式存储、网络、虚拟化等一切数据中心必备资源装入一台标准的x86服务器中,省去了一系列繁复的设备,数据中心逻辑结构也因超融合的引入而精炼清晰了许多。解决了存储与服务器的问题,还应该解决存储与存储之间的问题,即存储与存储之间的融合化管理、监控、使用,我们称之为“横向融合”。 横向融合的一个典型例子就是IBM早些年推出的SVC产品——存储虚拟化网关。SVC可以通过网络接管不同存储的逻辑卷,这些原本要直接映射给服务器的逻辑卷被SVC统一纳入,形成存储池,然后虚拟化后的逻辑卷再统一分发给服务器。这种方式解决了存储之间的孤井问题,弥补了存储与存储之间的功能差异,但同时也带来一个问题,就是单点故障——所有数据IO都通过SVC单一节点流动,如果SVC发生宕机,则会影响所有接入的存储。所以一般在SVC方案中,双活架构居多,主要就是为了解决数据安全性问题。 标准化 云计算数据中心早已脱离了以设备为核心的运营思路。服务器、网络等资源由于虚拟化技术的发展,使用方式和管理方式有了极大变化,已由面向设备改变为面向业务。用户不再关心底层的设备信息,而是更多的去思考如何业务创新以及创造价值。但数据中心存储层却在这样的趋势下依然处于传统运维模式。前面提到,目前大多用户拥有着很多的传统集中式存储,由于各存储厂商之间技术封锁,其存储设备之间互不兼容,正是这样的存储设备不规范性,导致了不同厂商甚至同一厂商不同型号存储之间的异构化需逐台设备各自管理、监控,这对业务运行产生了极大的不便。用户亟需一个能够使存储像服务器、网络资源一样可以实现智能化调度的技术或标准,从而告别零散的存储现状。而存储的标准化就成为了业务创新的前提,否则在巨大的开发成本和对接成本下,任何存储业务自动化及智能化的尝试都会成为幻想。可惜目前并没有厂商意识到这一点并提出有效的解决方案。 开放化 我们知道,云计算的理念就是以“服务”为核心,最终达到一切IT资源都是服务的效果。而最近IT界又出现了一个时髦词汇——API经济。API经济将“服务”的概念进一步扩大了,不仅是IT资源,甚至产品能力、企业价值也能够以服务的形式向外界输送。API经济作为将来商业模式的发展方向之一已初具苗头。API的开放使各厂商不同平台之间可以进行深度的合作和联动,从而形成了跨厂商甚至跨行业的价值共享。越来越细化的存储领域也有这样的趋势特点,只不过范围缩小到了数据中心内部。API经济是跨厂商甚至跨行业的合作,数据中心内部也需要不同资源层次、不同业务部门之间的合作,我们称之为“存储的开放化”。在这种场景下,存储不再只是服务器后端挂载的附属设备,不是通过一个预先设定的方式,仅仅对外提供数据空间。而是应该成为一种独立的存储服务,能提供多样化的价值。而存储由设备转化为服务这一过程,则需要前端应用的补充与配合。这就要求未来的存储能以更开放的姿态与各类应用对接,至少各类管理API或控制接口是开放的,可以交由用户灵活定义。现代存储技术自出现起到现在,经历了近一个世纪的发展,其发展史就是整个IT应用的发展史。存储的形态也随着不同时代业务模式的变化而不断变化。虽然业界传统存储依然存在着一系列问题,但可喜的是,随着技术的飞速发展,用户也正在以更开放包容的胸怀去接纳新的产品、新的架构。这样就给传统存储的持续创新提供了良好的外部条件。我们也期待着能有更多可以改变规则,甚至创造规则的存储新物种出现。 来源: CIO时代网
  • 2018什么专业受青睐?人工智能、区块链最火;250所高校盯上大数据
    00后加入求职大军 95后求职者人数剧增 每年的三四月份都是一年中求职招聘的黄金时期。据重庆晨报报道,近日,汇博网发布了2018重庆第一季度人才供需分析报告。 报告显示,从求职者的学历方面来看,越来越多的本科、硕士求职者也加入了求职大军。从求职者学历构成来看,第一季度求职者学历水平大幅度提升,本科、硕士涨幅分别约达到14.33%、18.08%,极大地改变了以往大专学历是求职主体的状况。 从求职者年龄层段来看,虽90后求职者依旧为求职主体,但其涨幅不是很明显,涨幅最大的是95后,达到了78.34%,求职人数超4万人。 汇博网人力资源专家李春杰分析,虽然90后依旧是人才市场中的求职主体,但随着求职者人数越来越趋于稳定,竞争指数不再持续上涨,而95后求职者纷纷毕业步入社会,该年龄层段的求职人数持续地不断上涨,逐渐成为了就业市场的新兴力量,导致95后成为了不少岗位竞争指数越来越大的原因之一。 值得一提的是,2018年开始之后,不少00后相继成年,开始加入求职的大军行列。 哪些领域最缺人?你学相关专业吗? 百万年薪“砸”向新经济领域 据《经济参考报》报道,“与人工智能、区块链、大数据相关的技术研发人员,包括算法工程师、高级数据分析员、架构工程师等岗位目前薪酬普遍都在百万左右。”长期研究人力资源市场的瑞元投资咨询公司高级合伙人白睿向记者透露,某区块链公司员工规模为200人,其中60多人薪资达到百万级别。 据腾讯研究院发布的《2017全球人工智能人才白皮书》则显示,人工智能岗位平均招聘薪资远高于一般技术类岗位。此外,几乎50%人工智能岗位的职位描述上会提到为员工提供股票期权。 “机器人工程”专业成热门 10年前,如果说人们已经进入人工智能时代的话,很多人会觉得有些牵强附会;然而,就在过去的几年时间里,人工智能技术带着众多人工智能产品,已经走进了千家万户,人们确实正在进入人工智能时代。 据《 人民日报海外版 》报道,教育部国际合作与交流司司长许涛表示,当前,中国人工智能发展迅猛,中国政府也高度重视人工智能领域的发展。预计到2020年,中国人工智能产业规模将超过1500亿元,带动相关产业规模超过1万亿元,如此快速的增长和发展必然会产生大量的人才需求。 据数据显示,中国人工智能人才缺口已超过500万。 教育部近日公布的2017年度普通高等学校本科专业备案和审批结果显示,最“热门”的专业均与信息技术相关。其中,250所高校新增了“数据科学与大数据技术”专业,60所高校新增了“机器人工程”专业。在新增审批本科专业中,也有18所高校新增了“网络空间安全”专业,16所高校新增了“信息安全”专业。 除了传统的学院教育,中国人工智能人才的培养渠道也日渐丰富。日前,由教育部、创新工场人工智能工程院、北京大学联合主办的人工智能人才国际培养计划,是中国首个高校人工智能人才国际培养计划,其目标是探索实践适合中国高等人工智能人才培养的教学内容和教学方法,培养中国人工智能产业的应用型人才。 许涛透露,教育部将进一步完善中国高校人工智能学科体系,正在研究设立人工智能专业,推动人工智能一级学科建设。据介绍,教育部正在研究制定《高等学校引领人工智能创新行动计划》,通过科教融合、学科交叉,进一步提升高校人工智能科技创新能力和人才培养能力。 最热门:250所高校盯上大数据 (阿里·张北·大数据中心) 数据科学与大数据技术专业,共有250所高校设置,包括中国人民大学、北京师范大学、厦门大学等21所教育部直属高校;河南省共有21所高校新增该专业,在各省份中数量最多,河北、山东、安徽、广东、江苏等省也有较多高校成功获批。 自2013年以来,教育部每年年初都会公布上一年度本科专业备案和审批结果。回溯历史可发现,数据科学与大数据技术是在最近两三年才“蹿红”的,2015年度的审批结果中,北京大学、对外经济贸易大学、中南大学就成为首批获批设立该专业的高校;2016年度,又有32所高校设立该专业;到了2017年度,获批设立这一专业的高校数量达到250所,比上年增加218所。 该专业的急剧升温与国家大力支持大数据行业发展的背景密切相关。早在2015年8月,国务院就发布《关于印发促进大数据发展行动纲要的通知》,鼓励高校设立数据科学和数据工程相关专业,重点培养专业化数据工程师等大数据专业人才。 众多高校也意识到,大数据技术已成为引导社会变革的新兴力量。2016年,北京大学在全国率先开设数据科学与大数据技术专业。2016年5月,人民大学宣布新增3个本科专业,其中之一就是数据科学与大数据技术,该专业的目标是培养既掌握统计分析、计算技术和计算机技术专业知识,又熟悉应用领域的全面型数据科学复合型人才,以满足国家对数据科学人才的迫切需求。 培养大数据相关人才,并非局限于这一个专业。教育部透露,截至2016年9月,我国已开设的与大数据相关的本科专业主要包括数据科学与大数据技术、信息与计算科学、统计学、应用统计学、计算机科学与技术、软件工程、信息管理与信息系统7种,共布点2638个。 在研究生教育方面,西南财经大学等多所高校设置了与大数据相关的二级学科和交叉学科,培养研究生。2014年,中国人民大学等五所大学还宣布联合培养大数据分析硕士。 最看涨:机器人工程开设校增59倍 (2017年柯洁与谷歌AlphaGo围棋大战) 全球瞩目的人机围棋大战,让人类见识了人工智能机器人的厉害。最近几年,“机器人工程”也成为方兴未艾的火爆专业,2016年全国仅东南大学开设这一专业,去年增至24所,今年则增至60所,相当于三年间增加了59倍。开设院校以理工科院校为主,包括北京航空航天大学、北京工业大学、天津理工大学、成都信息工程大学等。值得一提的是,本次江苏省属高校中设置这一专业的院校最多,包括南京信息工程大学、淮阴工学院、南通大学等8所学校。 在人口红利逐渐消失的大背景下,我国试图大力发展智能机器人,以促进装备制造业转型升级。2013年,工信部曾发布《关于推进工业机器人产业发展的指导意见》,其中指出,培育3到5家具有国际竞争力的龙头企业和8到10个配套产业集群,在机器人密度方面,每万名员工使用机器人台数要达到100以上。 国务院2015年8月公布的《中国制造2025》提出,要发展高档数控机床和机器人等十大重点领域。 此前,我国开设机器人相关专业的院校以职业院校为主,学生主要是学习简单的编程、系统软件操作、机器人调试等基本技术,有专家指出,这样的学生并不能满足人工智能领域的需求。而大学里也有机器人相关的专业,但多依托于机械、自动化、精密仪器、电气工程、计算机等专业,并未自成一家。正是在这种背景下,2016年,东南大学成立全国首个机器人工程本科专业,当年招生名额30人左右,放在自动化大类下录取,该专业旨在培养以机器人为核心的自动化生产线、成套设备设计、研发和应用的系统工程师。 不得不提的是,“机器人工程”专业的走红,离不开如火如荼的人工智能行业。2017年7月,国务院发布《新一代人工智能发展规划》,这是我国首部国家层面的人工智能发展规划。规划宣布将举全国之力在2030年抢占人工智能全球制高点,将加快培养聚集人工智能高端人才。 自去年以来,中国科学院大学、中山大学、上海交通大学、南京大学等纷纷成立人工智能相关的学院。去年12月底,清华大学同时推出脑与智能实验室、未来实验室两大实验室,也发力研究人工智能。 互联网行业人才紧缺 区块链火了 BOSS直聘研究院发布的《2018求职旺季人才趋势报告》显示,从2018年求职旺季全行业的人才供需情况来看,矿产地质、房地产开发、广播影视和传统银行业是人才较为饱和的行业,新开放的职位需求均较大比例少于求职者人数。 互联网行业再次成为人才最紧缺行业,其中在线教育、互联网金融和企业服务三个细分领域人才稀缺程度最高。 在最为紧缺的TOP10岗位中,大数据、人工智能、算法类岗位占据半壁江山。 数据显示,各产业间平均薪资水平的分化进一步加剧,排名第一的互联网行业,平均薪酬是排名末尾的食品/饮料行业的1.79倍。 进入2018年,区块链一夜之间成为一大风口。 BOSS直聘研究院数据显示,区块链相关岗位的招聘需求自2017年下半年开始快速增长,2017年11月进入第一个明显爆发点。 2018年前两个月,区块链相关人才的招聘需求已经达到2017年同期的9.7倍。1-2月,发布区块链相关岗位的公司数量同比增长4.6倍。截至2月底,区块链相关岗位占到互联网行业总体岗位量的0.41% ,AI相关岗位占比0.91%。 目前,区块链相关岗位的发布地区分布高度集中,北上杭深占比超8成。 2018年求职旺季,超过600家公司在招纳区块链相关人才。按细分领域划分,属于互联网金融、计算机软件、企业服务三个领域的公司数量最多,三者总占比超过50%。 超过80%的相关职位对求职者的技能要求在3项及以上,技术类人才除了需掌握常用开发语言外(C++,Java,Go),还需要对密码学、共识算法、超级账本、智能合约等有足够了解。 新一线城市发力“抢人” 北京平均招聘薪酬排第一 据《 人民日报海外版 》报道,西安、南京、武汉等20多个城市却接连出台一系列人才引进政策,送房、送钱、送户口,政策力度之大前所未有。 来源:《 人民日报海外版 》 智联招聘发布的《2018年春季中国雇主需求与白领人才供给报告》数据显示,新一线城市就业市场火爆,其中,成都最受求职者追捧,竞争指数位列新一线城市榜首。 但北京仍然是人才吸引的头部区域。 数据显示,2018年第一季度,北京平均招聘薪酬为10197元,排名第一。上海、深圳分别以9621元、9134元位列第二和第三。
  • [上云精品] 上海宽数EDF入驻华为云市场,助力数字化转型
    2018年年3月30日,上海宽数EDF产品正式入驻华为云市场,在华为云市场发布了数据智能产品,能够提供大数据集成、数据治理、数据管理、数据检索、数据敏捷分析等数据智能的能力,帮助企业和用户快速便捷解决构建新一代企业级数据仓库难的问题。这款产品有哪些功能,又如何使用呢?一起来了解一下。一、产品介绍上海宽数倾力打造的企业大数据智能平台EDI (Enterprise Data Intelligence),以建设企业数据PaaS层为切入点, 帮助企业/机构快速构建新一代数据仓库和基于其上的数据产品,帮忙企业在DT时代快速数字化转型,实现数据智能,对接人工智能。EDI平台基于目前业界领先的大数据技术和理念,融合结构化、非结构化数据,实现了统一的数据架构(Unified Data Architecture)。通过部署EDI,快速的让企业/机构拥有大数据处理的能力,帮助用户在单一平台下,实现对海量数据、全类型数据、外部数据的存储归档、搜索访问、计算加工、价值挖掘、安全控制、以及数据资产全生命周期管理。二、产品功能及特点上海宽数的大数据智能平台EDI通过把:现代化的数据基础设施,所有数据之间的关联融合,企业对数据加工、服务的需求,进行统一的封装,构建一个企业大数据集成和管理的PaaS平台,减少用户对于数据技术的直接使用。 数据底层通过丰富的数据适配器,采用配置式的、自由组合的方式,适配各类现代化数据基础设施。通过统一的数据采集配置,统一调用数据基础设施,融合关联所有数据。 数据应用层通过统一的数据API,向数据应用提供透明访问的数据服务,保证数据安全的同时,减少使用数据技术的复杂性。 数据PaaS层剥离数据源和数据应用的复杂性,构建强大的数据管理中台,提供数据管理的各种工具。在数据管理中台,实现一体化的数据架构,在统一管理界面下,实现对海量异构数据的数据治理、存储归档、信息组织、搜索访问、安全控制、分析可视化、以及数据挖掘等。EDI平台在架构体系层面具有一下一些特点及优势。 高可扩展设计基于PC服务器的简单快速部署的,无需购买昂贵的传统数据仓库软件和硬件。分布式计算和存储架构,增加服务器即可获得系统性能的线性增长。 高可适应设计适用小数据量到海量大数据项目,部署可以从3台物理机开始到超大集群,项目启动快。可以根据用户的数据量级和不同的数据类型,选择适合的基础设施,如:海量价值密度低的RFID数据可以选择Hadoop作为数据仓库,而高价值密度的业务数据可以选择GreenPlum作为数据仓库等。 统一数据架构UDA融合了结构化和非结构化数据的管理,实现了统一数据架构UDA(Unified DataArchitecture),结构化数据和非结构化数据在一个统一的数据模型-数据对象(Dataobject)下管理。数据高可用性和丰富API实现全数据的全文检索,同时支持基于SQL的数据查询分析。提供丰富的数据服务API,包括元数据服务,数据搜索服务,数据聚合服务,数据任务调度等。外部数据应用要使用和共享数据,可以调用已经注册的API服务。 统一元数据管理和全面数据治理提供统一的元数据管理工具,全面管理数据各类信息,包括类型,位置和访问信息,数据格式,数据血缘等。提供全面数据治理功能,实现数据的标准化,编码的标准化和映射,数据质量检查等。 统一数据加工框架提供了一个统一的数据加工的框架,实现了任务调度,任务执行,运行结果显示等。目前支持以下任务: 数据批处理任务,指标计算,标签计算,关系发现,音视频文件语音识别等。 数据安全支持灵活的用户权限管理配置,通过用户、组、角色进行多方位的用户权限管理。提供统一的数据安全模型,对所有数据的访问提供灵活定义的访问控制。记录所有关于数据访问的安全审计信息,以满足未来数据安全审计的要求。三、产品应用于哪些行业EDI平台应用于各行各业进行数字化转型,包括公安、政府、教育、制造、电商等。可应用的邻域包括: 大数据管理平台 大数据采集工具 大数据处理工具 大数据分析建模 大数据业务咨询 政务网应用 业务基础及应用开发 人工智能应用开发四、产品能够解决什么问题EDI平台帮助企业在DT时代迅速拥有数据能力,快速实现数字化转型: 海量业务数据分析:更快的SQL查询、数据批处理 和 BI 报表 全类型数据全文检索:类似“企业百度”,快速搜索企业全量,全类型数据 全面数据治理: 元数据管理,数据标准,数据质量,数据资产清单等 统一数据加工:数据清洗,指标/标签计算,关系发现,音视频文件/文本分析等 数据挖掘:预测,分类,关联分析,深度学习,挖掘数据价值等 数据API:给业务系统,BI系统,AI系统提供API服务,实现企业内数据共享 数据产品: 基于平台快速构建新的数据产品,如360度数据画像(客户,员工,设备等),推荐系统
  • [下午茶时光] 【Day 47--2018/4/2】主存储优化仍将克服的一系列挑战
    13527 【下午茶时光——云存储知识点陪你喝咖啡】 主存储优化仍将克服的一系列挑战 如今,企业积极采用不同的产品、技术和工具来优化主存储,以克服数据存储的挑战,并提高网络存储部署的效率。 用于存储应用程序和活跃数据的主存储是数据中心的重要设备,并成为了日常业务流程。然而,企业在维护其联网的主存储部署时面临许多挑战。 根据行业媒体TechTarget Research的调查,在受访者中,有29%的人认为缺乏足够的容量是主存储所面临的主要挑战。18%的人认为是业绩不佳,16%的人认为是持续管理困难或耗时。15%的人认为是配置和管理,15%的人认为是带宽约束,14%的人认为是可扩展性,以及13%的人认为是系统延迟,有太多的孤立存储系统需要管理,这些都是主存储需要克服的问题。 如果企业还没有解决这些主存储所面临的挑战,那么很可能最终不堪重负。值得庆幸的是,还有很多提高数据存储效率的方法。 在这些方法中,固态存储位居榜首,有35%的受访者认为它是主存储优化的一种主要 方法。其次是自动存储分层(30%),随后是重复数据删除和压缩(28%),精简配置(26%),存储虚拟化(24%),数据归档和云存储(均为21%),存储资源管理软件(12%),以及自动配置软件(8%)。 13529 主存储的采购情况 在接受调查的人当中,78%的人表示已经为主存储采购了存储区域网络(SAN),22%的人拥有网络附属存储(NAS)系统。同时,有41%的人计划在未来一年内购买更多的网络存储。其中,59%的人将使用SAN(块存储)和28%NAS(文件存储)。另有37%的受访者表示他们希望购买统一存储阵列。 统一存储阵列很具吸引力,因为它们可以存储用于在同一设备上运行和管理块、文件或两种协议的应用程序和数据。多协议存储阵列可以通过提供一个管理系统来降低资本支出,并简化管理。然而,如果企业只需要其中的一个,那么其支付文件和块存储的费用就可能太昂贵。 在支持存储阵列的受访者中,有近四分之三(73%)的人表示希望增加存储容量,32%的人希望是性能提升。 接下来是某些应用程序和数据的性能改进(28%),更好的数据管理、迁移、分层和效率(26%),已安装存储的利用率更高(22%),重新构建存储基础设施以扩展数据中心的虚拟化(19%),整合存储空间(17%),以及降低对专业SAN管理技能的依赖(15%)。 13530 13531 与当前的存储部署一样,组织计划部署主存储优化技术以及即将到来的主存储采购措施,但存在一些显著差异。虽然固态存储仍处于领先地位,但受访者认为即将到来的存储购买量(43%)高于当前部署,这反映了闪存作为企业主存储器得以巩固。虽然自动存储分层产品为31%,但数据削减则上升12个百分点,上升至40%。随后是存储虚拟化(28%),数据归档(25%),云存储集成(23%),以及精简配置(21%),而存储资源管理软件(16%)和自动配置(13%)名列其后。 主存储优化的采购情况 作为即将到来的主要存储优化采购的一部分,企业正在考虑采用几种较新的存储技术。其中,34%的人表示是基于对象的存储,33%的人表示是云存储,27%的人表示是软件定义存储,12%的人表示是可以整合云存储资源的网关设备。只有3%的受访者表示他们不会考虑采用任何新兴的存储技术,另有29%的受访者表示他们会采购,但没有具体说明哪些存储技术。 评估主存储供应商的主要因素是价格(74%)和性能(68%)。其次是特性和功能(35%)和可扩展性(33%)。市场领先地位和技术支持与服务分别为27%,与其他技术的集成(17%),供应商已经提供的其他技术(7%),供应商的财务稳定性(5%)等。 三分之一的受访者将通过经销商为其最新项目购买主存储优化技术,另有11%的受访者表示他们将直接通过制造商购买。四分之一的受访者表示将同时从经销商和制造商购买主存储的技术和服务,还有32%的受访者还没有确定。 作者:James Alan Miller 来源:企业网D1Net
总条数:1461 到第 页
上滑加载中