• [技术干货] 分享GaussDB(DWS)海量数据分析
    云社区 博客 博客详情【云小课】EI第9课 车海茫茫中寻找你--GaussDB(DWS)海量数据分析 Hi,EI 发表于 2020-08-25 11:56:20 1061  1  3数据库数据仓库服务 GaussDB(DWS)云小课EI企业智能【摘要】 数据仓库服务GaussDB(DWS)使用OBS作为集群数据与外部数据互相转化的平台,支持用户将数据从集群外导入到集群中,快速将样例数据从OBS导入集群。 本示例将加载8.9亿条交通卡口车辆通行模拟数据到数据仓库单个数据库表中,并进行车辆精确查询和车辆模糊查询,展示GaussDB(DWS)对于历史详单数据的高性能查询能力。准备工作已注册华为云账号,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。已下载客户端并连接到集群。已预先将样例数据上传到OBS桶的“traffic-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。导入交通卡口样例数据使用SQL客户端工具连接到集群后,就可以在SQL客户端工具中,执行以下步骤导入交通卡口车辆通行的样例数据并执行查询。执行以下语句,创建traffic数据库。create database traffic encoding 'utf8' template template0;执行以下步骤切换为连接新建的数据库。在Data Studio客户端的“对象浏览器”窗口,右键单击数据库连接名称,在弹出菜单中单击“刷新”,刷新后就可以看到新建的数据库。右键单击“traffic”数据库名称,在弹出菜单中单击“打开连接”。右键单击“traffic”数据库名称,在弹出菜单中单击“打开新的终端”,即可打开连接到指定数据库的SQL命令窗口,后面的步骤,请全部在该命令窗口中执行。执行以下语句,创建用于存储卡口车辆信息的数据库表。create schema traffic_data;set current_schema= traffic_data;drop table if exists GCJL;CREATE TABLE GCJL( kkbh VARCHAR(20), hphm VARCHAR(20), gcsj DATE , cplx VARCHAR(8), cllx VARCHAR(8), csys VARCHAR(8))with (orientation = column, COMPRESSION=MIDDLE)distribute by hash(hphm);创建外表。外表用于识别和关联OBS上的源数据。<Access_Key_Id>和<Secret_Access_Key>替换为实际值,在创建访问密钥(AK和SK)中获取。create schema tpchobs;set current_schema = 'tpchobs';drop FOREIGN table if exists GCJL_OBS;CREATE FOREIGN TABLE GCJL_OBS( like traffic_data.GCJL)SERVER gsmpp_serverOPTIONS ( encoding 'utf8', location 'obs://dws-demo-cn-north-4/traffic-data/gcxx', format 'text', delimiter ',', access_key '<Access_Key_Id>', secret_access_key '<Secret_Access_Key>', chunksize '64', IGNORE_EXTRA_DATA 'on');执行以下语句,将数据从外表导入到数据库表中。insert into traffic_data.GCJL select * from tpchobs.GCJL_OBS;导入数据需要一些时间,请耐心等待。车辆分析执行Analyze用于收集与数据库中普通表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。执行以下语句生成表统计信息:Analyze;查询数据表中的数据量执行如下语句,可以查看已加载的数据条数。set current_schema= traffic_data;Select count(*) from traffic_data.gcjl;车辆精确查询执行以下语句,指定车牌号码和时间段查询车辆轨迹。GaussDB(DWS) 在应对点查时秒级响应。set current_schema= traffic_data;select hphm, kkbh, gcsjfrom traffic_data.gcjlwhere hphm = '粤D12345'and gcsj between '2016-01-06' and '2016-01-07'order by gcsj desc;车辆模糊查询执行以下语句,指定车牌号码和时间段查询车辆轨迹,GaussDB(DWS) 在应对模糊查询时秒级响应。set current_schema= traffic_data;select hphm, kkbh, gcsjfrom traffic_data.gcjlwhere hphm like '%A23F%'and kkbh in('508', '1125', '2120')and gcsj between '2016-01-01' and '2016-01-07'order by hphm,gcsj desc;转自https://bbs.huaweicloud.com/blogs/195410
  • [行业资讯] 商业智能
    商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能的概念在1996年最早由加特纳集团(Gartner Group)提出,加特纳集团将商业智能定义为:商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。
  • [热门活动] 重磅来袭 | 7天大数据分析实战训练营
    ​随着互联网行业的快速发展,大数据被认为将是IT产业中最热门、最具发展性的领域。无论是金融、制造、零售业还是科技公司都拥有了大量的数据,且呈几何级增长,尤其是对于电子商务企业来说,更大的潜在机会隐藏于其中,这些数据中包含了客户的兴趣爱好、消费习惯等,通过一定的技术手段可以对海量数据进行提取、分析和挖掘,让企业更加了解客户诉求,并为其提供个性化的商品和服务。与大数据相关的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,要想大数据被更好地认识和使用,从中提炼有价值的情报作为企业的数据资产,就需要进行大数据分析。因此大数据分析已经成为各行各业人员必备的技能之一。 华为云DLI,100%兼容开源生态的Serverless多模计算服务,会SQL就会大数据分析。数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。如游戏运营数据分析、车辆日常指标数据的采集和分析,电商实时业务数据分析等场景。数据湖治理中心DGC,一站式开发运营平台数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台,30+异构数据源、全拖拽开发、多维实时搜索、0代码API开发,开发效率3倍提升,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。  想学大数据分析?  快来参与华为云大数据分析7天训练活动时间:招募期  7月15日—7月28日训练期   7月29日—8月6日毕业期   8月7日—8月13日面向对象:大数据工程师、分析师、学生,以及对大数据分析感兴趣的朋友。本次训练营课程全程分为7个阶段,华为云大数据产品专家亲授,电商行业场景实战演练,带来沉浸式学习体验。参加训练营你将收获什么?1、0元领取大数据产品1个月套餐包,立省千元我们为您提供免费的套餐包以及课程代金券,用于满足实践诉求。2、丰厚的礼品,奖励爱学习的你对于能够坚持打卡学习的用户,我们提供了华为手环4e、无线鼠标、酷睿冰尊笔记本散热器等礼品。3、项目实践+产品专家亲授,带来沉浸式学习体验课程实践基于真实业务场景,课程学习不再停留于理论知识;大数据产品专家群内指导,问题答疑。心动不如行动,0基础也能轻松入门7天大数据分析实战训练营我们在训练营等你!
  • [其他] 数据挖掘对象
    数据的类型可以是结构化的、半结构化的,甚至是异构型的。发现知识的方法可以是数学的、非数学的,也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。数据挖掘的对象可以是任何类型的数据源。可以是关系数据库,此类包含结构化数据的数据源;也可以是数据仓库、文本、多媒体数据、空间数据、时序数据、Web数据,此类包含半结构化数据甚至异构性数据的数据源。发现知识的方法可以是数字的、非数字的,也可以是归纳的。最终被发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。
  • [其他] 数据挖掘
    数据挖掘(Data mining)是一个跨学科的计算机科学分支。数据挖掘有以下这些不同的定义:“从数据中提取出隐含的过去未知的有价值的潜在信息”  ,“一门从大量数据或者数据库中提取有用信息的科学”。数据挖掘运行是使用数据挖掘的设置对数据挖掘模型的计算。数据挖掘标准依据数据挖掘技术可 处理运行的过程,提出并规范了通常所用的四个计 算阶段:(1)训练阶段(training phase): 这是所有数据挖掘技术公用的,用于计算数据挖掘模型的阶段。该 阶段在建立模型前需要准备数据并做预处理。在预 处理时要定义识别字段分配给有关的信息,如挖掘 类型和特定的控制字段。在分类和回归技术中用的 训练阶段还要有一个确认处理,称确认阶段,作为 数据挖掘分类和回归技术训练阶段的一部分。它给数据挖掘模型输入另外的数值组,可作为测试阶段 的描述,其结果作为实例以决定运算法则结束时间。(2)模型自查阶段(model introspection phase): 也是所有数据挖掘技术普遍使用,用以解释和评估 模型。将模型与目标一起细查,揭示训练阶段中数 据的相关性,以期达到两个目的: ①找出数据中潜 在的规律,有助于进一步解释模型; ②找出有统计 价值的特性,有助于评估模型的质量。(3)测试阶段(testing phase): 只用于分类和回 归。测试时为模型的对象字段读入系列数值组,在 应用中评估每个数值组,将预测数值和对象字段里 的实际数值做比较,其结果可为使用者或应用提供 实例,以此决定模型以质量为基础能否应用于实际。(4)应用阶段(application phase): 模型应用期间 输入数据组用来评估模型,或用较多的数据组来计 算模型。为了能正确地使用模型的输入值,必须将 其分配到训练阶段确认的相关字段中。一个预定课 题的模型应用,产生一个表可以控制相关的其他课 题。模型由一个或多个规则的特定输入而得出推论, 推论结果可与附加特性一并提交。特定情况下,推 论是对模型可信度的支持。这几个阶段不是一次完成的,数据挖掘运行当 包括训练阶段时调用训练阶段运行,当包括测试阶 段时调用测试阶段运行。其中某些阶段要反复多次, 各项功能也不是独立实现的,有时要几种方法互相 联系才能发挥作用。
  • [其他] 数据科学家具有哪些不同类型
    最近,数据科学家 Ajit Jaokar 则又讨论了 A 型数据科学家(分析师)和 B 型数据科学家(建造者)之间的区别:A 型数据科学家能够很好地编写操作数据的代码,但并不一定是一个专家。A 型数据科学家可能是一个实验设计、预测、建模、统计推理或统计学方面的事情的专家。然而总体而言,一个数据科学家的工作产品并不是「P 值和置信区间」——就像学术界的统计学有时候建议的那样(而且这常常是为传统的制药等等行业工作的)。在谷歌,A 型数据科学家被称为统计学家、定量分析师、决策支持工程开发分析师,也有一些被称为数据科学家。B 型数据科学家:这里的 B 是指 Building。B 型数据科学家和 A 型数据科学家具有相同的背景,但他们还是很强的程序员、甚至经验丰富的软件工程师。B 型数据科学家主要关注在生产环境中使用数据。他们构建能与用户进行交互的模型,通常是提供推荐(产品、可能认识的人、广告、电影、搜索结果等)。而对于业务处理优化,我也有自己的看法,我将其分成了 ABCD 四个方向,其中 A 表示分析科学(analytics science),B 表示业务科学(business science),C 表示计算机科学(computer science),D 则表示数据科学(data science)。数据科学可能会涉及到编程或数学实践,但也可能不会涉及到。你可以参考 http://suo.im/11bR7o 这篇文章了解高端和低端的数据科学的差异。在一家创业公司,数据科学家通常要做很多类型的工作,其扮演的工作角色可能包括:执行、数据挖掘师、数据工程师或架构师、研究员、统计学家、建模师(做预测建模等等)和开发人员。虽然数据科学家常常被看作是经验丰富的 R、Python、SQL、Hadoop 程序员,而且精通统计学,但这不只不过是冰山一角而已——人们对于数据科学家的这些看法不过是来自于重在教授数据科学的部分元素的数据培训项目而已。但正如一位实验室技术人员也可以称自己为物理学家一样,真正的物理学家远不止于此,而且他们的专业领域也是非常多样化的:天文学、数学物理、核物理、力学、电气工程、信号处理(这也是数据科学的一个领域)等等许多。数据科学也是一样,包含的领域有:生物信息学、信息技术、模拟和量化控制、计算金融、流行病学、工业工程、甚至数论。对我而言,在过去的十年里,我专注于机器到机器和设备到设备的通信、开发能自动处理大型数据集的系统、执行自动化交易(比如购买网络流量或自动生成内容)。这意味着需要开发能够处理非结构化数据的算法,这也是人工智能、物联网和数据科学的交叉领域,也可被称为深度数据科学(deep data science)。其对数学的需求相对较少,也只涉及到较少的编程(大部分是调用 API),但其却是相当数据密集型的(包括构建数据系统),并且基于专门为此背景而设计的全新统计技术。在此之前,我的工作是实时的信用卡欺诈检测。在我事业的早期阶段(大约 1990 年),我开发过图像远程感知技术,其中包括识别卫星图像的模式(形状和特征,比如湖泊)和执行图像分割:那段时间我的研究工作被称为是计算统计学,但在我的母校,隔壁的计算机科学系也在做着几乎完全一样的事情,但他们把自己的工作叫做是人工智能。今天,这项工作被称作数据科学或人工智能,其子领域包括信号处理、用于物联网的计算机视觉等。另外,数据科学家也可以在各种各样的数据科学项目中出现,比如数据收集阶段或数据探索阶段一直到统计建模和已有系统维护。
  • [其他] 数据科学、机器学习、人工智能,都有哪些区别?
    数据科学产生见解数据科学和其它两个领域有所区别,是因为它的目标是基于人类:能够获得洞察力和理解。Jeff Leek对数据科学可以实现的洞察类型有很好的定义,包括:描述性(“普通客户有70%的更新机会”),探索性(“不同的销售人员有不同的更新率”)和因果关系(“一个随机实验表明分配给Alice的客户比分配给Bob的客户更有可能更新)。不是所有产生洞察力的科学都是数据科学(数据科学的经典定义是统计学、软件工程和领域专业知识的组合)。 但是我们可以用这个定义来区分ML和AI。 主要区别在于,数据科学中总有人工介入:有人正在理解、洞察,看到数字,或者从结论中受益。 “我们的象棋游戏算法使用数据科学来决定下一步棋”或者“Google地图使用数据科学来推荐驾驶方向”是毫无意义的。数据科学的定义因此强调:统计推断数据可视化实验设计领域知识交流数据科学家可能会使用简单的工具:他们可以报告百分比并根据SQL查询制作线图;也可以使用非常复杂的方法:他们可能会使用分布式数据存储来分析数万亿条记录,开发尖端的统计技术并构建交互式可视化。 无论他们使用什么,目标都是为了更好地理解他们的数据。机器学习做出预测我认为机器学习是关于预测的领域:“给定具有特定特征的实例X,预测Y”。 这些预测可能是关于未来的(“预测这个病人是否会得败血症”),但它们也可能是对于计算机不明显的特性(“预测这个图像是否有鸟)”。 几乎所有的Kaggle比赛都可以被认定为机器学习问题:他们提供一些训练数据,然后查看参赛者是否可以对新例子做出准确的预测。数据科学和机器学习之间有很多重叠。 例如,逻辑回归可以用来获取关于关系的见解(“用户越富有,他们购买我们产品的可能性越大,所以我们应该改变我们的营销策略”)并做出预测(“这个用户有53 %购买我们产品的可能性,所以我们应该向他推荐我们的产品“)。像随机森林这样的模型可解释性稍差,而且更适合“机器学习”的描述,深度学习等方法是众所周知的难解释。 如果你的目标是获得见解而不是做出预测,这可能会阻碍你。 因此,我们可以想象一个数据科学和机器学习的“谱”,其中可解释模型倾向于数据科学,更多“黑盒子”模型则倾向于机器学习这一边[source](https://xkcd.com/1838/)大多数从业者可以在这两个任务之间非常舒适地来回切换。我在工作中同时使用到机器学习和数据科学:我可以通过机器学习的方法,在Stack Overflow的业务资料上匹配一个模型来判定哪些用户更有可能是在寻找一份工作,然后用数据科学来构筑结论和可视化结果来验证为什么这个模型有效。这是非常重要的方法来发现你模型中的缺点以及解决算法偏见。这也是数据科学经常将机器学习发展为一个产品的原因。人工智能创造行为人工智能是目前为止这三个类中最古老和最广为承认的,但结果也是最具挑战性来定义的。由于寻求资金和关注的学者、记者和创业者,人工智能也得到了大肆宣传。因为这也意味着一些本应该被称为人工智能的工作却并不是按照这样进行描述的,这也引起了我的强烈反对。一些学者也在抱怨人工智能的作用:“人工智能是我们现在还无法做到的”。所以什么工作可以让我们合理地描述人工智能?一个定义“人工智能”的通用思路是一种自发代理行为执行或者推荐行为行为 (e.g. Poole, Mackworth and Goebel 1998, Russell and Norvig 2003)。我认为也属于人工智能的系统包括:人机博弈算法 (Deep Blue, AlphaGo)机器人学和控制理论 (运动规划, 两足机器人的步行行为)优化选择 (谷歌地图路径选择)自然语言处理 (机器人2)强化学习此外,人工智能与其他领域也有很多交叠。深度学习因为横跨机器学习和人工智能两个领域,所以特别有趣。典型应用例子就是训练数据然后作出预测,这已经在人人机博弈算法中表现出巨大的成功,比如Alphago(与更早之前的人机博弈系统,如深蓝相比,Alphago更聚焦于探索和优化未知的解决方案空间)。但这之间也有区别。如果我分析一些销售数据,会发现来自特定行业的客户比其他更多 (提取出一些调查结果), 输出结果是一些数字和图表,不是特定行为。(管理者可能会根据这些结论改变销售策略,但这个行为不是自发性的) 这意味着我会将我的工作描述为数据科学: 如果将提高销售额的方法归结于人工智能将会是很尴尬的说法。请不要将经受过算法训练的人都写作具有人工智能能力的人 ——Dave Gershgorn ✔@davegershgorn 3:17 AM - Sep 19, 2017人工智能与机器学习的差异更加微妙,从发展历史来说,机器学习通常被认为人工智能的一个子领域 (计算机视觉尤其是一个经典人工智能问题)。但我认为机器学习领域已经与人工智能有较大割离,一定程度上是由于上面所提及的冲击:大多数研究预测问题的人都不喜欢把自己描述成人工智能研究人员。 (很多重要的机器学习所取得的突破来自于数据分析,而这些数据在AI领域的其他领域很少出现。) 这意味着,如果你能把一个问题描述为“从Y中预测X”,我建议你完全避免使用“人工智能”这个词。案例研究:怎样将这三者一起使用假设我们正在开发一辆自动驾驶汽车,并且正在研究将车停靠在停车标志处的特定问题。我们需要从这三个领域中获得的技能。机器学习: 汽车必须使用它的摄像头识别停车标志。我们构造一个包含数百万街边对象的照片数据集,然后训练一个算法来判断那些照片中有停车标注。人工智能:一旦我们的汽车识别出停车标志,它就需要决定什么时候采取刹车动作。太早或太晚应用它们是危险的,我们需要它来处理不同的路况 (例如,需要识别一条光滑道路,并不足以较快地将速度降下来识到它的速度不够快), 这就是控制理论范畴。数学科学:在街头测试中我们发现车的性能并不是足够好,通过停车标志来驱动停车还是会有一些疏漏。在分析街边测试数据后,我们再次洞察到漏判率与每天的时间有关:在日出之前或日落之后更容易出现漏判 停车标志。我们意识到我们大多数训练数据仅都是大白天下的停车标志,所以我们构建了一个更好的数据集,包括夜间图片然后在返回去进行机器学习步骤。通常将人工智能与能够在不同的领域执行任务的通用人工智能或者超过人类智力的超人工智能混为一谈并没有任何帮助。这对任何被描述为“人工智能”的系统都有不切实际的期望。此处我提及到“机器人”是指用于解释自然语言并以同样方式回复的系统。这可以与用于提取数据的文本挖掘和用于分类文档的文本分类相区分。
  • [其他] 机器学习的应用
    机器学习应用广泛,无论是在军事领域还是民用领域,都有机器学习算法施展的机会,主要包括以下几个方面。 数据分析与挖掘“数据挖掘”和"数据分析”通常被相提并论,并在许多场合被认为是可以相互替代的术语。关于数据挖掘,已有多种文字不同但含义接近的定义,例如“识别出巨量数据中有效的.新颖的、潜在有用的最终可理解的模式的非平凡过程”,无论是数据分析还是数据挖掘,都是帮助人们收集、分析数据,使之成为信息,并做出判断,因此可以将这两项合称为数据分析与挖掘。数据分析与挖掘技术是机器学习算法和数据存取技术的结合,利用机器学习提供的统计分析、知识发现等手段分析海量数据,同时利用数据存取机制实现数据的高效读写。机器学习在数据分析与挖掘领域中拥有无可取代的地位,2012年Hadoop进军机器学习领域就是一个很好的例子。模式识别模式识别起源于工程领域,而机器学习起源于计算机科学,这两个不同学科的结合带来了模式识别领域的调整和发展。模式识别研究主要集中在两个方面。 (1)研究生物体(包括人)是如何感知对象的,属于认识科学的范畴。 (2)在给定的任务下,如何用计算机实现模式识别的理论和方法,这些是机器学习的长项,也是机器学习研究的内容之一。 模式识别的应用领域广泛,包括计算机视觉、医学图像分析、光学文字识别、自然语言处理、语音识别、手写识别、生物特征识别、文件分类、搜索引擎等,而这些领域也正是机器学习大展身手的舞台,因此模式识别与机器学习的关系越来越密切。 
  • [技术干货] 大数据有哪些作用
    大数据根基于互联网,数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者,或者都会有个共同的感触:大数据对人们的生活能够起到极大作用。  大数据的作用有哪些?  一、对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量,需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。  二、大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。  三、大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变“数据驱动”。对大数据分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域,可提高诊断准确性和药物有效性;在公共事业领域,大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。  四、大数据时代科学研究的方法手段将发生重大改变。例如,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。  大数据有哪些作用.中琛魔方大数据平台表示大数据时代已经到来,这是一个时代的变化。只有抓住机遇,建立数据平台并将其应用于企业行业,我们才不会被这个时代所淘汰。随着时代的更迭,演变出更适合发展的模式。
  • [其他] 机器学习和数据挖掘
    机器学习和数据挖掘通常使用相同的方法,有很大的重叠度,但是机器学习侧重于预测,基于从训练数据中学习到已知的属性,而数据挖掘技术专注于发现(以前)未知的数据中的属性(这是数据库中知识发现的分析步骤)。数据挖掘使用许多机器学习方法,但目标不同;另一方面,机器学习也使用数据挖掘方法作为“无监督学习”或作为提高学习者准确性的预处理步骤。这两个研究社区之间的许多混淆(它们通常有独立的会议和独立的期刊,ECML PKDD是一个很大的例外)来自它们使用的基本假设:在机器学习中,性能通常是根据重现已知的知识来评估的,而在知识发现和数据挖掘(KDD)中,关键任务是发现以前未知的知识。就已知知识而言,其他监督方法很容易优于非信息(非监督)方法,而在典型的KDD任务中,由于训练数据不可用,不能使用监督方法。 
  • [其他] AI和数据挖掘用于测量空气动力学流量
    空气动力学当前面临的挑战之一是改进用于表征和控制湍流行为(例如,发生在飞机机翼周围的流体运动)的技术。马德里卡洛斯三世大学(UC3M)研究人员希望使用高采样频率点探针提供的数据来及时补充动态的3D 描述;并开发基于人工智能的算法来提高粒子图像测速技术的准确性。使用粒子图像测速技术的风洞实验。论文链接:https://www.sciencedirect.com/science/article/abs/pii/S0894177720306828相关报道: https://phys.org/news/2021-06-artificial-intelligence-aerodynamic.html转发自https://www.jiqizhixin.com/
  • [技术干货] 物联网云平台在数据挖掘技术方面有哪些应用?
     物联网是现代科学技术发展的产物,它的出现给信息产业注入了新鲜的血液,为计算机信息技术的发展带来了崭新的局面。物联网目前已被人类广泛认可和使用,它正悄悄的带来了一场技术的科技的发展新潮。 物联网在现实生活中已经被普遍运用,其涉及的领域包括:智能交通、智能消防、政府工作、公共安全、环境保护、环境监测、景观照明管控、老人护理、花卉栽培、敌情侦查、食品监察等几十个领域。它已经融入了人类生活的各个领域,成为了人类生活中必不可少的一部分。  一、云平台和物联网的相关概念   云平台是提供基于“云”的服务,它是开发者创建应用时常采用的软件平台,云平台的直接用户是数据库的开发者和信息科技开发员,不是最终的数据使用者。它是信息技术应用开发者们运行编写好的程序的一个应用平台。   物联网就是物物相连的互联网技术,是一种新的信息技术的组成。它主要包含两种意思:第一,是物联网是在互联网基础运用上的延伸和扩展,它仍然是以互联网为核心,是在互联网的基础上发展起来的。第二,其的延伸和扩展使信息精确到了物品与物品之间,实现了信息的通信,完成了信息的交换。 传统的数据挖掘技术已经不能满足日益发展的物联网,它需要有一种更先进的技术来实现对物联网海量的数据挖掘,这时基于云计算的云平台出现了。云平台可以促进互联网和物联网的智能融合,是实现物联网的核心,它是实现智慧地球的必要信息技术之一,是一种支持应用的新方式,并且慢慢朝着主流的方向发展。 二、基于云平台的物联网数据挖掘技术的分析  基于云平台的物联网数据挖掘技术的模式分为五个层次:1.物联网数据接入层 物联网接入层起到了实现数据的采集与关键数据的提取,并且将关键数据传输到数据库的作用。数据库的接入层包括了GPS 传感终端、视频传感终端、RFID 传感终端、无线传感器等传感终端。它通过这些传感终端监控实现实对象,采集监控对象的状态和相关数据将它发送到相应的云计算节点。云平台对数据进行处理,提取关键的数据并传输到数据库。 2.物联网数据集成层 数据库中的数据是根据不同的主题来组织的,存储的数据面对多数据源,可以从历史的观点来提供信息,经过转换后的数据集成层为数据的挖掘提供了数据环境。 3.数据挖掘平台层 它是物联网数据挖掘模式中的核心结构,它提供给数据挖掘阶段所需的各个模块。它实现各种任务过程中算法的并行化,将用户需要的结果挖掘出来并返给业务控制层,完成对数据的挖掘。  4.业务控制层 这一个层次是通过业务逻辑实现对各种业务流程的控制。物联网根据用户提交不同的业务请求,来控制数据挖掘层的多个模式来完成数据挖掘任务,最后将挖掘结果反馈给交互层。  5.交互层 这是物联网数据挖掘的最后一步,是提供用户与系统的数据接口。用户可以登录系统,查看保存各种数据输出的结果。  6.基于云平台的物联网数据挖掘技术的应用 基于云平台的物联网数据挖掘就是从一个海量的、不完整的、随机的实际应用数据中,挖掘出其中潜在的有用信息和知识,根据有用信息和知识来制定出符合实际的各种计划制定。  目前基于云平台的物联网数据挖掘技术在人类的日常生活中已经得到了普遍应用,它最主要应用在以下几个方面:  1.企业运行:现代社会科技日新月异,企业要想在竞争激烈的市场环境中求生存发展,就需要不断的创新技术,采用最先进的信息管理模式。基于云平台的物联网数据挖掘技术可以从海量复杂的数据中提取出有效的信息和知识,提高了企业的工作效率。  2.政府工作:政府工作需要随时掌控当局的各种正确的信息,通过对数据的分析制定出更合适的计划于目标,从数据中分析问题,解决完善问题,改善民生问题。基于云平台的数据挖掘技术能够更快更准的挖掘出所需的信息,找出社会发展中存在的问题。  3.食品监测:食品的安全问题是为了保证人类的健康和生命不受到威胁,对于食品的监测,是保证其安全的一个重要措施。在检验食品安全时,我们需要从大量的数据信息中提取出最主要、最有用的信息来判断分析,基于云平台的物联网挖掘技术可以从中发现隐藏的有用信息,分析问题,通过对食品的监测,将有问题的食品全部筛选出来,提高工作效率,增加了食品的安全。   当然,基于云平台的物联网数据挖掘技术的应用在人们的生活中是非常普遍的,不只是以上三个方面的应用,还有更多的领域在本文中没有提及到。随着物联网的挖掘技术越来越成熟,它将会涉及到人类生活的各个领域,将给人类的生活更科技、更符合时代的发展。  三、结语    随着物联网技术的发展,基于云平台的物联网数据挖掘技术的应用,不仅可以降低数据传输的时间,提高了数据挖掘的效率,还避免了数据存储时节点失效的现象,它的应用给物联网的使用带来了更多的方便的,使物联网的应用更加成熟。物联网的使用将会在日常生活中的各个领域出现,给人类的生活带来更多的便利。  
  • [技术干货] 华为云 IoT 物联网数据分析能力详解
    1如何做好 IoT 数据分析?物联网数据主要是指传感器和设备发过来的数据。这些数据一部分是对现实环境参数的采集值,一部分是设备的一些常规信息值,比如:状态、故障信息、错误代码、运行情况等。物联网数据在任何情况下都会产生数据,无需人为参与就会不断涌现出新的数据,其数据量远远大于传统业务系统的业务数据。这就使得企业经常面临高成本的数据存储、数据处理环节低效、低质量的数据等问题,那么该如何对这些大量的、源源不断的 IoT 数据做好分析呢?华为云提出了四点解决方案:构建资产模型是充分“理解”物联网数据、构建数字孪生的基础数字孪生,是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。简单来说,数字孪生就是对物理世界进行数字化的实时映射。那么如何打通物理世界与数字世界的关联,如何更好地理解设备从而快捷高效地分析数据,成为物联网企业急需的基础业务。张少伟认为,构建资产模型是充分“理解”物联网数据的基础,现实世界的设备不是离散的,而是具有空间、组织、人等复杂关系与上下文存在的。以智能楼宇的行业开发为例,在实际应用开发中,由于每个楼宇、楼层的设备为离散的物理设备,如果需要按照楼宇、楼层等为单位进行统计并监控设备,就需要对楼宇、设备之间的关系进行标注关联。于是可以将 IoT 数据放置于一个上下文关系中理解,将数据以下图所示的层次结构管理再去做数据分析。这样之前 ID 为 XXX 的温度传感器读数多少,在建模后可以直接用“302 房间的温度多少?”来表达。物联网数据处理的关键是对时序数据的处理物联网数据具备显著的时序特征:按照时间维度上报、存储、查询数据。因此在做物联网数据分析时,要对时序数据做充分的考虑,比如某些物联网设备可能产生巨量数据,最大限度的压缩是减少成本的直接手段;怎样满足海量设备高并发,实时写入的要求;面对长时间积累的物联网数据,如何满足高性能查询,特别是经常做时间维度的聚合查询;以及在时间的维度上对海量的物联网产生的时序数据做时间维度的查询计算等。将数据时效性分层处理,获得综合处理效率最大化在数据接入后,可以将物联网数据总结为冷数据、热数据、温数据。冷数据是对于离线类不经常访问的归档数据,在需要时对数据做批处理;热数据是需要被计算节点实时处理和分析的数据,对时效性非常敏感;温数据是近期需要频繁处理的数据。将这些数据进行如下图所示的分层处理,以实现综合处理的效率最大化。高效的数据清洗,为数据分析输入高质量的数据在做物联网分析时,因为物联网数据质量的问题,物联网数据清洗是一项重要的环节,如下图所示。物联网数据中,经常出现一些典型的问题,比如缺值、数据的异常跳变、重复数据、格式差异、噪音干扰等,数据清洗环节可以帮助数据分析的开发者改善数据质量。此外,在做数据清洗的过程中,有两点非常重要,第一个是实时性,上文提到物联网数据实时性要求比较高,这里同样希望可以进行实时的数据清洗;另外数据清洗可以适应 IoT 非结构化或者半结构化的数据特征,通过清洗再提供相对高质量的数据。2华为云 IoT 一站式物联网数据分析服务——IoTA基于以上四点,华为云推出以资产模型为驱动的一站式物联网数据分析服务——IoTA,基于物联网资产模型,整合大数据分析领域的最佳实践,实现物联网数据集成、清洗、存储、分析、可视化,为开发者打造一站式数据开发体验,并与华为云物联网相关云服务(比如设备接入)无缝对接,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。结构如下图所示。左边是两种类型的数据源,一种是 IoT 设备实时采集的物联网数据,实时数据源;另一种是 IoT 子系统中需要批量导入的数据。中间是华为云的 IoT 数据分析服务 IoTA,大概分为几个板块:首先是数据清洗的功能板块,通过 Data Pipeline 即数据管道实现,能够把数据从管道里面进行相应的处理,并提供了一些清洗算子,例如转换、删除、去重、插值、降噪等,将原始数据变为高质量数据。为了降低数据清洗开发的难度,华为云 IoTA 提供图形化的 IDE 环境,开发者通过简单的拖拽即可完成。其次是温冷分层存储功能和资产模型。IoTA 的温冷分层存储集成了时序和对象存储,帮助开发者以分层的方式管理数据。资产模型功能可以让开发者快速地进行建模,描述物理空间中的对象,一旦模型构建起来,后面就可以基于该模型进行相应的数据分析。右边是数据分析板块,华为云 IoTA 集成了时序分析、流分析以及离线分析,提供相应的计算引擎,最后是提供面向特定行业的行业分析套件,提供面向行业场景化的分析能力封装。需要强调的是,华为云 IoTA 具备五个关键价值:简化数据开发过程,降低门槛,加速业务上线之前,数据开发过程的技术门槛较高,很多物联网领域的中小企业因为缺乏专业数据分析领域的人才,实施起来较为困难,比如应该选择什么样的数据平台架构设计?Lamda or  Kappa or 其他 ?公有云上的大数据 PaaS 服务琳琅满目,选择哪些组件最适合我的 IoT 项目呢?在这个过程中,华为云 IoTA 提供了一站式的物联网数据分析,让开发者做到开箱即用,包括数据集成,数据清洗,数据存储,数据建模,数据分析,数据可视化,整个过程缩短开发周期 40% 以上;在技术选型上,IoTA 充分考虑当前技术趋势,利用比如存算分离,孪生建模,Serverless,实时清洗等技术,使用户无需感知复杂技术,减少高端技术人员雇佣费用。通过资产建模,将 IoT 数据转化为有语义的数据区别于公有云通用类大数据分析相关服务,华为云 IoT 物联网数据分析服务与资产模型深度整合,以 Digital Twin 资产模型为中心驱动数据分析,开发者可以直接使用统一的物联网模型数据,大大提升数据分析的效率。通过构建物与物,物与空间,物与人等复杂关系,将物联网数据置于模型的“上下文”中去理解;通过“IoT+ 资产模型”,在数字世界中构建与物理世界准实时同步的数字孪生;基于模型抽象,为数据分析提供面向业务的接口封装。其具备四点核心功能:1. 利用树状层级结构描述复杂物理对象的内在关系,比如空间关系,组合关系,上下游关系等;2. 虚测点支持丰富的计算算子,比如四则运算,科学计数法,三角函数,滑窗,流计算等;3. 支持定义资产模板,快速复制;4. 所见即所得的图形化编辑方式,简化复杂资产开发难度。实时数据清洗,改善物联网数据质量如下图所示为华为云 IoTA 的数据管道,在这个数据管道中,主要包括五个功能。第一,提供图形化的开发环境,拖拽即可完成数据清洗和预处理;第二,基于流计算引擎,满足对 IoT 数据处理高实时性要求;第三,含有丰富的 IoT 清洗算子(10+),可以应对各种 IoT 数据问题;第四,具备 IoT 数据质量评估系统,为数据质量打分;第五,灵活的数据流转控制,满足各种数据分析应用场景的需要。分层的 IoT 数据存储机制,降低数据存储和管理成本华为云 IoTA 将数据存储分为温数据存储和冷数据存储。温数据存储采用适用物联网数据特征的时序数据库技术,基于 SSD 存储介质,满足 ms 级数据查询要求;冷数据存储采用可靠安全的对象存储,价格低廉,并结合 IoTA 离线分析,轻松处理 PB 级数据。另外,用户在管理温冷存储时,可以结合自己的业务需要,只需设定老化周期,就可进行温数据存储到冷数据存储的自动转存,把数据管理好。面向物联网实时数据的全面优化针对实时数据,华为云 IoTA 服务对数据写入、数据存储、数据建模、数据洞察等模块都做了优化。在数据写入模块中,华为云 IoTA 支持海量时间线,并按时间线做 Hash Partition,所有 Shard 节点并行写入,Shard 按照数据量自动分裂,同时单实例支持超 10 万时间线,最大亿级时间线。在数据存储中,华为云 IoTA 提供列式存储,不同数据类型(如时间类型,浮点型)采用不同压缩算法,相比开源 OpenTSDB 压缩率提升 10 倍。在数据建模模块中,华为云 IoTA 支持按资产模型数据格式入库存储,并按模型层次快捷检索测点时序数据。最后在数据洞察模块中,华为云 IoTA 支持在线时序数据透视,支持折线图、堆积图、散点图多种展现形式,时间轴、特定周期、定义功能齐全,便捷选择时间段数据,还可进行多种数据聚合方式展示,如最大值、最小值、平均值等。3华为云 IoTA 应用实例 智慧仓储实时分析如下图所示,在仓库的进出库管理中,基于数据分析服务的建模能力与实时分析,利用华为公有云 ModelArts 进行 AI 推理计算,并与 RFID 读写器设备配合,对 RFID 数据流进行识别检测,可实现秒级判断出货物在进出库过程中的进出方向,继而可自动与货单进行校对,实时告知仓库管理人员进出货物的情况。 产线数字化下图所示为我国某一钢厂基于华为云的能力进行的产线数字化项目,即产线的数字孪生。通过 IoTA 服务对各个工艺环节建模,帮助其实现质量分析 。在该场景下做产品的质量分析面临的一个关键环节就是时空对齐,该如何理解资产建模帮助构建时空关系的映射呢?想象一个轧件是一个很长的钢板,而比如这个钢板在偏移两百米的空间位置上有质量缺陷,那么我们需要知道为什么该区域质量比较差,产线的各工艺环节在处理该区域的时刻,当时的工艺参数分别都是什么?这就是一个比较复杂的时空关系匹配问题。华为云 IoTA 对产线进行建模,描述产线这一复杂的物理对象,将物理空间中的时空关系在数字世界中进行建模,继而给应用层开放具备语义的数据,帮助应用层进一步的数据分析。4最后随着 5G 应用的持续深化,物联网之间的连接将变得更加紧密。然而物联网数据本身价值密度小、数据体量大、数据时效性高、数据质量低等特点,使得物联网数据分析面临着诸多的关键挑战,很难真正为行业所用。而这,也一直正是华为云 IoT 所致力于解决的问题。原文链接:https://blog.csdn.net/klandor2008/article/details/107625619?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162259797916780265474118%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162259797916780265474118&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29_name-4-107625619.first_rank_v2_pc_rank_v29&utm_term=%E5%8D%8E%E4%B8%BA%E4%BA%91lot&spm=1018.2226.3001.4187
  • [近期热门] 数据分析技术:边缘人工智能的应用
    为了避免不必要的非关键数据移动,AI正在向边缘设备返回计算能力,从而影响开发人员利用人工智能和数据分析技术。作者:Cassie 编译    来源:千家网当我们被吸引到科幻世界时,人工智能和机器学习(AI/ML)的概念会让人联想到Neo,Trinity和Morpheus在黑客帝国电影中与机器作战的场景。然而,在现实生活中,AI/ML帮助开发人员创建更好、成本更低的物联网终端节点,这将使他们的产品所在的生态系统受益。AI/ML的好处远不止是在终端节点进行更好的决策;一些优化会给所有相关人员带来有价值的好处,包括消费者、开发人员和操作员。AI和MLAI/ML不是一个新概念,但传统上是通过耗能巨大,价格昂贵的平台(许多用户一次共享)来使用它。由于集中式数据中心开始建立和使用对数据的存储和计算功能越来越依赖,因此集中化的数据中心使他们可以承受有限的CapEx和OpEx成本上涨。这是因为数据中心现象允许技术部门共享服务器,公用事业,冷却,房地产和安全性。此外,它还提供了根据需要扩展和缩减资源的能力,例如所需的计算和存储量。由于成本的共通性,AI/ML等新技术可以更快地实现。为了避免不必要的非关键数据移动,AI正在向边缘设备返回计算能力,从而影响开发人员利用人工智能和数据分析技术。全球分布的数据中心的互联也为科技行业提供了使用地区性设施的能力。一家总部位于美国的物联网公司可以向欧洲消费者提供服务,而不会导致大西洋彼岸的延迟。数据在各大洲之间传输和路由,或者与地区隐私和数据保护法律的细微差别相抵触。如果你认为在灯被点亮之前有两秒延迟的照明开关不会符合消费者的期望,因此很难取得商业成功,那么这样的要求就很重要。数据中心和云使新的国内和国际商机成为可能。开发商已经建立了新的机制来节省消费者和企业实体的资金。酒店的制冰机可能需要维修,运营商不再需要推着维修车去营业;运营商只需要派一辆维修车,因为他们知道需要维修,从而为公司节省了数万美元的运营费用。非关键数据的不必要移动在设备发生故障之前,使用AI/ML查看这些微小的特征码可能很复杂,因为相关的特征码可能很微小,因此很微妙。这些变化可能是泵电机的振动,也可能是换热器或冷凝器的轻微温度变化:某些个人可能无法识别甚至无法看到的东西。联网制冰机的例子似乎并不能推动许多开发商将其理解为一个问题的数量,但考虑到这些问题或应用于仓库或酒店照明的商业模式。一个仓库里可能有成千上万个灯泡,每个灯泡都放在货架或机器上,需要移动这些灯泡来更换灯泡,而这又意味着可能在最关键的时刻停止生产线。预测性维护和云分析正在成为一项大业务,AI/ML提供了一种对其生成的数据执行自动评估的简单方法。尽管如此,这些新的商业模式确实导致了海量数据的产生。这反过来又带来了新的有趣的技术挑战,开发人员和运营商现在需要应对这些挑战。这些问题似乎是表面上的扩展问题——增加更多服务器、增加更多存储和其他基于数据中心的消耗品,但解决这些问题并不能解决数据管道另一端形成的越来越多的问题。在大多数应用中,数据是由某种形式的传感器产生的,这需要功率和带宽。带宽还会根据设施的互联网上行链路和射频频谱进行消耗。发送可能代表“不变”的海量数据是昂贵的;无线电消耗大量电力,在繁忙的射频频谱中,它们通过传输重试消耗的能量甚至更多。更多的传感器导致射频环境更加繁忙,需要更多的电池维护。除了围绕电池寿命和本地带宽的问题外,一些应用程序可能更容易受到由此产生的安全问题的影响。大量数据可能会形成模式,如果被拦截,那些怀有恶意的人可能会利用这些模式。边缘计算阻碍这些问题的趋势是将大量决策返回到终端节点,将放射性降低到只确定为更重要的数据。这降低了功耗、带宽和数字签名。将决策返回到结束节点的警告可能意味着结束节点处理、存储和功耗的增加。物联网似乎陷入了一个限制其可及性和市场增长的恶性循环。人工智能领域的创新使得更小的微控制器(如ARMCortex-M)的使用成为可能,并为flash和RAM调用更小的内存资源。在执行复杂算法时,用于在系统中执行AI的代码大小也可以比传统编码小得多,以解决任何现实生活中的角落情况。这也使得固件更新更小,开发更快,更容易在大型传感器群中分布。许多开发人员在终端节点传感器产品中利用AI来增强他们的设计,改善消费者和运营商的体验。AI技术的例子可以通过开发工具包快速原型化。套件可用于演示泵监控系统。缩小无线传感器的尺寸,延长其寿命,并采用更好的安全性,所有这些都不会破坏带有噪声的本地射频频谱,这意味着可以部署更多有用的传感器,以提高工作效率和舒适性。日常产品,如墙壁开关,环境传感器,甚至路边垃圾传感器,可以包括在自动化和监测生态系统在一个有吸引力的成本和性能点。
  • [云计算周刊] 亚马逊云科技携手神策数据,打造大数据分析的“云基建”
    在企业数字化转型的产业链中,云计算、大数据、人工智能等关键领域环环相扣,而且近年来呈现出相互融合的趋势。企业不仅可以从专业的云计算、大数据服务商那里获得领先的单项服务,还能从企业的强强合作中获得更综合的赋能。近日,亚马逊云科技与神策数据向国内媒体分享了双方合作的最新进展。亚马逊云科技是全球最大的云基础设施服务商,神策数据是国内领先的大数据分析企业。双方突破了SaaS企业与云平台厂商的传统合作模式,为数字化转型中的企业带来1+1>2的商业价值。“跑”在云上的用户行为分析现在,任何企业的营销决策都离不开精准的用户行为分析。我的目标客户是谁,他们在哪里,有哪些消费习惯,基于用户行为的数据洞察正是神策数据擅长的。神策数据是国内专业的大数据分析和营销科技服务提供商,创立6年来已经积累了1500 余家付费企业用户,目前已完成C+轮融资。神策的核心客户有两类:传统行业与互联网行业。目前,包括中国银联、海通证券、广发证券、麦当劳、小米、VIPKID、货拉拉、闪送、驴妈妈、Keep等知名企业都是神策的客户。神策数据副总裁王桐介绍,在大数据分析行业,神策具备强大的底层数据根基能力,并打通数据与业务之间的闭环。在行业内,神策创新地提出SDAF数据闭环模型,即Sense(感知)、Decision(决策)、Action(行动)、Feedback(反馈),并围绕SDAF数据闭环打造了“两云一平台” 核心产品:神策分析云、神策营销云和神策数据根基平台。“大数据行业仅提供一个纯IT的产品是远远不够的,神策的做法是把这么多年积累的服务客户的行业经验进行模板化,帮助企业更快实现数字化营销,以及数字化的用户全生命周期运营等目标。”王桐表示。神策的大数据产品提供两种部署方式:私有化部署和 SaaS。随着越来越多企业希望通过更快捷易用的方式获取用户行为分析能力,神策需要更加灵活可扩展的底层基础设施能力。于是,神策数据找到了亚马逊云科技。具体来说,亚马逊云科技为神策数据提供了三大方向的支持:首先,业务层面,亚马逊云科技设置全职接口人负责制,在跨境电商、零售品牌、金融、游戏等重点行业提供用于客户POC测试的高性能服务器资源。其次,技术层面,神策数据选择了Amazon EC2、Amazon EBS、Amazon VPC等服务,获得更灵活的基础资源支持和安全防护能力。Amazon EC2提供安全并且可调整大小的计算容量,为神策大数据平台提供基础的服务器环境支持;Amazon VPC可帮助客户创建安全隔离的网络架构并实现访问权限控制。第三,落地合作层面,双方在垂直行业深耕与市场拓展方面结成合作伙伴。目前,神策数据已经完成了亚马逊云科技的TP认证,双方还在跨境电商等重点行业进行联合客户开发、共同举办行业数字化运营研讨等。此外,神策数据还将其核心产品以SaaS服务的形式上架了亚马逊云科技Marketplace,通过这一全新的渠道服务更广泛的企业客户。Marketplace相当于IT基础服务的“应用商店”,自2020年初Marketplace China在中国上线以来,已上线操作系统、安全、网络基础设施、大数据以及业务分析等在内的超过上百种软件产品。生态赋能,帮助中国客户深耕本地可以看出,神策数据与亚马逊云科技的合作,不仅是SaaS企业与云平台厂商的优势互补,在产业链生态上也有更深层次的联合。一方面,神策数据为什么会选择亚马逊云科技?王桐表示,一是因为亚马逊云科技具备领先行业的成熟度和专业度,第二,亚马逊云科技丰富的底层基础组件为神策数据提供了灵活的选择。计算资源方面,截止今年2月,Amazon EC2提供的实例类型已接近400种,其业务相当于传统上一家提供400种服务器型号的中大型服务器厂商。存储能力方面,亚马逊云科技目前所有的存储服务都已经落地中国市场,包括对象存储、块存储、Linux文件存储、Windows文件存储、高性能文件存储、低成本归档存储以及云上备份存储。“神策数据与亚马逊云科技的合作既是强强联合,也是优势互补。大数据分析和云计算,两个都是企业刚需的东西。企业客户更关心的诉求是两边能不能更好的融合,不要让他去操两份心,一站式就都办了。这是双方合作带给企业的核心价值。”王桐向媒体表示。
总条数:133 到第
上滑加载中