-
获奖名单公布Ania昶谕禄仁恝恭喜以上开发者,之前未填写获奖信息的开发者,请与11月5日16:00前完成获奖信息填写。为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】活动奖励a. 奖励一:参与互动用户每人获得圆梦积分3分b. 奖励二:在所有参与互动用户中抽取3个幸运奖,奖品为《ModelArts人工智能应用开发指南》书籍1本。专家简介王浩数据仓库服务GaussDB(DWS)技术专家 直播简介 凭借实时数据分析技术,GaussDB(DWS)荣获2021年度数博会“领先科技成果奖-新技术”,如何解决时序数据带来的挑战?GaussDB(DWS)技术专家介绍实时数仓逻辑架构和时序引擎,带大家一起解密实时数据分析核心技术。 直播亮点1.了解实时数仓的技术架构;2.了解时序引擎的核心技术; 直播时间9月25日 11:00活动时间9月22日—10月7日互动方式直播前您可以在本帖留下您感兴趣的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流,我们会在全部活动结束后对参与互动的用户进行抽奖。活动规则本次活动结束后,将由华为云工作人员将符合抽奖条件的用户名单导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。 Tips1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】2)填写时间截至2021年10月25日23:59。3)在HC2021开发者社区系列活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳https://bbs.huaweicloud.com/forum/thread-154048-1-1.html
-
机器学习、人工智能与数据挖掘的关系机器学习是人工智能的一个分支,作为人工智能的核心技术和实现手段,通过机器学习的方法解决人工智能面对的问题。机器学习是通过一些让计算机可以自动“学习”的算法,从数据中分析获得规律,然后利用规律对新样本进行预测。机器学习是人工智能的重要支撑技术,其中深度学习就是一个典型例子。深度学习的典型应用是选择数据训练模型,然后用模型做出预测。例如,博弈游戏系统(Deep Blue)重于探索和优化未来的解空间(Solution Space),而深度学习则是在博弈游戏算法(例如Alpha Go)的开发上付诸努力,取得了世人瞩目的成就。下面以自动驾驶汽车研发为例,说明机器学习和人工智能的关系。要实现自动驾驶,就需要对交通标志进行识别。首先,应用机器学习算法对交通标志进行学习,数据集中包括数百万张交通标志图片,使用卷积神经网络进行训练并生成模型。然后,自动驾驶系统使用摄像头,让模型实时识别交通标志,并不断进行验证、测试和调优,最终达到较高的识别精度。当汽车识别出交通标志时,针对不同的标志进行不同的操作。例如,遇到停车标志时,自动驾驶系统需要综合车速和车距来决定何时刹车,过早或过晚都会危及行车安全。除此之外,人工智能技术还需要应用控制理论处理不同的道路状况下刹车策略,通过综合这些机器学习模型来产生自动化的行为。数据挖掘和机器学习的关系越来越密切。例如,通过分析企业的经营数据,发现某一类客户在消费行为上与其他用户存在明显区别,并通过可视化图表显示,这是数据挖掘和机器学习的工作,它输出的是某种信息和知识。企业决策人员可根据这些输出人为改变经营策略,而人工智能是用机器自动决策来代替人工行为,从而实现机器智能。数据挖掘是从大量的业务数据中挖掘隐藏的、有用的、正确的知识,促进决策的执行。数据挖掘的很多算法都来自机器学习和统计学,其中统计学关注理论研究并用于数据分析实践形成独立的学科,机器学习中有些算法借鉴了统计学理论,并在实际应用中进行优化,实现数据挖掘目标。机器学习的演化计算深度学习等方法近年来也逐渐跳出实验室,从实际的数据中学习模式,解决实际问题。数据挖掘和机器学习的交集越来越大,机器学习成为数据挖掘的重要支撑技术。
-
数据挖掘使用机器学习、统计学和数据库等方法在相对大量的数据集中发现模式和知识,它涉及数据预处理、模型与推断、可视化等。数据挖掘包括以下几类常见任务。1. 异常检测异常检测(anomaly detection)是对不符合预期模式的样本、事件进行识别。异常也被称为离群值、偏差和例外等。异常检测常用于入侵检测、银行欺诈、疾病检测、故障检测等。2. 关联分析关联规则学习(Association rule learning)是在数据库中发现变量之间的关系(强规则)。例如,在购物篮分析中,发现规则{面包,牛奶}→{酸奶},表明如果顾客同时购买了面包和牛奶,很有可能也会买酸奶,利用这些规则可以进行营销。3. 聚类聚类是一种探索性分析,在未知数据结构的情况下,根据相似性把样本分为不同的簇或子集,不同簇的样本具有很大的差异性,从而发现数据的类别与结构。4. 分类分类是根据已知样本的某些特征,判断一个新样本属于哪种类别。通过特征选择和学习,建立判别函数以对样本进行分类。5. 回归回归是一种统计分析方法,用于了解两个或多个变量之间的相关关系,回归的目标是找出误差最小的拟合函数作为模型,用特定的自变量来预测因变量的值。数据挖掘在大数据相关技术的支持下,随着数据存储(非关系型NoSQL数据库)、分布式数据计算(Hadoop/Spark等)、数据可视化等技术的发展,数据挖掘对事务的理解能力越来越强,如此多的数据堆积在一起,增加了对算法的要求,所以数据挖掘一方面要尽可能获取更多、更有价值、更全面的数据,并从这些数据中提取价值。数据挖掘在商务智能方面的应用较多,特别是在决策辅助、流程优化、精准营销等方面,例如:广告公司可以使用用户的浏览历史、访问记录、点击记录和购买信息等数据,对广告进行精准推广。利用舆情分析,特别是情感分析可以提取公众意见来驱动市场决策。在电影推广时对社交评论进行监控,寻找与目标观众产生共鸣的元素,然后调整媒体宣传策略迎合观众口味,吸引更多人群。
-
直播回放:https://bbs.huaweicloud.com/live/education_live/202109021900.html探索性数据分析方法核心理念与基本步骤1.理解数据科学“数据科学家不仅仅需要构建出色的数据模型,更重要的是能够阐释已获得的成果并将成果用于商业智能的开发当中”--Suresh Kumar Mukhiya➢涉及多个领域的跨学科知识,包括计算机科学,数据信息,统计学,以及数学➢数据科学正处于热度不减的巅峰时刻,同时数据科学家的技能也正在改变➢要成为顶尖的数据科学家,我需要学习什么类型的技能?2.探索性数据分析方法的核心理念“将探索性数据分析方法纳入统计学专家的工具箱,以便于对数据进行探查和发现信息并建立更加崭新的假设,从而在数据收集与实验的过程中开发出更加新颖的研究方法。”--John Tuckey➢探索性数据分析方法,Exploratory Data Analysis[EDA]指的是探查现有可用的数据集从而发现数据模型,异常点,检验假设,以及采用统计度量措施来验证假设的过程➢主要目的就是在实际进行正式建模或者形成假设之前探查出数据可以告知我们什么信息➢该方法让我们通过可视化技术来理解数据并为进一步的分析做出假设。其重点就是为后续步骤建立数据概要或者提供洞察信息➢在没有做出任何基本假设的情况下,探索性数据分析方法实际上揭示出了数据隐含的基本事实3.探索性数据分析方法的阶段划分➢8个阶段类似于跨行业数据挖掘标准流程(CRISP)中用到的框架➢数据需求确定[多种数据源/存储类型/数据分类]➢数据收集[以正确的格式进行存储]➢数据处理[预整理过程/导出数据集/存放到正确的表格/结构化处理]➢数据清洗[数据转换/完整性/数据重复性/数据错误/缺失值检查]➢探索性数据分析[数据中隐含的信息/采用多种类型的数据转换技术]➢数据建模与算法应用[模型用来描述自变量和因变量之间的关系]➢数据产品[数据作为输入,进而产生输出/推荐模型]➢信息传递与成果展示[成果传递/服务于商业智能/数据可视化]4.探索性数据分析方法的基本步骤➢问题定义[在提取有用的洞察信息之前,定义需要解决的业务问题]➢数据准备[定义数据源/定义数据架构模式和数据表/理解数据的主要特征/清洗数据集/删除不相关的数据集/转换数据/数据分块]➢数据分析[汇总数据/发现数据之间隐藏的相关性和关联关系/开发预测模型/评估模型/计算精度/汇总表,图表,描述性统计,推断统计,相关性统计,检索,分组,以及数学模型]➢应用开发与成果表示[以图表,汇总表,地图,以及图解示意图的形式向目标群体展示数据集信息/从数据集获取到的分析成果应该便于业务相关人员进行解读,这是探索性数据分析的主要目标之一/散点图,字符图,直方图,箱线图,残差图,均值图]5.常用软件与工具➢Python语言[广泛用于数据分析,数据挖掘,以及数据科学领域]➢R语言[广泛用于统计计算以及图形数据分析领域]➢Weka[开源的数据挖掘软件包/含有探索性数据分析方法中用到的多种工具和算法]➢KNIME[基于Eclipse集成开发环境,用于数据分析的开源工具]➢Python库-NumPy[数据分析与科学计算基础软件包]➢Python库-Pandas[数据分析支持库]➢Python库-SciPy[用于科学计算的开源Python库]➢Python库-Matplotlib[大量的可自定义的绘图库,全面完整的后端程序。报表应用程序/交互式分析应用程序/复杂仪表盘应用程序]6.答观众问见评论区:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=151651
-
国家提出“要高度重视信息化发展对党的建设的影响,做好网络发展到哪里党的工作就覆盖到哪里,充分运用信息技术改进党员教育管理。”随着数字时代的到来,越来越多组织开始着手推进党建工作数字化转型,提升党建质量!针对组织内部党员人数多、分布广、信息难摸清;党建工作分散、效率低;党务管理标准难统一;党内决策执行情况无法及时跟踪、考核;党建工作难量化,考核指标无法推进落实等管理难题。泛微将党建管理与移动办公高效融合,帮助打造集“党组织管理、党员档案、党员发展、党费管理、党建活动、党员教育以及数据执行分析”于一体的数字化党建管理平台。帮助实现党建工作留痕、全程联动,及时发现党建工作问题,规范、高效完成党建目标。(泛微数字化党建管理平台应用)泛微数字化党建管理平台亮点应用1、便捷党建门户,高效开启党建工作根据不同用户类型,构建“党员、自助党务以及党建宣传、党务公开等”多种专项门户类型,帮助智能聚合、分类党建信息、应用,高效了解党务消息、党员发展情况,一键开启党务办公。(多样化门户)2、智能党组织管理,建立组织信息图谱为了规范管理党组织、监督党组织情况,泛微借助移动端为用户提供便捷的“党组织管理”窗口,打开手机应用随时了解所有党组织的名称、类型、所属公司、组建时间、人员组成情况等信息,智能党组织地图帮您快速找到身边的组织和支部、高效开启交流通道。(党组织移动管理)3、党员管理服务,信息查询、教育/监督方便围绕“党员”管理所需,不断拓展应用,建立全面数字化的信息、学习窗口,全面提升党员信息管理效率,优化党员学习交流体验。1)党员信息管理帮助建立党员电子信息档案库,党员信息按照所属单位智能分类,形成树形索引,高效了解各个组织党员基本信息。(党员信息库)同时借助党员信息卡片,汇总呈现每一位党员信息,形成清晰、精准的党员数据,摸清党员情况。(党员信息卡片)2)党员在线教育泛微在线学习应用让党员在手机端不受时间空间限制,自主选择学习内容,随时在线交流、分享;同时,通过网上考试、在线答题及时检验学习成果、丰富学习形式,增强学习灵活性。(视频、音频、文字等多种形式学习资料)3)党员风险预警为了提升党员监管质量,泛微OA用流程帮助组织及时完成党员风险行为登记记录,形成集党员基本情况、主要预警事件、处理意见于一体的风险等级应用,提升党员管理质量。4、党务智能办理应用,规范、高效开展党务围绕组织内部“党员发展”、“党费缴纳”两大核心模块建立标准应用,提升党务办理效率。1)党员发展全生命周期管理围绕组织内部党员发展周期建立“提交入党、入党积极分子、发展对象备案、预备党员备案、预备党员转正”流程体系,形成各阶段人员信息库,规范、高效发展党员。• 流程化的党员发展审批体系党员入党、备案、转正过程全部通过流程驱动,规范审批推进,确保党员发展公开、透明。(入党申请流程展示)• 发展党员信息台帐,了解各阶段发展成果通过流程上报的各阶段人员信息自动分类汇总到电子表单,党组织人员可以随时通过信息台帐了解党员发展规模、转正情况等具体成果。(发展党员台账)2)党费便捷缴纳、快速查询、催缴根据党费标准灵活配置收费方式,实现按照基数比例、固定金额、减免等方式收缴党费,提供党费自动计算、统计、查询、缴费状态标记、缴费提醒、移动缴费等多种便捷应用,有效避免漏缴、忘缴现象。(缴费情况查询)(缴费数据统计-移动端快速补缴)以前收党费既要收钱、记账,个别忘记缴费的还要及时提醒,难免疏漏。现在,缴费、通知、催缴、统计、查询全部智能化、数字化,不仅管理便捷,党员体验更佳。5、党建活动高效组织,丰富参与方式借助OA流程、视频会议等多种应用模块,高效组织“三会一课、主题党日、基层评议会”等活动,实现流程化创建、智能通知、数字化开展,提升活动组织效率。(便捷会议)6、数据分析平台,精准掌握党建情况借助BI报表数据分析能力,帮助建立多维度党建数据分析平台,及时掌握党建成果,包括党组织数量、缴费统计排名、支部发展党员成果排名以及三会一课开展情况等信息,及时发现党建工作问题。(党建数据分析)应用价值:泛微数字化党建管理平台可以将党建管理制度进行流程固化,规范开展党建工作,帮助落实责任主体,实现党建任务执行、跟踪一体化,真正落实工作。同时结合移动应用帮助实现党建资源、应用整合,全面提升党建管理效率,帮助实现智慧、阳光、活力、效能、服务、廉洁的党建管理目标。
-
7月28日-29日,2021(第六届)中国大数据产业生态大会在北京举行。本次大会以“数智转型 融合共生”为主题,共同探讨产业服务数字化发展和行业数智化转型方向,大数据领域年度“金沙奖”也在会上正式揭晓,华为云数据使能DAYU主力产品——数据仓库GaussDB(DWS)蝉联“2021 中国大数据·数据仓库领域最佳产品奖”。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,面向政企、互联网和物联网等应用场景,以企业级内核、统一架构提供标准数仓,实时数仓和云数仓。业务分析师和数据分析师在批量分析、交互式查询与分析、实时分析等业务场景中,可借助GaussDB(DWS)轻松获得一站式分析能力,降低数据分析门槛提升数据分析效率,更便捷高效的释放数据价值。一站式数据分析支持上万分析师在线作业,满足企业平台容量需求继2020年获奖后,华为云GaussDB(DWS)研发团队在数据分析技术上持续探索。通过智能多维的混合负载管理,华为云GaussDB(DWS)可在集群内实现实时、批量、交互式负载的一站式数据分析。为数据接入提供丰富的数据源接口,满足数据分析的全流程中不同角色对数据分析的不同需求。通过自研TCP多流技术提高物理连接数量级,在MPP架构下数据节点全并行数据交换,华为云GaussDB(DWS)实现单集群最大支持2048节点。2021年Q1建成投产的480节点大集群分析师平台,成为金融行业最大规模商用数据仓库集群,支持上万分析师在线作业,极大满足了大企业数据量激增对平台容量扩展的需求。高并发毫秒级点查询,效率提升200倍通过30多项查询重写技术(含4项专利),优化Ad hoc查询性能,实现高并发毫秒级点查询。在已商用的GaussDB(DWS)数据分析平台中,灵活查询平均运行时间由30分钟降低至50秒,查询平均等待时长更是由5小时降低至1.5分钟,查询效率提升200倍!对企业而言,业务数据从产生到汇聚,再到面向场景化分析,每个环节都分秒必争,快速释放数据潜能已成为企业数字化转型的刚需。数据分析架构简化,流数据每秒千万级实时接入在互联网和物联网业务应用中,时序数据和流数据承载了大量的业务内容。典型时序和流数据分析方案需要引入多种组件,不但数据格式难统一,平台架构也变得非常厚重,扩展困难。华为云GaussDB(DWS)在全并行分布式架构上,无缝融合OLAP引擎、时序引擎、CEP引擎,简化数据分析组件架构,实现T+1和T+0合一的一站式数据分析,实时数据与历史数据关联分析技术做到同行业技术领先。在已投产的实时数仓方案中,流数据高峰流量每秒千万级实时接入,解决了传统方案流数据接入流量速率的瓶颈问题。华为云GaussDB(DWS)提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,在全行业数字化转型中帮助企业提质增效,建立核心竞争力,夯实企业发展根基。 目前,华为云大数据热销主打的产品有:1. 数据仓库服务GaussDB(DWS)提供云上企业级融合数据仓库,支持实时数据分析,具备高性能、低成本、易扩展等特性2.MapReduce服务 3.0.5版新版ClickHouse集群支持跨AZ集群,适用海量数据大宽表实时分析/实时BI报表分析3. 云搜索服务 CSS兼容Elasticsearch完全托管在线分布式搜索服务,用于站内搜索/日志分析/运维监控等场景 4.数据湖治理中心 DGC数据全生命周期一站式开发运营平台,可复用行业知识库,助力企业快速构建数据运营能力5.数据湖探索服务 DLI提供一站式融合处理分析服务,会SQL就会大数据分析,高易用免运维 现在828大促期间,大数据福利专场上线,注册用户即可免费体验大数据,爆款产品击穿底价5折!详情点击了解:https://activity.huaweicloud.com/bigdata.html
-
随着互联网行业的快速发展,大数据被认为将是IT产业中最热门、最具发展性的领域。无论是金融、制造、零售业还是科技公司都拥有了大量的数据,且呈几何级增长,尤其是对于电子商务企业来说,更大的潜在机会隐藏于其中,这些数据中包含了客户的兴趣爱好、消费习惯等,通过一定的技术手段可以对海量数据进行提取、分析和挖掘,让企业更加了解客户诉求,并为其提供个性化的商品和服务。 与大数据相关的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,要想大数据被更好地认识和使用,从中提炼有价值的情报作为企业的数据资产,就需要进行大数据分析。因此大数据分析已经成为各行各业人员必备的技能之一。 华为云DLI,100%兼容开源生态的Serverless多模计算服务,会SQL就会大数据分析。 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。如游戏运营数据分析、车辆日常指标数据的采集和分析,电商实时业务数据分析等场景。 数据湖治理中心DGC,一站式开发运营平台 数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台,30+异构数据源、全拖拽开发、多维实时搜索、0代码API开发,开发效率3倍提升,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。 想学大数据分析? 快来参与华为云大数据分析7天训练 活动时间: 招募期 7月15日—7月28日 训练期 7月29日—8月6日 毕业期 8月7日—8月13日 面向对象: 大数据工程师、分析师、学生,以及对大数据分析感兴趣的朋友。 本次训练营课程全程分为7个阶段,华为云大数据产品专家亲授,电商行业场景实战演练,带来沉浸式学习体验。 参加训练营你将收获什么?1、0元领取大数据产品1个月套餐包,立省千元我们为您提供免费的套餐包以及课程代金券,用于满足实践诉求。2、丰厚的礼品,奖励爱学习的你对于能够坚持打卡学习的用户,我们提供了华为手环4e、无线鼠标、酷睿冰尊笔记本散热器等礼品。3、项目实践+产品专家亲授,带来沉浸式学习体验 课程实践基于真实业务场景,课程学习不再停留于理论知识;大数据产品专家群内指导,问题答疑。 心动不如行动,0基础也能轻松入门 7天大数据分析实战训练营 我们在训练营等你!
-
云社区 博客 博客详情【云小课】EI第9课 车海茫茫中寻找你--GaussDB(DWS)海量数据分析 Hi,EI 发表于 2020-08-25 11:56:20 1061 1 3数据库数据仓库服务 GaussDB(DWS)云小课EI企业智能【摘要】 数据仓库服务GaussDB(DWS)使用OBS作为集群数据与外部数据互相转化的平台,支持用户将数据从集群外导入到集群中,快速将样例数据从OBS导入集群。 本示例将加载8.9亿条交通卡口车辆通行模拟数据到数据仓库单个数据库表中,并进行车辆精确查询和车辆模糊查询,展示GaussDB(DWS)对于历史详单数据的高性能查询能力。准备工作已注册华为云账号,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。已下载客户端并连接到集群。已预先将样例数据上传到OBS桶的“traffic-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。导入交通卡口样例数据使用SQL客户端工具连接到集群后,就可以在SQL客户端工具中,执行以下步骤导入交通卡口车辆通行的样例数据并执行查询。执行以下语句,创建traffic数据库。create database traffic encoding 'utf8' template template0;执行以下步骤切换为连接新建的数据库。在Data Studio客户端的“对象浏览器”窗口,右键单击数据库连接名称,在弹出菜单中单击“刷新”,刷新后就可以看到新建的数据库。右键单击“traffic”数据库名称,在弹出菜单中单击“打开连接”。右键单击“traffic”数据库名称,在弹出菜单中单击“打开新的终端”,即可打开连接到指定数据库的SQL命令窗口,后面的步骤,请全部在该命令窗口中执行。执行以下语句,创建用于存储卡口车辆信息的数据库表。create schema traffic_data; set current_schema= traffic_data; drop table if exists GCJL; CREATE TABLE GCJL ( kkbh VARCHAR(20), hphm VARCHAR(20), gcsj DATE , cplx VARCHAR(8), cllx VARCHAR(8), csys VARCHAR(8) ) with (orientation = column, COMPRESSION=MIDDLE) distribute by hash(hphm);创建外表。外表用于识别和关联OBS上的源数据。<Access_Key_Id>和<Secret_Access_Key>替换为实际值,在创建访问密钥(AK和SK)中获取。create schema tpchobs; set current_schema = 'tpchobs'; drop FOREIGN table if exists GCJL_OBS; CREATE FOREIGN TABLE GCJL_OBS ( like traffic_data.GCJL ) SERVER gsmpp_server OPTIONS ( encoding 'utf8', location 'obs://dws-demo-cn-north-4/traffic-data/gcxx', format 'text', delimiter ',', access_key '<Access_Key_Id>', secret_access_key '<Secret_Access_Key>', chunksize '64', IGNORE_EXTRA_DATA 'on' );执行以下语句,将数据从外表导入到数据库表中。insert into traffic_data.GCJL select * from tpchobs.GCJL_OBS;导入数据需要一些时间,请耐心等待。车辆分析执行Analyze用于收集与数据库中普通表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。执行以下语句生成表统计信息:Analyze;查询数据表中的数据量执行如下语句,可以查看已加载的数据条数。set current_schema= traffic_data; Select count(*) from traffic_data.gcjl;车辆精确查询执行以下语句,指定车牌号码和时间段查询车辆轨迹。GaussDB(DWS) 在应对点查时秒级响应。set current_schema= traffic_data; select hphm, kkbh, gcsj from traffic_data.gcjl where hphm = '粤D12345' and gcsj between '2016-01-06' and '2016-01-07' order by gcsj desc;车辆模糊查询执行以下语句,指定车牌号码和时间段查询车辆轨迹,GaussDB(DWS) 在应对模糊查询时秒级响应。set current_schema= traffic_data; select hphm, kkbh, gcsj from traffic_data.gcjl where hphm like '%A23F%' and kkbh in('508', '1125', '2120') and gcsj between '2016-01-01' and '2016-01-07' order by hphm,gcsj desc;转自https://bbs.huaweicloud.com/blogs/195410
-
数据的类型可以是结构化的、半结构化的,甚至是异构型的。发现知识的方法可以是数学的、非数学的,也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。数据挖掘的对象可以是任何类型的数据源。可以是关系数据库,此类包含结构化数据的数据源;也可以是数据仓库、文本、多媒体数据、空间数据、时序数据、Web数据,此类包含半结构化数据甚至异构性数据的数据源。发现知识的方法可以是数字的、非数字的,也可以是归纳的。最终被发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。
-
数据挖掘(Data mining)是一个跨学科的计算机科学分支。数据挖掘有以下这些不同的定义:“从数据中提取出隐含的过去未知的有价值的潜在信息” ,“一门从大量数据或者数据库中提取有用信息的科学”。数据挖掘运行是使用数据挖掘的设置对数据挖掘模型的计算。数据挖掘标准依据数据挖掘技术可 处理运行的过程,提出并规范了通常所用的四个计 算阶段:(1)训练阶段(training phase): 这是所有数据挖掘技术公用的,用于计算数据挖掘模型的阶段。该 阶段在建立模型前需要准备数据并做预处理。在预 处理时要定义识别字段分配给有关的信息,如挖掘 类型和特定的控制字段。在分类和回归技术中用的 训练阶段还要有一个确认处理,称确认阶段,作为 数据挖掘分类和回归技术训练阶段的一部分。它给数据挖掘模型输入另外的数值组,可作为测试阶段 的描述,其结果作为实例以决定运算法则结束时间。(2)模型自查阶段(model introspection phase): 也是所有数据挖掘技术普遍使用,用以解释和评估 模型。将模型与目标一起细查,揭示训练阶段中数 据的相关性,以期达到两个目的: ①找出数据中潜 在的规律,有助于进一步解释模型; ②找出有统计 价值的特性,有助于评估模型的质量。(3)测试阶段(testing phase): 只用于分类和回 归。测试时为模型的对象字段读入系列数值组,在 应用中评估每个数值组,将预测数值和对象字段里 的实际数值做比较,其结果可为使用者或应用提供 实例,以此决定模型以质量为基础能否应用于实际。(4)应用阶段(application phase): 模型应用期间 输入数据组用来评估模型,或用较多的数据组来计 算模型。为了能正确地使用模型的输入值,必须将 其分配到训练阶段确认的相关字段中。一个预定课 题的模型应用,产生一个表可以控制相关的其他课 题。模型由一个或多个规则的特定输入而得出推论, 推论结果可与附加特性一并提交。特定情况下,推 论是对模型可信度的支持。这几个阶段不是一次完成的,数据挖掘运行当 包括训练阶段时调用训练阶段运行,当包括测试阶 段时调用测试阶段运行。其中某些阶段要反复多次, 各项功能也不是独立实现的,有时要几种方法互相 联系才能发挥作用。
-
在企业数字化转型的产业链中,云计算、大数据、人工智能等关键领域环环相扣,而且近年来呈现出相互融合的趋势。企业不仅可以从专业的云计算、大数据服务商那里获得领先的单项服务,还能从企业的强强合作中获得更综合的赋能。近日,亚马逊云科技与神策数据向国内媒体分享了双方合作的最新进展。亚马逊云科技是全球最大的云基础设施服务商,神策数据是国内领先的大数据分析企业。双方突破了SaaS企业与云平台厂商的传统合作模式,为数字化转型中的企业带来1+1>2的商业价值。“跑”在云上的用户行为分析现在,任何企业的营销决策都离不开精准的用户行为分析。我的目标客户是谁,他们在哪里,有哪些消费习惯,基于用户行为的数据洞察正是神策数据擅长的。神策数据是国内专业的大数据分析和营销科技服务提供商,创立6年来已经积累了1500 余家付费企业用户,目前已完成C+轮融资。神策的核心客户有两类:传统行业与互联网行业。目前,包括中国银联、海通证券、广发证券、麦当劳、小米、VIPKID、货拉拉、闪送、驴妈妈、Keep等知名企业都是神策的客户。神策数据副总裁王桐介绍,在大数据分析行业,神策具备强大的底层数据根基能力,并打通数据与业务之间的闭环。在行业内,神策创新地提出SDAF数据闭环模型,即Sense(感知)、Decision(决策)、Action(行动)、Feedback(反馈),并围绕SDAF数据闭环打造了“两云一平台” 核心产品:神策分析云、神策营销云和神策数据根基平台。“大数据行业仅提供一个纯IT的产品是远远不够的,神策的做法是把这么多年积累的服务客户的行业经验进行模板化,帮助企业更快实现数字化营销,以及数字化的用户全生命周期运营等目标。”王桐表示。神策的大数据产品提供两种部署方式:私有化部署和 SaaS。随着越来越多企业希望通过更快捷易用的方式获取用户行为分析能力,神策需要更加灵活可扩展的底层基础设施能力。于是,神策数据找到了亚马逊云科技。具体来说,亚马逊云科技为神策数据提供了三大方向的支持:首先,业务层面,亚马逊云科技设置全职接口人负责制,在跨境电商、零售品牌、金融、游戏等重点行业提供用于客户POC测试的高性能服务器资源。其次,技术层面,神策数据选择了Amazon EC2、Amazon EBS、Amazon VPC等服务,获得更灵活的基础资源支持和安全防护能力。Amazon EC2提供安全并且可调整大小的计算容量,为神策大数据平台提供基础的服务器环境支持;Amazon VPC可帮助客户创建安全隔离的网络架构并实现访问权限控制。第三,落地合作层面,双方在垂直行业深耕与市场拓展方面结成合作伙伴。目前,神策数据已经完成了亚马逊云科技的TP认证,双方还在跨境电商等重点行业进行联合客户开发、共同举办行业数字化运营研讨等。此外,神策数据还将其核心产品以SaaS服务的形式上架了亚马逊云科技Marketplace,通过这一全新的渠道服务更广泛的企业客户。Marketplace相当于IT基础服务的“应用商店”,自2020年初Marketplace China在中国上线以来,已上线操作系统、安全、网络基础设施、大数据以及业务分析等在内的超过上百种软件产品。生态赋能,帮助中国客户深耕本地可以看出,神策数据与亚马逊云科技的合作,不仅是SaaS企业与云平台厂商的优势互补,在产业链生态上也有更深层次的联合。一方面,神策数据为什么会选择亚马逊云科技?王桐表示,一是因为亚马逊云科技具备领先行业的成熟度和专业度,第二,亚马逊云科技丰富的底层基础组件为神策数据提供了灵活的选择。计算资源方面,截止今年2月,Amazon EC2提供的实例类型已接近400种,其业务相当于传统上一家提供400种服务器型号的中大型服务器厂商。存储能力方面,亚马逊云科技目前所有的存储服务都已经落地中国市场,包括对象存储、块存储、Linux文件存储、Windows文件存储、高性能文件存储、低成本归档存储以及云上备份存储。“神策数据与亚马逊云科技的合作既是强强联合,也是优势互补。大数据分析和云计算,两个都是企业刚需的东西。企业客户更关心的诉求是两边能不能更好的融合,不要让他去操两份心,一站式就都办了。这是双方合作带给企业的核心价值。”王桐向媒体表示。
-
1 概述1.1 数据探索检查数据错误,了解数据分布特征和内在规律1.2 数据预处理数据清洗 Data cleaning数据集成 Data integration数据变换 Data transformation数据规约 Data reduction2 数据清洗2.1 缺失值处理删除填充:固定值、均值、中位数、上下数据、插值函数、最可能的值(回归分析填充)举例:DataFrame缺失值处理
-
MLlib是Spark中提供机器学习函数的库,该库专为集群上并行运行的情况而设计MLlib设计理念:把数据以RDD形式表示,然后在分布式数据集上调用各种算法。归根结底,MLlib就是RDD上一系列可调用的函数的集合。注意:MLlib只包含能够在集群上运行良好的并行算法,包括分布式随机森林算法,K-means,交替最小二乘法等,如果用小规模数据集,单节点用scikit_learn,Weka更合适。在spark中,可以通过把参数列表传给parallelize(),来在不同节点上分别运行不同的参数,而在每个节点则使用单节点的机器学习库实现。
-
4月26日,在华为开发者大会(Cloud)上,华为云数据使能DAYU主力产品GaussDB(DWS)首席架构师解读了GaussDB(DWS)的一站式数据分析能力。随着大数据观念逐步深入,数据分析带来的价值愈发被大家重视起来。从PC时代,到互联网时代、移动互联网时代,数据应用不再是简单的分析和挖掘,而是更加智能化。典型企业分析场景主要分为实时分析处理,批量分析处理以及交互式查询处理。当前常见的解决方案用不同技术解决不同问题:使用Hana,Oracle Exadata处理实时分析场景;使用Teradata,Greenplum处理批量分析场景;使用Oracle和SQL Server等处理交互式查询场景。从单一场景来看都是不错的选择,但是站在整体数据域视角去看,这种搭积木式的方案带来诸多问题 ,例如组件多,开发方式不统一,数据格式不统一,反复转换消耗算力和存储空间;组件间的数据流转开发复杂,流转效率低;跨集群,跨组件数据一致性差等。华为云GaussDB(DWS)从两个维度构筑能力,为企业用户提供一站式分析能力:在全并行分布式架构上,无缝融合时序引擎、OLAP引擎、CEP引擎,同时支撑实时分析、批量分析和交互式查询等不同业务负载,达到开发统一、部署统一、维护统一、数据格式统一,真正做到一个产品包办的一站式分析;异构平台数据融合、协同分析,构筑全域数据一体化。当前企业IT系统不会是白纸一张,在不同阶段曾经采用不同技术建设的多套系统承载着不同的业务,这些系统还未完成历史使命,将延续使用相当长一段时间。华为云GaussDB(DWS)支持多样性的数据融合分析能力,无缝融合并协同分析企业现有平台数据,让老IT系统产生的数据焕发新价值。一、T+0实时分析业务场景中实时数据源种类繁多,针对不同数据源采用不同实时处理技术。时序引擎支持时序数据分析,内置100多种时序分析算法,将时序数据接入后实时合并;流引擎接入基于Kafka/Flink等流组件产生的流式数据,支持对流数据自定义持续计算。二、全并行批量分析基于Share-nothing分布式架构,华为云Gauss DB(DWS)天然具备大规模的分布式并行处理能力。多层级并行技术将系统性能推至极致,包括节点间并行、节点内SMP并行,CPU指令级并行以及动态编译技术。同时,通过自研TCP多流、多线程包合并、通信代理等技术,将scale-out能力推至极致,华为云GaussDB(DWS)也是目前唯一通过信通院2048节点大集群权威认证的分布式数据库产品。三、多场景交互式查询对短查询做了全流程梳理,从接入、SQL解析、计划发送、执行和数据扫描进行了一系列优化;由于Ad-hoc查询的负载具有不可预见性,经常可能会出现单一查询拖慢甚至拖垮整个集群的情况,华为云GaussDB(DWS)内置动态智能负载管理组件,实时监控运行状态和资源消耗,对异常作业自动预警并智能干预,例如内存占用过高,运行时间过长,大量数据广播等异常情况,系统会自动查杀等。以银行业务为例,“手机银行用户实时数据查询”与“网银系统交易流水批量作业”是最常见的业务场景,采用2套技术方案或2个平台分别处理,则会出现资源重复投入。使用华为云GaussDB(DWS)实现2个业务场景需求,数据无需反复转换和流转,提升了业务处理效率,节省运维成本。2小时可完成7万个核心业务的银行日增量数据归档和数据加工,同时支持手机银行终端7x24小时实时查询;当上千万个人用户与几十万企业用户同时使用系统,并发进行日间批量作业10万个的批量高峰期,实时查询可在3秒内响应,真正做到跑批和实时作业互不影响。华为云GaussDB(DWS) 面向未来,构筑新一代、全场景、云数据仓库,一站式数据分析,释放非凡数据价值,做企业数字化转型的最佳伙伴。【推荐阅读】【最新活动汇总】DWS活动火热进行中,互动好礼送不停(持续更新中) HOT 【博文汇总】GaussDB(DWS)博文汇总1,欢迎大家交流探讨~(持续更新中)【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1,欢迎大家交流探讨(持续更新中)【项目实践汇总】GaussDB(DWS)项目实践汇总贴,欢迎大家交流探讨(持续更新中)【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总,欢迎大家交流学习(持续更新中)【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习(持续更新中) 扫码关注我哦,我在这里↓↓↓
-
自动化机器学习作为一项能够帮助AI快速落地的关键技术,已经得到了国内外学术界和工业界的广泛关注。经过近几年的研究发展,AutoML在基本技术方法和任务上,已经取得显著的进展和成果。一、关键技术难题和挑战(1)开发一个高效全流程数据分析模型难度大大部分实际应用的模型往往是端到端的机器学习流水线。典型的数据分析流程涉及到多个阶段,包括数据预处理、特征工程、算法选择、模型评估及超参数优化等,而且每个分析阶段又包含了多种方法。数据分析人员需要了解每个阶段中每个方法的适用场景、运行原理以及超参数调优技巧,并通过不断尝试各种算法模型,反复迭代和试错,最终针对实际业务数据特征设计性能优异的机器学习流水线。因此,开发一个高效的全流程的数据分析模型具有技术难度大、严重依赖专家经验、周期较长等困难。目前主流的贝叶斯优化方法将机器学习流水线自动化设计问题抽象成模型选择和超参数调优的联合高维优化问题。然而,大部分贝叶斯优化方法在高维场景下性能较差。另外,基于遗传算法的自动化算法又面临着效率较低、耗时过长的问题。(2)概念漂移场景下的AutoML建模问题现有的AutoML技术方法大都用来解决静态数据集的自动化建模问题,但是在一些现实场景下,数据是持续产生的,数据特征是动态发生变化的。这种数据特征的动态改变也称为概念漂移。例如,在许多实际应用场景中,比如在线广告、推荐系统、情绪分析、欺诈检测等,数据按天、周、月甚至年依次到来,并且随着时间推移,数据分布会发生变化。由于存在概念漂移,一个时间段下训练所得到的模型,有可能难以适应下一个时间段的数据,从而导致预测准确性下降。终身学习(Lifelong Learning ) 的目的就是能够捕获数据概念漂移,使机器学习模型能够随着数据集的变化而动态更新。(3)特征工程中的问题和挑战特征提取的主要目标是通过从输入数据中提取突出的特征来提高机器学习模型的准确性,同时还可能从输入中消除噪声和冗余。 必须考虑特征的可扩展性,因为用于机器学习的数据集大小的增长使得提取特征变得困难且不可行。十年前,要对数千个特征运行特征选择算法是一个挑战,而现在的挑战是要对数百万个输入维执行此操作。这就提出了一个巨大的挑战:我们如何使特征提取具有可扩展性?特征工程通常需要相关领域的专业知识,并且涉及反复试验和错误,模型测试和评估。将原始数据转换为功能部件通常需要大量人员参与有关该问题的领域知识,因为它主要是由直觉驱动的。二、如何解决这些问题和挑战?(1)超参数重要性分析工具大多数 AutoML 工具常常只能机械地给出最优的参数配置,却无法洞察超参数与模型性能之间的关系。针对该问题,超参数重要性分析工具应运而生,它对 AutoML 工具运行过程中产生的算法性能数据进行离线分析,获得关于不同算法的超参数是如何影响模型性能的见解,这有助于算法开发人员深入理解算法的工作原理。 键超参数选择类似于特征选择,它可通过量化超参数重要性,以精简搜索空间的方式来加速搜索过程,提升 AutoML 效率,帮助专家洞察搜索空间。(2)提高计算效率和得到良好结果为了达到高计算效率和得到具有良好结果的目标,目前主要使用经验技术来提升 AutoML 的性能和效率。根据所使用的技术不同,可大致分为三类:基于集成学习的优化技术、基于元学习的优化技术和基于迁移学习的优化技术。 基于集成学习的优化技术将多个基础学习器合成一个强学习器,以达到提高学习器泛化能力的目的,在 AutoML 工具中使用集成学习技术可以提升工具所得结果的泛化性能。基于元学习的优化技术从历史经验中提取元知识(如数据集和模型的元特征、配置的性能等等),并基于元知识训练元学习器再应用于新问题中。元学习技术是 AutoML 性能优化中最常见的优化技术,常应用于在配置生成、动态配置自适应和配置评估等阶段进行性能提升,例如 Auto-Sklearn。基于迁移学习的优化技术使用来自原域的知识尝试改进目标域,它与基于元学习的优化技术的区别在于是否利用提取的知识训练模型,如果训练模型则是元学习,若直接使用知识则是迁移学习。(3)根据实际应用场景搭建算法框架文献1面向全流程数据分析中的自动化机器学习流水线设计场景,首先分析全流程数据分析特点,定义一种由五阶段构成的机器学习流水线,可以同时处理离散型和连续型特征面向终身学习场景,针对普遍存在的概念漂移和数据不平衡问题,研究提出了一种基于加权集成学习的算法框架Auto-LEE。作者:Python码一码转载自:简书
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签