• [热门活动] 【HC2021】华为云IoT专场体验:基于华为云IoT快速构建数字化工厂实践
    本关卡任务可以+200码豆+500码豆+50000码豆(码豆可在>会员中心<兑换实物奖品)活动时间:2021.09.15-2021.10.20在>>>IoT Stage物联网体验馆中体验了优质的物联网解决方案之后,相信大家对物联网在各行业的应用以及华为云IoT的能力也有了更加深入的了解。接下来的实践将会指导大家使用华为云IoT数据分析服务来快速构建数字化工厂孪生体。在开始实践之前,大家可以观看直播回放先了解一下华为云IoT数据分析的能力以及基本操作>>>华为云IoT数据分析资产建模如何支撑企业快速构建数字孪生体华为云IoT数据分析服务基于物联网资产模型,整合IoT数据集成、清洗、存储、分析、可视化,为IoT数据开发者提供一站式服务,降低开发门槛,缩短开发周期,快速实现IoT数据价值变现。本关卡的实践分为2个部分,第1部分纯体验无需操作,第2部分则给大家提供了一份SMT数字工厂孪生体构建的实验手册,只需要根据实验手册操作,即快速构建你的数字工厂孪生体。大家可以根据需求来进行体验。最后,我们希望大家在体验之后可以从开发者的角度出发,对华为云IoT数据分析服务的功能体验提出一些优化建议或者改进意见,我们一起做好华为云IoT平台。1.  快速体验IoT数据分析构建的数字化工厂孪生Demo+200码豆在这一部分,我们已经为您提供并安装好了一个示例应用,您可以>>>使用体验账号登录进行免费体验,以便能够深入了解物联网数据分析的各功能。在体验过程中,您可以在华为云IoT数据分析服务界面中查看示例业务场景的资产模型、时序分析、实时分析和和离线分析,并且可以看到Demo样例 ,中的配置数据源、创建管道任务并读取设备数据、资产建模和基于模型的设备数据实时分析。Demo中的最终数据孪生呈现效果可以通过 第三方应用实时呈现数据分析结果 查看。打卡要求:>>>使用体验账号登录进行免费体验登录体验账号后,在“资产建模-资产”中打开“SMTFactoryDemo”,在产品中添加子资产,并在新建资产选项框中任意位置输入你的华为云账号,截图当前页面,在本帖回复“已完成体验+截图”即为打卡成功,可获得200码豆。2.  基于华为云IoT快速构建数字化工厂实践+500码豆在第一部分的免费实践中,相信大家都已经在IoT数据分析的预制账号中查看了数字工厂孪生体的模型配置。接下来,你可以尝试自己动手了。在本帖底部下载实验手册,根据手册指导,完成你的数字工厂孪生体构建。打卡要求:下载附件实验手册,按照手册指导完成 SMT数字工厂孪生体的构建;按手册中1.3.3步骤9中标黄的要求,回复“已完成实践+截图”到本帖,即为打卡成功,可获得500码豆。3. 华为云IoT数据分析服务功能体验优化建议征集+50000码豆大家在完成1、2部分的实践过程中,可以在>>>IoT论坛交流吐槽版块 发表主题帖子,记录你在操作过程中遇到的问题或者对IoT数据分析服务的功能、体验优化建议,并将你的帖子链接回复到本帖评论。奖励如下:发布帖子表述清晰符合社区规范,即可获得1000码豆;如 你的帖子中涉及优化建议,请标明“优化建议”,活动结束后将根据建议的可行性以及采纳情况给予奖励10000-50000码豆。你可能还想看:>>>【必读】华为云IoT开发者社区新手指南——资源、版块、内容汇总!肯定有你想要的! >>>【华为云IoT云享专家招募】IoT行业开发者、技术专家进来集合!每月10万码豆! >>>【活动合集】IoT社区活动实时更新,参与0门槛,回帖就有奖,来赢万元大奖!>>>【日常互动】华为云IoT开发者基础激励~参与互动就有奖励哦>>>【加入社群】技术交流、内容分享、学习成长、最新活动,专家达人交流~就等你啦!注意事项1.   请务必使用个人账号参与活动(IAM、企业账号等账号参与无效);2.   本次活动一个实名认证账号只能对应一个收件人,如同一账号填写多个不同收件人,不予发放奖励;3.   本次活动,奖品将于获奖公示后10个工作日内完成发放,发放时间根据实际情况动态调整,如有延期敬请见谅;4.    码豆可在>>会员中心入口 >>>兑换实物礼品,具体规则请到会员中心阅读“码豆规则”;5.   为保证码豆成功发放,如果修改过账号名还请向工作人员提供修改前后的账号名。6.   本活动最终解释权归华为云所有。
  • [行业资讯] 可穿戴设备和连网设备应用
    过去的一年教会了我们许多关于医疗保健行业的事情——尤其是大数据分析的非凡影响。随着医疗研究人员和临床医生收集了有关新冠肺炎的更多数据(从病毒各个变体的基因组序列,到不同人群症状的典型发展,再到各种干预措施的效果),全球对这一流行病的反应变得更加智能和高效。这是数据分析在医疗保健中的实际应用——随着世界变得越来越全球化,它将成为保持人口健康的一个越来越重要的策略。让我们仔细看看数据分析在医疗保健中的一些应用。更智能的诊断有效的诊断取决于数据——从患者病历到对检查结果的解释,包括x光扫描。直到最近,这些数据的分析还取决于临床医生本人,以及他们跟上更广泛研究领域最新发展的能力。医疗保健中的数据分析意味着可以对大量诊断信息进行分析和比较。这使得无论是在症状、检查结果还是扫描图像中都可以发现模式,并极大地扩展了主动诊断的机会。个性化护理就健康和医疗而言,一种治疗方案并不适合所有人,医疗保健领域的数据分析有助于推动量身定制的个性化方法。通过将不同干预措施对不同患者群体的有效性数据与单个患者的详细信息相结合,数据分析可以针对正确的治疗方案提出积极的建议。病史、身体状况甚至环境条件都可以被考虑,还有细微差别也可以被考虑,正如我们在过去一年中所看到的那样,比如影响个体的细菌或病毒的特定菌株。可穿戴设备和连网设备用于监测心率、步行或跑步步数、睡眠模式等关键健康指标的可穿戴设备已成为主流。但这种可穿戴设备对医疗保健的影响远远超出了让个人更好地跟踪自己的健康和福祉。从连网设备收集的数据——无论是消费者可穿戴设备,还是诸如心率监测器、血压监测器、胰岛素探测器等更专业的设备,甚至诸如连网起搏器等植入设备,都可以让临床医生随时随地监测患者的健康状况。连网设备可以提供随时间推移个人健康状况的窗口,并且当特定指标达到令人担忧的水平时,可以向个人和护理人员发出警报提醒。的确,通过这种方式,可穿戴和连网设备在社会护理领域有很多重叠,大数据分析的机会众多,可以监测老年人和弱势群体的健康状况,并主动识别他们何时可能需要更多的家庭支持。未来的机会为了利用这些影响,医疗保健组织以及提供这些影响的技术提供商需要优先考虑能够顺利有效地进行大数据分析的方法和基础设施。这意味着优先考虑集成和互操作性。医疗保健行业庞大而复杂,其硬件和软件来自众多不同的供应商。(来源物联之家网)这些技术越来越需要能够相互连接和共享数据。当数据孤立时,数据分析将无法有效工作。这还意味着要实现强大的数字健康平台,它可以有效地将来自多个不同来源的医疗保健数据汇集在一起,进行详细的分析,并将这些数据转化为切实可行的见解。医疗保健领域的数据分析并不简单——数据集是复杂的、动态的,而且往往高度敏感——但正确的数据分析可以真正改变公共卫生。转载:物联网之家网
  • [行业动态] 永洪BI携手华为云FusionInsight,让数据分析更敏捷
    9月23日至25日,华为全联接2021以“深耕数字化”为主题,各行业领军人物分享最新成果与实践。其中在“华为云Stack构筑繁荣行业生态,让伙伴用好云”专题演讲中,永洪科技副总裁石虎,发表“永洪BI携手华为云FusionInsight,让数据分析更敏捷”演讲。永洪科技大数据BI解决方案以华为云FusionInsight智能数据湖为平台,实现海量数据的多维度、多层级、多粒度的数据分析,帮助政企客户实现从目标结果管理到过程管理,从“能看”向“能管”演进,助力政务、金融、制造、零售、电力、教育等各行业实现数据应用“全行业覆盖,多场景提升”。永洪BI携手FusionInsight已为各行业提供多款大数据BI联合解决方案,依托FusionInsight MRS三湖一集市能力,提供GB~PB级数据的可视化分析、多模分析和实时分析能力,实现PB级数据关联分析秒级响应的极致体验。在某大型国有银行转型大数据云服务的过程中,通过敏捷BI联合解决方案迁移了PB级数据,由传统的一体机模式,转型为开放可扩展的分布式架构。2021年4月,永洪科技携手华为在华为苏州研究所正式发布金融大数据分析平台联合解决方案,为金融行业搭建一个“高扩展性、响应快速、业务全面”的智慧运营分析平台。目前,华为与永洪BI已完成互通测试,在营销、反欺诈等典型场景中完成验证,实现在大型国有银行中的落地应用。同时,该解决方案通过引入MRS HetuEngine数据虚拟化引擎进一步提升“交互式查询”性能。在对某集团及分公司上万业务目标的应用中,原Hive查询一张数据表需耗时几分钟,甚至出现“千行数据半小时都不出结果”的问题,通过HetuEngine,将交互式查询从分钟级缩短至秒级,提升业务决策效率。在风险管控领域,双方携手打造的金融大数据联合解决方案,总结某行反欺诈风险领域的防控经验,并结合FusionInsight团队和永洪自身的金融大数据解决方案优势,通过智慧可视化分析平台的建设,实现风险预警自动化,风险处置流程化,帮助该银行完善了事前防控、事中控制和事后分析与处置为一体的风控体系。时至今日,BI可视化数据分析已是数字化转型过程中的刚需,永洪科技和华为云FusionInsight团队,凭借双方团队的技术实力和联合解决方案的不断创新,得到各行业的广泛认可。2020年,IDC MarketScape中国大数据管理平台评估报告中,华为云凭借FusionInsight不断创新,位居“领导者(Leaders)”象限,并在市场份额和技术实力两个维度双领先;2021年,IDC发布的中国大数据平台市场研究报告中,华为云凭借FusionInsight智能数据湖在政企行业的实践积累以及ICT市场的整体生态,位居市场份额第一。而永洪科技也已连续五年被评为敏捷BI领域第一名,在爱分析《2021年中国BI商业智能报告》中显示,永洪BI在Top20银行客户覆盖率达80%,在金融、制造领域的市场占有率第一。永洪科技拥有1000+家合作伙伴,6000+家企业客户,涵盖了金融、制造、零售、能源、政府、教育等近20个中国支柱产业及新经济产业。未来,永洪科技将和华为云FusionInsight将强强联合,进一步深化合作,倾力打造更敏捷、更快速、更强大的大数据BI联合创新解决方案,让数据分析更敏捷,实现“释放数据价值,人人都是数据分析师”的宏大愿景。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 
  • [其他] 机器学习的应用
    数据分析与挖掘“数据挖掘”和"数据分析”通常被相提并论,并在许多场合被认为是可以相互替代的术语。关于数据挖掘,已有多种文字不同但含义接近的定义,例如“识别出巨量数据中有效的.新颖的、潜在有用的最终可理解的模式的非平凡过程”,无论是数据分析还是数据挖掘,都是帮助人们收集、分析数据,使之成为信息,并做出判断,因此可以将这两项合称为数据分析与挖掘。 数据分析与挖掘技术是机器学习算法和数据存取技术的结合,利用机器学习提供的统计分析、知识发现等手段分析海量数据,同时利用数据存取机制实现数据的高效读写。机器学习在数据分析与挖掘领域中拥有无可取代的地位,2012年Hadoop进军机器学习领域就是一个很好的例子。 模式识别模式识别起源于工程领域,而机器学习起源于计算机科学,这两个不同学科的结合带来了模式识别领域的调整和发展。模式识别研究主要集中在两个方面。(1)研究生物体(包括人)是如何感知对象的,属于认识科学的范畴。(2)在给定的任务下,如何用计算机实现模式识别的理论和方法,这些是机器学习的长项,也是机器学习研究的内容之一。模式识别的应用领域广泛,包括计算机视觉、医学图像分析、光学文字识别、自然语言处理、语音识别、手写识别、生物特征识别、文件分类、搜索引擎等,而这些领域也正是机器学习大展身手的舞台,因此模式识别与机器学习的关系越来越密切。在生物信息学上的应用随着基因组和其他测序项目的不断发展,生物信息学研究的重点正逐步从积累数据转移到如何解释这些数据。在未来,生物学的新发现将极大地依赖于我们在多个维度和不同尺度下对多样化的数据进行组合和关联的分析能力,而不再仅仅依赖于对传统领域的继续关注。序列数据将与结构和功能数据基因表达数据、生化反应通路数据表现型和临床数据等一系列数据相互集成。如此大量的数据,在生物信息的存储、获取、处理、浏览及可视化等方面,都对理论算法和软件的发展提出了迫切的需求。另外,由于基因组数据本身的复杂性也对理论算法和软件的发展提出了迫切的需求。而机器学习方法例如神经网络、遗传算法、决策树和支持向量机等正适合于处理这种数据量大、含有噪声并且缺乏统一理论的领域。 更广阔的领域国外的IT巨头正在深入研究和应用机器学习,他们把目标定位于全面模仿人类大脑,试图创造出拥有人类智慧的机器大脑。2012年Google在人工智能领域发布了一个划时代的产品一人脑模拟软件,这个软件具备自我学习功能。模拟脑细胞的相互交流,可以通过看YouTube视频学习识别猫、人以及其他事物。当有数据被送达这个神经网络的时候,不同神经元之间的关系就会发生改变。而这也使得神经网络能够得到对某些特定数据的反应机制,据悉这个网络已经学到了一些东西,Google将有望在多个领域使用这一新技术,最先获益的可能是语音识别。具体应用(1)虚拟助手。Siri,Alexa,Google Now都是虚拟助手。顾名思义,当使用语音发出指令后,它们会协助查找信息。对于回答,虚拟助手会查找信息,回忆我们的相关查询,或向其他资源(如电话应用程序)发送命令以收集信息。我们甚至可以指导助手执行某些任务,例如“设置7点的闹钟”等。(2)交通预测。生活中我们经常使用GPS导航服务。当我们这样做时,我们当前的位置和速度被保存在中央服务器上来进行流量管理。之后使用这些数据用于构建当前流量的映射。通过机器学习可以解决配备GPS的汽车数量较少的问题,在这种情况下的机器学习有助于根据估计找到拥挤的区域。(3)过滤垃圾邮件和恶意软件。电子邮件客户端使用了许多垃圾邮件过滤方法。为了确保这些垃圾邮件过滤器能够不断更新,它们使用了机器学习技术。多层感知器和决策树归纳等是由机器学习提供支持的一些垃圾邮件过滤技术。每天检测到超过325000个恶意软件,每个代码与之前版本的90%~98%相似。由机器学习驱动的系统安全程序理解编码模式。因此,他们可以轻松检测到2%~10%变异的新恶意软件,并提供针对它们的保护。
  • [活动公告] (获奖名单公布)【HC2021话题屋】#专家坐堂# 华为云IoT数据分析资产建模如何支撑企业快速构建数字孪生体,和专家互动得积
    获奖名单公布外围的小尘埃真爱无敌HB1688恭喜以上开发者,之前未填写获奖信息的开发者,请与11月5日16:00前完成获奖信息填写。为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】活动奖励a. 奖励一:参与互动用户每人获得圆梦积分3分b. 奖励二:在所有参与互动用户中抽取3个幸运奖,奖品为《ModelArts人工智能应用开发指南》书籍1本。专家简介蒋忠跃华为云IoT数据分析服务高级工程师从事物联网领域产品研发工作3年,对物联网领域大数据分析有深刻理解,曾参与全球最大车联网(PSA)平台方案架构设计与研发工作,目前负责华为云IoT数据分析产品、数字孪生和大数据分析技术的研发工作。 直播简介     华为云IoTA服务基于物联网资产模型,整合IoT数据集成、清洗、存储、分析、可视化,降低开发门槛,缩短开发周期,帮助IoT数据开发者快速实现IoT数据价值变现。通过动手实操,让智能制造领域开发者体验如何基于华为云IoT边缘计算、设备接入、数据分析能力,从设备接入到产线孪生,完成一整套工业物联网方案的开发。 直播亮点1、了解物联网产业的时代背景以及物联网解决方案给行业带来的价值2、理解基于华为云物联网解决方案技术特点和对应的设计理念3、掌握基于华为云物联网服务的快速设备接入方案,并具备完整的设备接入实现能力4、了解数字化工厂开发流程 直播时间9月25日  15:00活动时间9月22日—10月7日互动方式直播前您可以在本帖留下您感兴趣的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流,我们会在全部活动结束后对参与互动的用户进行抽奖。活动规则本次活动结束后,将由华为云工作人员将符合抽奖条件的用户名单导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。 Tips1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】2)填写时间截至2021年10月25日23:59。3)在HC2021开发者社区系列活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳https://bbs.huaweicloud.com/forum/thread-154048-1-1.html
  • [活动公告] (获奖名单公布)【HC2021话题屋】#专家坐堂# 半小时变身实时数据分析专家,和专家互动得积分抽好礼~
    获奖名单公布Ania昶谕禄仁恝恭喜以上开发者,之前未填写获奖信息的开发者,请与11月5日16:00前完成获奖信息填写。为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】活动奖励a. 奖励一:参与互动用户每人获得圆梦积分3分b. 奖励二:在所有参与互动用户中抽取3个幸运奖,奖品为《ModelArts人工智能应用开发指南》书籍1本。专家简介王浩数据仓库服务GaussDB(DWS)技术专家 直播简介     凭借实时数据分析技术,GaussDB(DWS)荣获2021年度数博会“领先科技成果奖-新技术”,如何解决时序数据带来的挑战?GaussDB(DWS)技术专家介绍实时数仓逻辑架构和时序引擎,带大家一起解密实时数据分析核心技术。 直播亮点1.了解实时数仓的技术架构;2.了解时序引擎的核心技术; 直播时间9月25日  11:00活动时间9月22日—10月7日互动方式直播前您可以在本帖留下您感兴趣的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流,我们会在全部活动结束后对参与互动的用户进行抽奖。活动规则本次活动结束后,将由华为云工作人员将符合抽奖条件的用户名单导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。 Tips1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】2)填写时间截至2021年10月25日23:59。3)在HC2021开发者社区系列活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳https://bbs.huaweicloud.com/forum/thread-154048-1-1.html
  • [其他] 机器学习、人工智能与数据挖掘的关系
    机器学习、人工智能与数据挖掘的关系机器学习是人工智能的一个分支,作为人工智能的核心技术和实现手段,通过机器学习的方法解决人工智能面对的问题。机器学习是通过一些让计算机可以自动“学习”的算法,从数据中分析获得规律,然后利用规律对新样本进行预测。机器学习是人工智能的重要支撑技术,其中深度学习就是一个典型例子。深度学习的典型应用是选择数据训练模型,然后用模型做出预测。例如,博弈游戏系统(Deep Blue)重于探索和优化未来的解空间(Solution Space),而深度学习则是在博弈游戏算法(例如Alpha Go)的开发上付诸努力,取得了世人瞩目的成就。下面以自动驾驶汽车研发为例,说明机器学习和人工智能的关系。要实现自动驾驶,就需要对交通标志进行识别。首先,应用机器学习算法对交通标志进行学习,数据集中包括数百万张交通标志图片,使用卷积神经网络进行训练并生成模型。然后,自动驾驶系统使用摄像头,让模型实时识别交通标志,并不断进行验证、测试和调优,最终达到较高的识别精度。当汽车识别出交通标志时,针对不同的标志进行不同的操作。例如,遇到停车标志时,自动驾驶系统需要综合车速和车距来决定何时刹车,过早或过晚都会危及行车安全。除此之外,人工智能技术还需要应用控制理论处理不同的道路状况下刹车策略,通过综合这些机器学习模型来产生自动化的行为。数据挖掘和机器学习的关系越来越密切。例如,通过分析企业的经营数据,发现某一类客户在消费行为上与其他用户存在明显区别,并通过可视化图表显示,这是数据挖掘和机器学习的工作,它输出的是某种信息和知识。企业决策人员可根据这些输出人为改变经营策略,而人工智能是用机器自动决策来代替人工行为,从而实现机器智能。数据挖掘是从大量的业务数据中挖掘隐藏的、有用的、正确的知识,促进决策的执行。数据挖掘的很多算法都来自机器学习和统计学,其中统计学关注理论研究并用于数据分析实践形成独立的学科,机器学习中有些算法借鉴了统计学理论,并在实际应用中进行优化,实现数据挖掘目标。机器学习的演化计算深度学习等方法近年来也逐渐跳出实验室,从实际的数据中学习模式,解决实际问题。数据挖掘和机器学习的交集越来越大,机器学习成为数据挖掘的重要支撑技术。
  • [交流吐槽] 【华为IoT数据分析体验】“优化建议”(1)
    1建议把“快速体验IoT数据分析构建的数字化工厂孪生”做成沙箱实验,这样体验会更好,在现实页面用公共账号不好,也能更好地一步步实现。
  • [其他] 什么是数据挖掘?
    数据挖掘使用机器学习、统计学和数据库等方法在相对大量的数据集中发现模式和知识,它涉及数据预处理、模型与推断、可视化等。数据挖掘包括以下几类常见任务。1. 异常检测异常检测(anomaly detection)是对不符合预期模式的样本、事件进行识别。异常也被称为离群值、偏差和例外等。异常检测常用于入侵检测、银行欺诈、疾病检测、故障检测等。2. 关联分析关联规则学习(Association rule learning)是在数据库中发现变量之间的关系(强规则)。例如,在购物篮分析中,发现规则{面包,牛奶}→{酸奶},表明如果顾客同时购买了面包和牛奶,很有可能也会买酸奶,利用这些规则可以进行营销。3. 聚类聚类是一种探索性分析,在未知数据结构的情况下,根据相似性把样本分为不同的簇或子集,不同簇的样本具有很大的差异性,从而发现数据的类别与结构。4. 分类分类是根据已知样本的某些特征,判断一个新样本属于哪种类别。通过特征选择和学习,建立判别函数以对样本进行分类。5. 回归回归是一种统计分析方法,用于了解两个或多个变量之间的相关关系,回归的目标是找出误差最小的拟合函数作为模型,用特定的自变量来预测因变量的值。数据挖掘在大数据相关技术的支持下,随着数据存储(非关系型NoSQL数据库)、分布式数据计算(Hadoop/Spark等)、数据可视化等技术的发展,数据挖掘对事务的理解能力越来越强,如此多的数据堆积在一起,增加了对算法的要求,所以数据挖掘一方面要尽可能获取更多、更有价值、更全面的数据,并从这些数据中提取价值。数据挖掘在商务智能方面的应用较多,特别是在决策辅助、流程优化、精准营销等方面,例如:广告公司可以使用用户的浏览历史、访问记录、点击记录和购买信息等数据,对广告进行精准推广。利用舆情分析,特别是情感分析可以提取公众意见来驱动市场决策。在电影推广时对社交评论进行监控,寻找与目标观众产生共鸣的元素,然后调整媒体宣传策略迎合观众口味,吸引更多人群。
  • [技术干货] 【直播回顾】【云享MindTalks·第十七期】#探索性数据分析方法#复杂数据的调查、汇总、理解与应用之道
    直播回放:https://bbs.huaweicloud.com/live/education_live/202109021900.html探索性数据分析方法核心理念与基本步骤1.理解数据科学“数据科学家不仅仅需要构建出色的数据模型,更重要的是能够阐释已获得的成果并将成果用于商业智能的开发当中”--Suresh Kumar Mukhiya➢涉及多个领域的跨学科知识,包括计算机科学,数据信息,统计学,以及数学➢数据科学正处于热度不减的巅峰时刻,同时数据科学家的技能也正在改变➢要成为顶尖的数据科学家,我需要学习什么类型的技能?2.探索性数据分析方法的核心理念“将探索性数据分析方法纳入统计学专家的工具箱,以便于对数据进行探查和发现信息并建立更加崭新的假设,从而在数据收集与实验的过程中开发出更加新颖的研究方法。”--John Tuckey➢探索性数据分析方法,Exploratory Data Analysis[EDA]指的是探查现有可用的数据集从而发现数据模型,异常点,检验假设,以及采用统计度量措施来验证假设的过程➢主要目的就是在实际进行正式建模或者形成假设之前探查出数据可以告知我们什么信息➢该方法让我们通过可视化技术来理解数据并为进一步的分析做出假设。其重点就是为后续步骤建立数据概要或者提供洞察信息➢在没有做出任何基本假设的情况下,探索性数据分析方法实际上揭示出了数据隐含的基本事实3.探索性数据分析方法的阶段划分➢8个阶段类似于跨行业数据挖掘标准流程(CRISP)中用到的框架➢数据需求确定[多种数据源/存储类型/数据分类]➢数据收集[以正确的格式进行存储]➢数据处理[预整理过程/导出数据集/存放到正确的表格/结构化处理]➢数据清洗[数据转换/完整性/数据重复性/数据错误/缺失值检查]➢探索性数据分析[数据中隐含的信息/采用多种类型的数据转换技术]➢数据建模与算法应用[模型用来描述自变量和因变量之间的关系]➢数据产品[数据作为输入,进而产生输出/推荐模型]➢信息传递与成果展示[成果传递/服务于商业智能/数据可视化]4.探索性数据分析方法的基本步骤➢问题定义[在提取有用的洞察信息之前,定义需要解决的业务问题]➢数据准备[定义数据源/定义数据架构模式和数据表/理解数据的主要特征/清洗数据集/删除不相关的数据集/转换数据/数据分块]➢数据分析[汇总数据/发现数据之间隐藏的相关性和关联关系/开发预测模型/评估模型/计算精度/汇总表,图表,描述性统计,推断统计,相关性统计,检索,分组,以及数学模型]➢应用开发与成果表示[以图表,汇总表,地图,以及图解示意图的形式向目标群体展示数据集信息/从数据集获取到的分析成果应该便于业务相关人员进行解读,这是探索性数据分析的主要目标之一/散点图,字符图,直方图,箱线图,残差图,均值图]5.常用软件与工具➢Python语言[广泛用于数据分析,数据挖掘,以及数据科学领域]➢R语言[广泛用于统计计算以及图形数据分析领域]➢Weka[开源的数据挖掘软件包/含有探索性数据分析方法中用到的多种工具和算法]➢KNIME[基于Eclipse集成开发环境,用于数据分析的开源工具]➢Python库-NumPy[数据分析与科学计算基础软件包]➢Python库-Pandas[数据分析支持库]➢Python库-SciPy[用于科学计算的开源Python库]➢Python库-Matplotlib[大量的可自定义的绘图库,全面完整的后端程序。报表应用程序/交互式分析应用程序/复杂仪表盘应用程序]6.答观众问见评论区:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=151651
  • [技术干货] 物联网如何帮助数据分析货币化
    将您现有的资产货币化。这听起来很简单——就像一个伟大的商业成功战略——把你已经拥有的东西变成一个宝贵的财富来源,甚至是全新的收入来源。然而,这可能是一个棘手的战略图片来源:https://pixabay.com/images/id-6494073/将您现有的资产货币化。这听起来很简单——就像一个伟大的商业成功战略——把您已经拥有的东西变成一个宝贵的财富来源,甚至是全新的收入来源。然而,这可能是一个棘手的战略。在这篇文章中,我们将探讨物联网如何帮助多个行业的组织将其数据分析货币化。 使用物联网将数据分析货币化 首先,让我们来看看物联网可用于通过数据分析获利的多种方式。 从最简单的角度来看,物联网可以为企业领导者提供一个全新的统一数据视图。嵌入在整个环境中的传感器收集数据并将其传输到单个集中式平台,从而提供单一的商业智能集中视图。获得新见解和采取切实行动来提高效率的机会是巨大的。 我们网站中经常讨论的另一个此类示例是预测性维护。在这里,物联网传感器可以对有价值的有形资产进行主动维护和维修安排,从而延长其使用寿命并提高业务利润。 然后是数据货币化与新收入来源更直接相关的方面。例如,在消费品类产品中嵌入物联网传感器可以让企业收集有关这些产品使用情况的数据,从而对客户行为和产品性能产生更深入、更丰富的见解。这些见解是开启新的销售、营销和产品开发战略的关键。 此类数据甚至可以打包并作为产品本身进行销售,从而形成全新的收入来源。 货币化有多种形式 货币化示例:从旨在提高效率从而节约成本的战略(从而间接地将数据分析货币化),到主动推动新收入流的战略(从而直接地将数据分析货币化)。思科表示,对于后者,尽管物联网“有潜力在未来几年产生约19万亿美元的价值…..,但70%以上的组织不会从其物联网解决方案中产生服务收入。” 一方面,这表明,在通过物联网实现数据分析的货币化方面,存在一些具有挑战性的障碍。另一方面,它为能够做到这一点的企业指出了一个令人兴奋的机会。 思科声称,这些障碍可以围绕2大领域来定义:安全和隐私问题;而成功的货币化需要大量投资以获取新能力,但通常没有明确的回报。换句话说,通过物联网货币化可能需要企业进行创新、试验和投资,而从一开始就没有明显的投资回报。 迎接挑战 那么,组织如何才能更好地应对这些挑战,并有效地利用物联网将其基础设施中的可用数据货币化? 关键是态度和实际实施的结合。在实施方面,安全性、隐私性和合规性是关键。组织需要采取自下而上的方法来确保他们部署的每一个物联网设备的身份,并确保从生成、传输和存储的那一刻起保护整个物联网基础设施中的数据。在态度方面,他们需要准备好在这个充满活力的技术空间中保持开放的心态,进行试验和创新。(编译iothome)来源 | 物联之家网作者 | Al Sisto 原文链接 | https://www.iothome.com/tech/fenxi/2021/0908/11872.html
  • [AI家园] AI数据建模如何预防气候灾难?
    跨学科的气候研究反映出了一种共识:即系统和综合分析包含了保护地球免受气候灾难影响的关键。大数据工具增强了数据整合,对正在发生的事情和即将发生的事情,提供了更好的洞察力。作者:科技行者  来源:今日头条随着预测分析模型的改进,该领域内的创新者们正在呼吁更好地访问并解释气候数据,这些数据历来非常分散,而使用起来非常昂贵。现在,已经很少有人工智能(AI)技术未曾涉足的领域了。对于气候变化的问题,人工智能的收集和过滤能力已经证明了这种技术是一种非常强大的工具。热度持续:寻找气候变化的解决方案从前工业时代算起,地球的年度平均地表温度上升了两度。这种微小的温度变化会导致累计热量产生重大影响。破纪录或者极端的温度、更多的降水以及积雪的减少会破坏生态系统。如果气候变化这个问题得不到解决,后果将非常严重:在美国,气温每升高 1℃ (33.8℉),年 GDP 据估计将下降 1.2%。如果不能够按照《巴黎协定》标准(1.5℃)限制温度上升,到2100年,就有可能导致人均GDP实际损失大约7%。极端天气影响了全球约 70% 的经济部门。在2020年,受气候影响造成的损失达到2680亿美元,其中64%有各类保险覆盖。有保险覆盖的企业或个人大都位于发达国家,例如美国。寻求气候变化解决方案的热潮已经兴起,世界各地的企业和政府都感到需要适应和恢复策略。基于数据的气候解决方案Arbol的首席执行官兼 dClimate 创始合伙人 Siddhartha Jha倡议将数据作为应对气候变化风险的一条路径。dClimate是一家在数据气候解决方案领域前沿的公司。Sid是这样描述气候数据的作用的:“气候数据的重要性不仅仅在于能够帮助企业和政府主动地为各种灾害天气最好准备,还在于它能够帮助他们构建工具(例如基于数据的天气保险、灾难模型和分析等),以更好地理解、管理风险并建立抵御这些风险的能力。”企业、政府和市场都依赖准确的气候数据和预测来做出战略规划决策:航运和物流公司依靠超本地天气预报来优化路线。建筑公司需要风力和降雨预报以避免工期延误。政府用气候数据为公共政策决策提供信息。如果领导者们能够获得气候数据,就可以提前为受气候和天气相关灾害影响最严重的地区制定援助计划。随着恶劣天气事件变得越来越频繁,气候变量也在发生变化,对可操作的气候情报的需求将持续增加。数据(和人工智能数据建模)能够如何帮助应对气候变化dClimate和Arbol 是同一个团队创立的,Arbol 是一个参数化天气保险平台,该平台利用机器学习和独特的人工智能承保人为天气风险市场带来透明度和效率。它同领先的去中心化预言网络 Chainlink 紧密集成,后者提供了对自动、去中心化数据验证和 dClimate 治理层的支持。消费者可以使用“技能点数”购买数据集。一个去中心化的自治组织(DAO)提出并投票表决计算技能点数的算法,该算法可以将平台的透明度保持在很高的水准上。Sid是这样描述dClimate在这条路上的起点和未来的目标的——“dClimate 始于一个强大的基础层,其中包含超过 1,000 TB经过清洗的、标准化的气候信息,这些信息已经通过网络的 REST API 免费提供给数据消费者。数据公司和独立发行商可以为这个基础层添砖加瓦,他们可以选择免费提供数据集,也可以在这里通过他们的工作获利。”该平台甚至对气候信息的临时消费者也很友好,这有效地实现了民主化,并且解决了过去阻碍发展的两个障碍。两大障碍:访问和成本有两个主要原因造成了气候数据没有能够得到充分利用:1. 访问2. 成本气候数据生态系统是高度分散的,而且不够透明,难以使用。即使是知识最为渊博的使用者难以以有效率的方式提取他们想要的数据。这就给将气候数据用于生产或工艺开发带来了通常难以克服的障碍。当今,成本也是气候数据得到充分使用的一个重要障碍。没有标准化的、开放的市场,只有精英们才能够购买洞见。如何公平竞争如果希望让气候数据帮助全球利益相关者主动适应气候变化风险,就必须克服这些障碍。 dClimate就是一家正在这样做的公司。正如 Sid 解释的那样,“dClimate 是第一个开放、透明和去中心化的气候数据、预测和模型网络。它将发行商和消费者在一个市场中直接连接起来,市场中所有的数据都会自动地进行可靠性评分,所有的参与者都在公平竞争的环境中运作,让最好的数据——而不是拥有最多营销预算的最大型的公司——能够自然而然地取得成功。”将正确的信息交到正确的人的手中,并及时利用这些信息做一些有意义的事情,要想做到这一点,气候数据的去中心化可能是一个关键。未来是活着对于复杂的人工智能系统来说,我们能够想象到的最崇高的使命之一就是维持和改善地球上的生活。在气候变化的情况下,可以毫不夸张地说,生命和经济都受到了威胁。Sid 描述了一个充满可能性的未来,“数据只是 dClimate 的基础层。对于全球70%以上正在因为气候和天气变化面临着日益增加的风险的企业来说,你能够使用这些数据所做的事情和构建的东西,才能够真正地实现变革。从新型的数据驱动的天气保险产品到帮助ESG计划认证碳足迹的应用程序,这些工具可以帮助各行各业的企业提前为气象灾害做好规划,并通过这种方式节省金钱、时间——甚至还可能挽救生命。参与者利用dClimate的可能性可以说是无穷无尽的。”Sid 补充表示:“dClimate不仅仅希望构建一个易于访问的数据集和模型存储库。这只是个起点。我们正在寻求建立一个真正透明和开放的生态系统,其中包含新的基于气候和天气的应用程序和产品,这些工具可以帮助全球企业、金融机构和政府建立自身的气候适应能力。”因为地球上的每一个生命都受到地球上其他生命的影响,所以在创新者们推动技术发展应对气候变化的时候,所有人都要全力以赴。
  • [热门活动] 泛微数字化党建管理平台:党员管理、党务开展更高效,党建更便捷
    国家提出“要高度重视信息化发展对党的建设的影响,做好网络发展到哪里党的工作就覆盖到哪里,充分运用信息技术改进党员教育管理。”随着数字时代的到来,越来越多组织开始着手推进党建工作数字化转型,提升党建质量!针对组织内部党员人数多、分布广、信息难摸清;党建工作分散、效率低;党务管理标准难统一;党内决策执行情况无法及时跟踪、考核;党建工作难量化,考核指标无法推进落实等管理难题。泛微将党建管理与移动办公高效融合,帮助打造集“党组织管理、党员档案、党员发展、党费管理、党建活动、党员教育以及数据执行分析”于一体的数字化党建管理平台。帮助实现党建工作留痕、全程联动,及时发现党建工作问题,规范、高效完成党建目标。(泛微数字化党建管理平台应用)泛微数字化党建管理平台亮点应用1、便捷党建门户,高效开启党建工作根据不同用户类型,构建“党员、自助党务以及党建宣传、党务公开等”多种专项门户类型,帮助智能聚合、分类党建信息、应用,高效了解党务消息、党员发展情况,一键开启党务办公。(多样化门户)2、智能党组织管理,建立组织信息图谱为了规范管理党组织、监督党组织情况,泛微借助移动端为用户提供便捷的“党组织管理”窗口,打开手机应用随时了解所有党组织的名称、类型、所属公司、组建时间、人员组成情况等信息,智能党组织地图帮您快速找到身边的组织和支部、高效开启交流通道。(党组织移动管理)3、党员管理服务,信息查询、教育/监督方便围绕“党员”管理所需,不断拓展应用,建立全面数字化的信息、学习窗口,全面提升党员信息管理效率,优化党员学习交流体验。1)党员信息管理帮助建立党员电子信息档案库,党员信息按照所属单位智能分类,形成树形索引,高效了解各个组织党员基本信息。(党员信息库)同时借助党员信息卡片,汇总呈现每一位党员信息,形成清晰、精准的党员数据,摸清党员情况。(党员信息卡片)2)党员在线教育泛微在线学习应用让党员在手机端不受时间空间限制,自主选择学习内容,随时在线交流、分享;同时,通过网上考试、在线答题及时检验学习成果、丰富学习形式,增强学习灵活性。(视频、音频、文字等多种形式学习资料)3)党员风险预警为了提升党员监管质量,泛微OA用流程帮助组织及时完成党员风险行为登记记录,形成集党员基本情况、主要预警事件、处理意见于一体的风险等级应用,提升党员管理质量。4、党务智能办理应用,规范、高效开展党务围绕组织内部“党员发展”、“党费缴纳”两大核心模块建立标准应用,提升党务办理效率。1)党员发展全生命周期管理围绕组织内部党员发展周期建立“提交入党、入党积极分子、发展对象备案、预备党员备案、预备党员转正”流程体系,形成各阶段人员信息库,规范、高效发展党员。• 流程化的党员发展审批体系党员入党、备案、转正过程全部通过流程驱动,规范审批推进,确保党员发展公开、透明。(入党申请流程展示)• 发展党员信息台帐,了解各阶段发展成果通过流程上报的各阶段人员信息自动分类汇总到电子表单,党组织人员可以随时通过信息台帐了解党员发展规模、转正情况等具体成果。(发展党员台账)2)党费便捷缴纳、快速查询、催缴根据党费标准灵活配置收费方式,实现按照基数比例、固定金额、减免等方式收缴党费,提供党费自动计算、统计、查询、缴费状态标记、缴费提醒、移动缴费等多种便捷应用,有效避免漏缴、忘缴现象。(缴费情况查询)(缴费数据统计-移动端快速补缴)以前收党费既要收钱、记账,个别忘记缴费的还要及时提醒,难免疏漏。现在,缴费、通知、催缴、统计、查询全部智能化、数字化,不仅管理便捷,党员体验更佳。5、党建活动高效组织,丰富参与方式借助OA流程、视频会议等多种应用模块,高效组织“三会一课、主题党日、基层评议会”等活动,实现流程化创建、智能通知、数字化开展,提升活动组织效率。(便捷会议)6、数据分析平台,精准掌握党建情况借助BI报表数据分析能力,帮助建立多维度党建数据分析平台,及时掌握党建成果,包括党组织数量、缴费统计排名、支部发展党员成果排名以及三会一课开展情况等信息,及时发现党建工作问题。(党建数据分析)应用价值:泛微数字化党建管理平台可以将党建管理制度进行流程固化,规范开展党建工作,帮助落实责任主体,实现党建任务执行、跟踪一体化,真正落实工作。同时结合移动应用帮助实现党建资源、应用整合,全面提升党建管理效率,帮助实现智慧、阳光、活力、效能、服务、廉洁的党建管理目标。
  • [热门活动] 华为云GaussDB(DWS)蝉联数据仓库领域年度“金沙奖”最佳产品奖
    7月28日-29日,2021(第六届)中国大数据产业生态大会在北京举行。本次大会以“数智转型 融合共生”为主题,共同探讨产业服务数字化发展和行业数智化转型方向,大数据领域年度“金沙奖”也在会上正式揭晓,华为云数据使能DAYU主力产品——数据仓库GaussDB(DWS)蝉联“2021 中国大数据·数据仓库领域最佳产品奖”。 华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,面向政企、互联网和物联网等应用场景,以企业级内核、统一架构提供标准数仓,实时数仓和云数仓。业务分析师和数据分析师在批量分析、交互式查询与分析、实时分析等业务场景中,可借助GaussDB(DWS)轻松获得一站式分析能力,降低数据分析门槛提升数据分析效率,更便捷高效的释放数据价值。一站式数据分析支持上万分析师在线作业,满足企业平台容量需求继2020年获奖后,华为云GaussDB(DWS)研发团队在数据分析技术上持续探索。通过智能多维的混合负载管理,华为云GaussDB(DWS)可在集群内实现实时、批量、交互式负载的一站式数据分析。为数据接入提供丰富的数据源接口,满足数据分析的全流程中不同角色对数据分析的不同需求。通过自研TCP多流技术提高物理连接数量级,在MPP架构下数据节点全并行数据交换,华为云GaussDB(DWS)实现单集群最大支持2048节点。2021年Q1建成投产的480节点大集群分析师平台,成为金融行业最大规模商用数据仓库集群,支持上万分析师在线作业,极大满足了大企业数据量激增对平台容量扩展的需求。高并发毫秒级点查询,效率提升200倍通过30多项查询重写技术(含4项专利),优化Ad hoc查询性能,实现高并发毫秒级点查询。在已商用的GaussDB(DWS)数据分析平台中,灵活查询平均运行时间由30分钟降低至50秒,查询平均等待时长更是由5小时降低至1.5分钟,查询效率提升200倍!对企业而言,业务数据从产生到汇聚,再到面向场景化分析,每个环节都分秒必争,快速释放数据潜能已成为企业数字化转型的刚需。数据分析架构简化,流数据每秒千万级实时接入在互联网和物联网业务应用中,时序数据和流数据承载了大量的业务内容。典型时序和流数据分析方案需要引入多种组件,不但数据格式难统一,平台架构也变得非常厚重,扩展困难。华为云GaussDB(DWS)在全并行分布式架构上,无缝融合OLAP引擎、时序引擎、CEP引擎,简化数据分析组件架构,实现T+1和T+0合一的一站式数据分析,实时数据与历史数据关联分析技术做到同行业技术领先。在已投产的实时数仓方案中,流数据高峰流量每秒千万级实时接入,解决了传统方案流数据接入流量速率的瓶颈问题。华为云GaussDB(DWS)提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,在全行业数字化转型中帮助企业提质增效,建立核心竞争力,夯实企业发展根基。     目前,华为云大数据热销主打的产品有:1. 数据仓库服务GaussDB(DWS)提供云上企业级融合数据仓库,支持实时数据分析,具备高性能、低成本、易扩展等特性2.MapReduce服务 3.0.5版新版ClickHouse集群支持跨AZ集群,适用海量数据大宽表实时分析/实时BI报表分析3. 云搜索服务 CSS兼容Elasticsearch完全托管在线分布式搜索服务,用于站内搜索/日志分析/运维监控等场景 4.数据湖治理中心 DGC数据全生命周期一站式开发运营平台,可复用行业知识库,助力企业快速构建数据运营能力5.数据湖探索服务 DLI提供一站式融合处理分析服务,会SQL就会大数据分析,高易用免运维 现在828大促期间,大数据福利专场上线,注册用户即可免费体验大数据,爆款产品击穿底价5折!详情点击了解:https://activity.huaweicloud.com/bigdata.html
  • [行业资讯] TIOBE 8 月编程语言排行榜:数据挖掘和人工智能语言强势崛起!
    今天,TIOBE 官方最新发布了 8 月的编程语言榜单,一起来看本月榜单中有什么值得关注的发展趋势吧?(图片来自视觉中国)数据挖掘和人工智能语言正在蓬勃发展每一种编程语言的兴起从来都离不开它所适用的技术领域,二者之间一直以来都是水涨船高的关系,曾于智能手机兴起阶段一度攀升至 TIOBE 榜单前十的 Objective-C 就是最好的例子。Objective-C 的巅峰期在 2012-2014 年。那几年,智能手机的移动应用发展迅猛,Objective-C 作为当时苹果 iOS 应用开发的首选编程语言,自然也随着 iPhone 市场的不断扩大在应用开发者之间开始流行。但这一切在 2014 年苹果宣布推出 Swift 以取代 Objective-C 后逐渐终结,自今年 4 月起,Objective-C 再也没进入过 TOP 20。如今,数据挖掘和人工智能的蓬勃发展也是如此,这一领域的编程语言正在逐渐崛起。其中最成功的当属 Python 莫属,不仅成功挤入前三并有望冲击第一,更是获得了 2020 年度 TIOBE 最佳编程语言奖。同样适用于数据分析、人工智能等领域的上古编程语言 Fortran 也由此再次复兴,自 4 月冲进 TOP 20 后,本月更是刷新了自身最高名次:第 13 名。更令人惊讶的是,逻辑编程语言 Prolog(Programming in logic)在阔别 15 年后,本月也重新进入了 TOP 20。拥有简单文法、丰富表现力和独特的逻辑型编程三大特点的 Prolog 特别适用于表示人类思维和推理规则,因此一问世就获得了许多专注于人工智能领域开发者的关注,也成功应用于数理逻辑、自然语言理解等诸多领域:AI 界著名的认知计算系统 IBM Watson 中就有 Prolog 的身影。在这之中,R 语言的下滑就显得格外突兀,TIOBE 的 CEO Paul Jansen 对此表示:“我猜这是因为 Python 正在蚕食 R 的市场份额。”除了以上,在本月 TOP 20 的榜单中还有一些值得关注的变化:Go 语言在 7 月排名上升至第 13 名后,本月又降至第 18 名;于去年同期相比,Swift 今年以来的市场份额一直呈下滑趋势;PHP 以连续 3 个月维持第 8 名的位置。转载:CSDN
总条数:133 到第
上滑加载中