TensorFlow入门基础1.    TensorFlow概述TensorFlow是谷歌开源的第二代用于数字计算的软件库。它可以很好的支持深度学习的各种算法，但它的应用不局限于深度学习，可以支持多种计算平台，系统稳定性较高。TensorFlow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口（Application Programming Interface, API）2.    TensorFlow特点灵活可扩展：TensorFlow在不同计算机上运行：小到智能手机，大到计算机集群都能扩展，可以立刻生成你的训练模型。多语言：支持C++，Python语言。GPU：虽然TensorFlow在大型计算机集群的并行处理中，运行性能略低于CNTK，但是在个人机器使用场景中，会根据机器配置自动选择CPU或GPU，更加友好与智能。多平台：TensorFlow生成的模型，可以满足更多使用者的需求。适用于Mac，Linux，Windows系统上开发。满足开箱即用的模型使用概念。运算能力强：利用了DAG图创建工作流图，优化了计算过程。分布式：目前原生支持的分布式深度学习框架不多，只有 TensorFlow、CNTK、DeepLearning4J、MXNet 等。在单 GPU 的条件下，绝大多数深度学习框架都依赖于 cuDNN，因此只要硬件计算能力或者内存分配差异不大，最终训练速度不会相差太大。但是对于大规模深度学习来说，巨大的数据量使得单机很难在有限的时间完成训练。而TensorFlow支持分布式训练。TensorFlow 的设计对不同设备间的通信优化得不是很好，其单机的 reduction 只能用 CPU 处理，分布式的通信使用基于 socket 的 RPC，而不是速度更快的 RDMA，所以其分布式性能可能还没有达到最优。3.    TensorFlow应用场景•    自动驾驶小车•    生成音乐•    图像识别•    语音识别•    语言模型•    **行为识别•    定理证明•    拿来玩马里奥赛车…4.    TensorFlow组成TensorFlow是由Tensor+Flow组成，Tensor即为张量，Flow为流动，名字的含义就是张量在流动5.    TensorFlow计算过程TensorFlow是一个通过计算图的形式来表述计算的编程系统，是以张量（tensor）在计算图（graph）上流动（flow）的方式实现和执行机器学习/深度学习算法的框架。计算过程如下：l  构建计算图：可以理解为前端工作，定义一个操作的集合，根据数据流，组织为有向无环图。操作包含：初始化、各种加乘、读取、赋值、网络前向反馈、计算loss、梯度反向传播等等。l  执行：可以理解为后端。在一个指定的gpu或是cpu上，通过Session.run()调度，运行计算图（C++）。一般是循环反复执行。l  使用有向图的节点和边共同描述数学计算。graph中的nodes代表数学操作，也可以表示数据输入输出的端点。边表示节点之间的关系，传递操作之间互相使用的多位数组（tensors），tensor在graph中流动——这也就是TensorFlow名字的由来。一旦节点相连的边传来了数据流，节点就被分配到计算设备上异步的（节点间）、并行的（节点内）执行。  6.    TensorFlow架构TensorFlow的内核引擎使用C++实现的，效率是很高的。TensorFlow的内核封装实现了NN、CNN等基本机器学习算法。前端应用层支持Python或C++，一般用Python（AI领域第一编程语言）。在应用层，如果使用了其他的Python耗时操作（如数据预处理等），可能效率会比较低，但这不是TensorFlow造成的。7.    TensorFlow安装推荐使用pycharm + anaconda，安装过程大家可以自行查询8.    TensorFlow入门例子''' 1.引入tensorflow 2.定义常量、变量 3.创建Session会话 4.调用Session中的run()方法来运行，得出结果 5.关闭seession ''' #引入tensorflow import tensorflow as tf #定义常量 hello = tf.constant("hello,tensorflow") a = tf.constant(10) b = tf.constant(20) with tf.Session() as sess:     print(sess.run(hello))     print(sess.run(a + b))

为了庆祝IoT在线训练营选课人数超过5000，现在盖楼送价值450元的小熊派开发板啦！鼓励老同学带新同学，新同学带亲朋好友，一起来盖楼获取免费开发板！奖品靓照：盖楼规则： 1、朋友圈转发华为认证公众号里的“IoT在线训练营|盖楼送开发板啦”文章并集赞18个截图2、选课成功界面截图，课程链接3、在帖子中回复朋友圈集赞截图+选课成功截图，并发在同一层楼中。样例：      2、可以文字刷楼，但截图只能发一次，回复多次者将取消资格，获奖楼层顺延3、回复中请备注华为云ID获奖规则：1、活动参与人数不少于200，否则取消本次活动2、截止至5月6日00:00，共计抽取15层，若回帖层数为N，则楼层数为：Nx0.1\0.15\0.2\0.25\0.3\0.4\0.45\0.5\0.55\0.6\0.65\0.7\0.8\0.85\0.9的用户获得奖励（四舍五入取整数）举个栗子：假设截止日期前回帖101楼，则获奖用户为：10楼,15楼, 20楼, 25楼, 30楼, 40楼, 45楼, 51楼, 56楼,61楼,66楼,71楼,81楼,86楼,91楼。奖品领取方式：1、符合活动规则的中奖楼层送小熊派开发板一套2、获奖名单公布后，班主任会在论坛中私信，届时请提供邮寄信息【趁热打“帖”】说说你的学后感，专属好礼等你拿！详情请戳》》https://bbs.huaweicloud.com/forum/thread-17217-1-1.html

奖项设置：一等奖：华为P30手机（价值3988元） 1位二等奖：HCIP考试券（价值300美金） 10位三等奖：荣耀YOYO智能音箱（价值189元） 15位作品说明：1：参与用户上传一份关于自己最终作品的讲解视频，形式是ppt（描述清楚作品的创意及具体实现方式和项目应用场景）+作品演示，并上传至本帖。为防止抄袭等现象发生，本帖已自动设置回帖仅管理员可见）。2： 最终上传讲解视频的作品可以是教学后的作品，也可以是在本次学习的基础上创作后的作品。3：符合以上所有条件，专家组会根据用户的视频描述以及成果展示评选出本次活动的名次和评选标准，并公示。4：使用IoT Booster作为应用的作品，发布体验版即可，不用发布商用。作品传感器选择：1、 小熊派原厂当前适配扩展板：路灯、井盖、GPS、地磁、烟感。2、 其他传感器：可使用自己已有或者购买的其他传感器，用杜邦线接在小熊派的扩展引脚上。（推荐）3、也可使用EVB_M1的开发板进行接入多个传感器实现自己的创意项目。上传方式：1、 在本帖中回复主题，选择工具栏的添加附件。2、 视频文件较大的，可以选择分包压缩。 上传截止时间：5月13日24:00活动说明：a.   5月17日公布最终获奖名单。b.   礼品将于活动结束后5个工作日内寄出。

机器学习之朴素贝叶斯算法（下）1.    条件独立性•    两个随机变量X和Y，若对于所有x，y有P(X=x，Y=y)=P(X=x)P(Y=y)则称随机变量和是相互独立的，记作X⊥Y。•    如果关于X和Y的条件概率对于Z的每一个值有P(X=x，Y=y|Z=z)=P(X=x|Z=z)P(Y=y|Z=z)，  则称随机变量X和Y在给定随机变量Z时是条件独立的，记作X⊥Y|Z。2.    贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。3.    朴素贝叶斯算法基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。根据贝叶斯定理，对一个分类问题，给定样本特征X，样本属于类别H的概率是P(H│X)=(P(X|H)P(H))/(P(X))其中，是数据元组，通常用个属性集的测量值描述。为某种假设，如数据元组属于某个特定类。(│)  是后验概率，或在条件下，的后验概率。()是先验概率，或的先验概率，()独立于。()是的先验概率。•    因为朴素的假设，即特征条件独立，根据全概率公式展开，得出朴素贝叶斯法分类的基本公式： 4.    朴素贝叶斯实例4.1. 实例描述训练集统计结果(指定统计词频)：现有一篇被预测文档：出现了影院，支付宝，云计算，计算属于科技、娱乐的类别概率？4.2. 实例公式注：w为给定文档的特征值(频数统计,预测文档提供)，c为文档类别公式可以理解为：其中c可以是不同类别公式分为三个部分：l  P(C)：每个文档类别的概率(某类别文档数/总文档数)l  P(W|C)：给定类别下特征(被预测文档中出现的词)的概率计算方法：P(F1│C)=Ni/N  （训练文档中去计算）Ni为该F1词在C类别所有文档中出现的次数N为所属类别C下的文档所有词出现的次数和l  P(F1,F2,…)    预测文档中每个词的概率 4.3. 分析的结果5.    拉普拉斯平滑系数问题：从上面的例子我们得到娱乐概率为0，这是不合理的，如果词频列表里面有很多出现次数都为0，很可能计算结果都为零解决方法：拉普拉斯平滑系数P(F1│C)=(Ni+α)/(N+αm)α为指定的系数一般为1，m为训练文档中统计出的特征词个数 6.    朴素贝叶斯算法案例6.1. 案例描述-实现新闻分类•       sklearn20类新闻分类•       20个新闻组数据集包含20个主题的18000个新闻组帖子6.2. 案例开发流程1、加载20类新闻数据，并进行分割2、生成文章特征词3、朴素贝叶斯estimator流程进行预估6.3. 代码实现from sklearn.datasets import fetch_20newsgroups   from sklearn.feature_extraction.text import TfidfVectorizer   from sklearn.metrics import classification_report   from sklearn.model_selection import train_test_split   from sklearn.naive_bayes import MultinomialNB   def naviebayes():     """     朴素贝叶斯进行文本分类     :return: None     """     news = fetch_20newsgroups(subset='all')     # 进行数据分割     x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)     # 对数据集进行特征抽取     tf = TfidfVectorizer()     # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']     x_train = tf.fit_transform(x_train)     print(tf.get_feature_names())     x_test = tf.transform(x_test)     # 进行朴素贝叶斯算法的预测     mlt = MultinomialNB(alpha=1.0)     print(x_train.toarray())     mlt.fit(x_train, y_train)     y_predict = mlt.predict(x_test)     print("预测的文章类别为：", y_predict)     # 得出准确率     print("准确率为：", mlt.score(x_test, y_test))     print("每个类别的精确率和召回率：", classification_report(y_test, y_predict, target_names=news.target_names))     return None if __name__ == "__main__":     naviebayes()6.4. 案例结果   

Hi，小同学，欢迎来到IoT在线训练营，限时开放~在这里你可以和我们一起学习、交流、赢奖品快速构建物联网端到端开发能力，掌握HCIP-IoT Developer 在线实验本课程免费开放，参与活动还有全新升级华为P30大奖等你拿哦！活动时间：2019年4月1日-4月30日活动活动信息开始时间课程链接作业提交第一期平台在手，万物皆可有2019.4.1点击进入学习点击提交作业第二期学会接口，感知万物数据2019.4.4点击进入学习点击提交作业第三期开发之路千万条，搭建环境第一条2019.4.11点击进入学习点击提交作业第四期轻松玩转LiteOS2019.4.15点击进入学习点击提交作业第五期实战开发，多种通信2019.4.18点击进入学习点击提交作业第六期应用上云，安全可靠2019.4.22点击进入学习点击提交作业第七期尚有余力，拓展一下2019.4.25点击进入学习点击提交作业作品评比上传自己的创意项目进行评比赢取大奖2019.4.22-2019.5.6录制视频介绍自己的项目点击查看提交规则第三期学习所需小熊派开发板购买链接如下：华为云严选市场：等待开放。。。限时优惠价：https://item.taobao.com/item.htm?id=589971376261  

机器学习之朴素贝叶斯算法（上）1.    算法概述在机器学习中，有许多算法，大致可以分成分类算法和回归算法，分类算法有K近邻、朴素贝叶斯、决策树、随机森林、逻辑回归、神经网络等等，回归算法有线性回归、岭回归等等。朴素贝叶斯算法作为分类算法之一，它简单高效，在处理分类问题上，是应该首先考虑的方法之一。本篇文章主要是介绍朴素贝叶斯算法涉及到的数学知识概率论相关知识2.    随机试验•    满足以下三个特点的试验称为随机试验：–  可以在相同的条件下重复进行。–  每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果。–  进行一次试验之前不能确定哪一个结果会出现。•    举例：–  E1:抛两枚硬币，出现正面H、反面T的情况。–  E2:抛一枚骰子，观察可能出现的点数情况。3.    样本点、样本空间、随机事件•    样本点（sample point）：随机试验的每一个可能的结果称为样本点，用e表示。•    样本空间（sample space）：随机试验E的所有可能结果组成的集合，记作S，即S={e1，e2，…，en }.•    随机事件（random variables events ）：样本空间S的任一子集A。属于事件A的样本点出现，则称事件A发生。特别的，仅含一个样本点的随机事件，称为基本事件。•    举例：   随机试验:抛一枚骰子，观察可能出现的点数情况。   样本空间为：S={1，2，3，4，5，6}   样本点为：ei=1，2，3，4，5，6.   随机事件A1：“骰子出现的点数为5”，即A1={x│x=5}4.    随机变量•    随机变量（random variable）: 表示随机试验各种结果的实值单值函数。•    举例1：随机试验:抛两枚骰子，观察可能出现的点数的和。试验的样本空间是S={e}={(i，j)|i，j=1，2，3，4，5，6}，i，j分别是第1次，第2次出现的点数，以X记为两球号码之和，则X是一个随机变量。X=X(e)=X(i，j)=i+j，i，j=1，2，⋯，6.•    举例2：随机试验E1：抛两枚硬币，出现正面、反面的情况。试验的样本空间是S={HH，HT，TH，TT}，以Y记为两次投掷硬币得到反面T的总数，则Y是一个随机变量。5.    概率与条件概率贝叶斯算法是基于条件概率的一种算法，接下来我们先理解一下概率及条件概率的概念。概率亦称“或然率”。它反映随机事件出现的可能性（likelihood)大小。随机事件是指在相同条件下，可能出现也可能不出现的事件。例如，从一批有正品和次品的商品中，随意抽取一件，“抽得的是正品”就是一个随机事件。设对某一随机现象进行了n次试验与观察，其中A事件出现了m次，即其出现的频率为m/n。经过大量反复试验，常有m/n越来越接近于某个确定的常数（此论断证明详见伯努利大数定律）。该常数即为事件A出现的概率，常用P (A) 表示。条件概率，是指事件A在另外一个事件B已经发生条件下的发生概率在很多情况下，我们感兴趣的是某个事件在给定其他事件发生时出现的概率，这种概率叫做条件概率：P(Y│X)=(P(YX))/(P(X))联合概率， 是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）例如有以下样本数据问题：1、女神喜欢的概率？2、职业是程序员并且体型匀称的概率？3、在女神喜欢的条件下，职业是程序员的概率？4、在女神喜欢的条件下，职业是产品，体重是超重的概率？分析以上样本数据，得出来的答案如下:1、女神喜欢的概率？此题属于概率问题，女神喜欢的有4个样本数据，不喜欢的有3个样本数据，所以女神喜欢的概率是 4/72、职业是程序员并且体型匀称的概率？此题属于联合概率问题，职业是程序员的概率是3/7，体型匀称是4/7，因此，职业是程序员并且体型匀称的概率是3/7*4/7=12/493、在女神喜欢的条件下，职业是程序员的概率？此题属于条件概率问题，女神喜欢的有4个数据样本，在女神喜欢的条件下，职业是程序员的概率2/44、此题属于联合概率问题，按联合概率对此问题可以进行分解P(女神喜欢|(职业是产品,体重是超重))=P(女神喜欢|职业是产品∩女神喜欢|职业是程序员)=1/4*1/2=1/8 此篇文章主要是介绍朴素贝叶斯算法的概率基础，下一篇文章将会介绍朴素贝叶斯算法原理及相关案例。 

注意：第二期活动基于第一期活动基础上，需要完成第一期才能往下进行，第一期操作指导:https://ilearningx.huawei.com/courses/course-v1:HuaweiX+EBGTC00000285+2019.4/courseware/5558aecf537f459a825e8fe5669a3305/b64f9ba60cb74b32b37a23778953cdd6/以下为主要记录流程，不正之处，欢迎指出。一、获取鉴权1、获取证书地址以及配置：https://support.huaweicloud.com/devg-IoT/iot_02_1004.html，之后需要关闭postman证书校验，并将设置证书所在目录。host地址为设备所在地址，本次实验中应该都是49.4.92.191:87432、设置接口类型为POST，请求地址见下图，也可以参考API文档API参考：https://support.huaweicloud.com/api-IoT/iot_06_0007.html3、获取token设置body，分别添加appId和secert参数两个参数，这两个对应的值是在第一课时中下载密钥文件中的。填写完成后，点击send执行send后成功后，即可获取token，保存备用二、注册直连设备2.1post地址为：https://49.4.92.191:8743/iocm/app/reg/v1.1.0/deviceCredentials ，Authorization Token ：填写上一步获取的token2.2 配置Headers，需要填写app_key和Content-Type，app_key为平台应用对接信息中的应用ID，Content-Type按下图二填写2.3设置body参数，没有真实设备的。verifyCode和nodeId为自定义一个数字和字母组合，并保持全局唯一。deviceinfo和Profile文件为第一课时中的profile文件中的配置，body格式参考如下{     "verifyCode": "1125A253",          "nodeId": "1125A253",          "deviceInfo": {      "manufacturerName":"改为你自己的", "manufacturerId":"改为你自己的",         "deviceType": "Bulb",                  "model": "Bulb01",                  "protocolType": "LWM2M"          },     "timeout": 0 }2.4以上操作完成后，点击send获取deviceId，保留备用三、获取设备历史数据3.1 本次为Get地址：https://49.4.92.191:8743/iocm/app/data/v1.2.0/deviceDataHistory?deviceId=96e6b389-7be7-48cd-89fc-ec6534feb6f4&gatewayId=96e6b389-7be7-48cd-89fc-ec6534feb6f4配置deviceId和gatewayId，这两个参数一致，为2.4获取的deviceId3.2 设置Authorization中token值，设置headers中app_key3.3点击send，即可获取设备历史数据，截图回帖End— 本次活动到第三步“查询到设备历史数据”即可完成，文末有第一期、第二期活动的操作流程文档记录，设置了回复可见，随意回复可见。请见谅1、如需往下做，可以参考视频：https://ilearningx.huawei.com/courses/course-v1:HuaweiX+EBGTC00000285+2019.4/courseware/d4fc74323bce40e3a34bf67e76f56f2d/9402024ae61c496ea6f20e4abc15cd71/ 2、打卡贴直达链接：https://bbs.huaweicloud.com/forum/thread-16332-1-1.html 3、仅用于华为云论坛中记录学习，请勿用于其他用途 4、文末附件有第一期、第二期活动的操作流程文档记录，不正之处，欢迎指正。 5、仅用于华为云论坛中记录学习，请勿用于其他用途[hide]感谢支持，IoT在线训练营第一、二期总结指导文档下载地址：http://t.cn/E6W42nr[/hide]  

Hi，小同学，欢迎来到IoT在线训练营~在这里你可以和我们一起学习、交流、赢奖品快速构建物联网端到端开发能力本课程免费开放，参与活动还有Mate20大奖等你拿哦！活动时间：2019年4月1日-4月30日活动活动信息开始时间状态及链接第一期平台在手，万物皆可有2019.4.1点击进入第二期学会接口，感知万物数据2019.4.4未开始第三期开发之路千万条，搭建环境第一条2019.4.11未开始第四期轻松玩转LiteOS2019.4.15未开始第五期实战开发，多种通信2019.4.18未开始第六期应用上云，安全可靠2019.4.22未开始第七期尚有余力，拓展一下2019.4.25未开始 第三期学习所需小熊派开发板：购买链接，近日开放。。。

人工智能概述1.    什么是人工智能人工智能（Artificial Intelligence）：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。1956年由约翰.麦卡锡首次提出，当时的定义为“制造智能机器的科学与工程”。人工智能目的就是让机器能够像人一样思考，让机器拥有智能。时至今日，人工智能的内涵已经大大扩展，是一门交叉学科2.    人工智能的层次结构基础设施层：回顾人工智能发展史，每次基础设施的发展都显著地推动了算法层和技术层的演进。从20世纪70年代的计算机的兴起，80年代计算机的普及，90年代计算机运算速度和存储量的增加，互联网兴起带来的电子化，均产生了较大的推动作用。到21世纪，大规模集群的出现，大数据的积累，GPU与异构/低功耗芯片兴起带来的运算力的提升，促成了深度学习的诞生，点燃了人工智能的爆**潮，其中海量的训练数据是人工智能发展的重要燃料。算法层：机器学习是指利用算法使计算机能够像人一样从数据中挖掘出信息，而深度学习作为机器学习的一个子集，相比于其他学习方法，使用了更多的参数、模型也更复杂，从而使得模型对数据的理解更加深入也更加智能。计算机视觉：计算机视觉的历史可以追溯到1966年，人工智能学家Minsky在给学生布置的作业中，要求学生通过编写一个程序让计算机告诉我们它通过摄像头看到了什么，这也被认为是计算机视觉最早的任务描述。计算机视觉借鉴了人类看东西的方法，即“三维重构”与“先验知识库”。计算机视觉除了在比较成熟的安防领域外，也应用于金融领域的人脸识别身份验证、电商领域的商品拍照搜索、医疗领域的智能影像诊断、机器人/无人车上作为视觉输入系统等。语音处理：让机器学会“听”和“说”，实现与人类的无障碍交流一直是人工智能、人机交互领域的一大梦想。1920年生产的“Radio Rex”玩具狗可能是世界上最早的语音识别器，第一个真正基于语音识别系统出现在1952年，AT&T贝尔实验室开发的Audrey的语音识别系统，能够识别10个英文数字，正确率高达98%。比如Apple Siri，Echo等。自然语言处理：人类的日常社会活动中，语言交流是不同个体间信息交换和沟通的重要途径。对机器而言，能否自然的与人类进行交流、理解人类表达的意思并作出合适的回应，被认为是衡量其智能程度的一个重要参照。规划决策系统：人工智能规划决策系统的发展，一度是以棋类游戏为载体的。比如，AlphaGo战胜李世石，Master对顶级选手取得60连胜，机器人，无人车。3.    人工智能应用场景3.1. 语音处理•    语音处理主要是自动且准确的转录人类的语音。一个完整的语音处理系统，包括前端的信号处理、中间的语音语义识别和对话管理以及后期的语音合成。–  前端处理：说话人声检测，回声消除，唤醒词识别，麦克风阵列处理，语音增强等。–  语音识别：特征提取，模型自适应，声学模型，语言模型，动态解码等。–  语义识别和对话管理：更多属于自然语言处理的范畴。–  语音合成：文本分析、语言学分析、音长估算、发音参数估计等。•    应用：包括医疗听写、语音书写、电脑系统声控、电话客服等。•    未来：真正做到像正常人类一样，与他人流畅沟通，自由交流，还有待时日。3.2. 计算机视觉•    计算机视觉指计算机从图像中识别出物体、场景和活动的能力，包含图像处理、识别检测、分析理解等技术。–  图像处理：去噪声、去模糊、超分辨率处理、滤镜处理等。–  图像识别：过程包括图像预处理、图像分割、特征提取、判断匹配，可以用来处理分类、定位、检测、分割问题等。–  图像理解：本质是图像与文本间的交互，可用来执行基于文本的图像搜索、图像描述生成、图像问答等。•    应用：–  医疗成像分析被用来提高疾病的预测、诊断和治疗。–  在安防及监控领域被用来指认嫌疑人。–  在购物方面，消费者现在可以用智能手机拍摄下产品以获得更多信息。•    未来：计算机视觉有望进入自主理解、分析决策的高级阶段，真正赋予机器“看”的能力，在无人车、智能家居等场景发挥更大的价值。3.3. 自然语言处理•    自然语言处理的几个核心环节：知识的获取与表达、自然语言理解、自然语言生成等，也相应出现了知识图谱、对话管理、机器翻译等研究方向。–  知识图谱：基于语义层面对知识进行组织后得到的结构化结果。–  对话管理：包含闲聊、问答、任务驱动型对话。–  机器翻译：由传统的PBMT方法到Google的GNMT，流畅度与正确率大幅提升。•    应用：搜索引擎、对话机器人、机器翻译、甚至高考机器人、办公智能秘书。4.    AI、机器学习、深度学习的关系4.1. 人工智能四要素1） 数据如今这个时代，无时无刻不在产生大数据。移动设备、廉价的照相机、无处不在的传感器等等积累的数据。这些数据形式多样化，大部分都是非结构化数据。如果需要为人工智能算法所用，就需要进行大量的预处理过程。2） 算法主流的算法主要分为传统的机器学习算法和神经网络算法。神经网络算法快速发展，近年来因为深度学习的发展到了高潮。3） 算力 人工智能的发展对算力提出了更高的要求。以下是各种芯片的计算能力对比。其中GPU领先其他芯片在人工智能领域中用的最广泛。GPU和CPU都擅长浮点计算，一般来说，GPU做浮点计算的能力是CPU的10倍左右。另外深度学习加速框架通过在GPU之上进行优化，再次提升了GPU的计算性能，有利于加速神经网络的计算。如：cuDNN具有可定制的数据布局，支持四维张量的灵活维度排序，跨步和子区域，用作所有例程的输入和输出。在卷积神经网络的卷积运算中实现了矩阵运算，同时减少了内存，大大提升了神经网络的性能。4） 场景人工智能经典的应用场景包括：l  用户画像分析 l  基于信用评分的风险控制 l  欺诈检测 l  智能投顾 l  智能审核 l  智能客服机器人 l  机器翻译 l  人脸识别4.2. 三者关系简述人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法及应用系统的一门新的技术科学。机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。是人工智能的核心研究领域之一，任何一个没有学习能力的系统都很难被认为是一个真正的智能系统。深度学习：源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。5.    机器学习监督学习：利用已知类别的样本，训练学习得到一个最优模型，使其达到所要求性能，再利用这个训练所得模型，将所有的输入映射为相应的输出，对输出进行简单的判断，从而实现分类的目的，即可以对未知数据进行分类。无监督学习：对于没有标记的样本，学习算法直接对输入数据集进行建模，例如聚类，即“物以类聚，人以群分” 。我们只需要把相似度高的东西放在一起，对于新来的样本，计算相似度后，按照相似程度进行归类就好。半监督学习：试图让学习器自动地对大量未标记数据进行利用以辅助少量有标记数据进行学习。强化学习：学习系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大，强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统如何去产生正确的动作。机器学习是人工智能的一个子集。它是人工智能的核心。什么是机器学习？我们习惯上这样理解，传统机器学习就是：用一大堆数据，同时通过各种算法（比如SVM、决策树、逻辑回归等），去训练出来一个模型，然后用这个训练好的模型去完成任务（比如预测任务等）。常用的机器学习算法有：线性回归、逻辑回归、决策树、随机森林、支持向量机、贝叶斯、K近邻、Kmeans、xgboost等。6.    深度学习深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。7.    机器学习与深度学习的区别7.1. 对数据量要求不同深度学习和机器学习对数据量的依赖程度是不一样的，当数据量很少的时候，深度学习的性能并不好，因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。而数据量比较小的时候，用传统机器学习方法也许更合适。7.2. 对计算机硬件的要求不同通常情况下，用机器学习处理任务时，一方面由于数据量不太大，另一方面由于所用算法已经确定，所以对计算机硬件的要求不是太高。而深度学习由于要处理大量数据，且涉及许多矩阵运算，因此对计算机硬件要求非常高，很多时候普通cpu已经无法顺利完成任务，而必须借助于诸如GPU等硬件。7.3. 特征处理方式不同机器学习和深度学习的主要区别在于特征。如下图所示。在传统的机器学习算法中，我们首先需要用一些算法（比如PCA、LDA等）来进行特征的提取，然后再用机器学习算法（如svm等）进行模型训练。特征提取的过程很麻烦，对工作者要求也很高。相比之下，在深度学习中，特征由算法本身自动完成提取，通常不需要我们另外写一个算法来进行特征提取。比如CNN网络中，卷积层的作用就实现了特征的提取。7.4. 解决问题方式不同在解决问题的时候，传统机器学习通常会将问题分解为多个子问题，逐个子问题解决后，最后获得最终结果。而深度学习更提倡“直接的端到端”的解决问题。比如在做OCR（文字识别）任务时，传统机器学习算法，一般要对原始图片进行灰度化、二值化、降噪、文字切分、文字识别等一步步操作。而如果用某些深度学习算法（如CRNN-CTC），则可以实现端到端的解决问题，直接传入一张图片，经过模型学习之后直接识别出文字。7.5. 可解释性不同机器学习的可解释性很强，许多传统的机器学习算法有明确的数学规则，解释起来相对容易。比如说线性回归，逻辑回归、决策树等这些算法解释起来就很容易。但是深度学习的可解释性就没有那么强了。深度神经网络更像是一种“黑箱子”，网络里面具体每一层是怎么操作的，神经元做了什么，很多时候是不明确的。深度学习的可解释性是一个热门研究话题。7.6. 使用的开源库和框架不同我们做机器学习和深度学习时，如果使用相关的开源库和框架，会使我们的工作事半功倍。虽然许多开源库和框架既可以解决传统机器学习问题，也可以解决深度学习问题，但是如果有针对性的去选择使用，效果会更好。比如，scikit-learn库用来做机器学习问题，是很不错的。百度的开源框架 百度的开源框架PaddlePaddle、以及谷歌的tensorflow用来处理深度学习问题会更好。 

Hi，小同学，欢迎来到IoT在线训练营，限时开放~在这里你可以和我们一起学习、交流、赢奖品快速构建物联网端到端开发能力，掌握HCIP-IoT Developer 在线实验本课程免费开放，参与活动还有全新升级华为P30大奖等你拿哦！活动时间：2019年4月1日-5月13日活动活动信息开始时间课程链接作业提交第一期平台在手，万物皆可有2019.4.1点击进入学习点击提交作业第二期学会接口，感知万物数据2019.4.4点击进入学习点击提交作业第三期开发之路千万条，搭建环境第一条2019.4.11点击进入学习点击提交作业第四期轻松玩转LiteOS2019.4.15点击进入学习点击提交作业第五期实战开发，多种通信2019.4.18点击进入学习点击提交作业第六期应用上云，安全可靠2019.4.22点击进入学习点击提交作业第七期尚有余力，拓展一下2019.4.25点击进入学习点击提交作业作品评比上传自己的创意项目进行评比赢取大奖2019.4.22-2019.5.13录制视频介绍自己的项目点击查看提交规则第三期学习所需小熊派开发板购买链接如下：华为云严选市场：等待开放。。。限时优惠价：https://item.taobao.com/item.htm?id=589971376261

受邀 MapReduce服务体验官，感到非常荣幸，也非常忐忑。对 MapReduce服务不了解，非常想借这个机会了解学习大数据。这次体验的是使用Spark实现车联网车主驾驶行为分析-最佳实践1、创建集群（略，感谢代金券）2、准备Spark样例数据2.1创建一个名称为obs-demo-data-hwt-richblue88的桶2.2在IAM创建DIS委托2.3申请DIS通道2.4下载并安装DIS Agent2.5下载并获取Spark样例数据2.6配置DIS Agent采集数据agent.yml配置2.7启动Agent2.8查看数据上传情况3、准备Spark样例程序3.1创建桶，创建一个名称为obs-demo-analysis-hwt-richblue883.2分别新建program、output和log文件夹3.3创建作业3.4查看作业结果1.操作体验:是否能够顺畅的创建集群，提交作业，跑组件的样例程序创建集群OK。但是缺乏集群的说明，不知道选哪种集群比较适合场景。按照最佳实践重新建了集群才把后面的做下来。2.性能:您在体验过程中使用了哪些组件，跟自己搭建CDH，或者用过友商的对标组件相比，性能如何？主要使用spark。对标腾讯云，最大的感受还是更方便一些。腾讯云的操作，几乎是要命令行操作。性能上，因为是测的最佳实践案例，数据量小，感觉性能还可以。不知道真实业务跑起来咋样。缺点是作业没有进度条。要点进去看日志才知道跑到哪一步了。3.功能特性:对比体验官用过的其他大数据平台，是否有哪些功能需要补齐或加强？感受到的是界面的图形化做的不错。但是从大数据来讲，不仅仅是这个一个套间。与其他功能（数据湖、实时流、数据接入、数据仓库、云搜索等）怎么混搭使用？或者弄一个最佳组合套间出来比较好。个人感觉产品多，但是缺整体的框架。建议是整理通用的框架出来，或者从场景推荐最佳的大数据产品组合。4.满意度及推荐度：当自己的项目或是公司有大数据应用的需求时，是否愿意自己使用或推荐身边的同事朋友使用华为云MRS服务？什么原因促使你做出这个结论？华为云一直是国产的标杆。一直是努力进步的云。我相信华为云的EI、大数据产品越做越好。但是希望更深入客户的应用和痛点。比如MRS的输出，能不能展示得更好一点。而不是让用户从obs里去下载。然后从费用来说，成本确实比较高。如果输出的内容对企业有价值还可以考虑，如果只是测试体验，收费就不好说了。

[中国，深圳，2019年3月22日] 3月20日，斯坦福大学发布最新的DAWNBench榜单，华为云ModelArts一站式AI开发平台获得图像识别训练和推理性能双料冠军，将模型训练时间大幅缩减的同时实现了超强推理性能，体现了其在全球深度学习平台技术的领先性。在训练性能方面，ResNet50_on_ImageNet上的测试结果显示，当采用128块V100时，华为云ModelArts上模型训练时间仅需4分08秒，较其2018年12月创下的9分22秒纪录快了一倍，比此前fast.ai在AWS平台上的训练速度快4倍；在推理性能方面，华为云ModelArts识别图片的速度是排名第二厂商的1.7倍，亚马逊的4倍，谷歌的9.1倍。ModelArts：领先的深度学习平台技术作为人工智能最重要的基础技术之一，近年来深度学习也逐步延伸到更多的应用场景，如自动驾驶、互联网、安防、医疗等领域。随着深度学习模型越来越大，所需数据量越来越多，所需的AI算力资源和训练时间越来越长，深度学习的训练和推理性能将是重中之重。斯坦福大学DAWNBench是全球人工智能领域最权威的竞赛之一，是用来衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台，相应的排行榜反映了当前业界深度学习平台技术的领先性。华为云ModelArts支持海量数据预处理、大规模分布式训练、自动化模型生成，并具备端-边-云模型按需部署能力，可帮助用户快速创建和部署模型、管理全周期AI工作流。在本次斯坦福大学DAWNBench深度学习训练时间及推理性能挑战中，华为云ModelArts运用了高性能分布式模型训练和极速推理技术。斯坦福大学DAWNBench推理性能榜单斯坦福大学DAWNBench训练时间榜单用户：高效地在云端获得和利用AI计算资源稀缺且昂贵的算力和开发效率低是当前AI开发过程中的主要痛点，例如开发者、企业或高校机构等通常期望借助更高性能的大规模计算集群来加速训练过程，然而采购和维护如此规模的高性能计算集群意味着高昂的成本。对于华为云ModelArts用户来讲，可以高效地在云端，获得和利用规模的高性能GPU计算集群资源，按需付费，算力的获取门槛大幅下降；ModelArts还借助华为云对特定硬件（高性能服务器、网络、存储等）、软件和算法协同优化来实现加速；加上对分布式系统和算法的优化，以及对用户体验的优化，可以进一步帮助用户降低成本，快速实现或优化AI业务。为了赋能生态，进一步加速AI产品的开发与落地，3月21日华为云发布了在ModelArts基础上构建的开发者生态社区——华为云AI市场，提供AI模型、API交易功能以及数据、竞赛案例等内容共享功能，为高校科研机构、AI应用开发商、解决方案集成商、企业及个人开发者等群体，提供安全、开放的共享及交易环境。华为云AI市场中包含的AI模型市场，是国内首个提供发布及订阅AI模型服务的平台。自发布以来，华为云ModelArts一站式AI开发平台已经逐步覆盖医疗、智能制造、自动驾驶、智慧城市、建筑、园区等人工智能场景，帮助金域医学、广联达、云庐科技等企业进行AI开发应用落地。截至2018年底，华为云EI企业智能服务已经增加至56种、159种功能，在城市、制造、物流、物联网等8大行业超过200个项目进行探索，致力做行业升级新引擎。斯坦福大学DAWNBench榜单链接：dawn.cs.stanford.edu/benchmark/--------------------------------------阅读原文

Hello DevClouder！各位开发者们，大家好。近几年最HOT的新兴行业是什么？不用怀疑，走在技术前沿的你一定知道！没错！就是大数据！！！想不想紧跟时代步伐，成为High Level的大数据人才？21天晋级大数据实战营重磅来袭！！！华为云DevCloud & 华为云EI联合出品，第二期大数据活动将为您带来更豪华的课程盛宴！在第一期21天大数据活动基础上，华为云再次推出以大数据实战为主题的活动！21天精编课程，八大真实企业场景实战，搭配作业专家指导，全方位掌握大数据处理和分析技术。还等什么？线上限时免费入营学习！面向人群：（1）所有渴望学习大数据知识的朋友们（2）每日完成学习、实践、打卡任务，就有机会获得惊喜奖品参与方式：戳此链接进行报名哦：课程预览：

本文由程哥精心整理，欢迎大家下载学习，有问题可以下方评论交流。作者|程哥随机森林模型实践.pdf( 预览 )

作者|程哥本文主要为机器学习第三部分，这部分我们重点来探讨一下决策树算法，主要分2部分来解说分别是：决策树、sklearn，欢迎大家一起交流学习。机器学习第三部分：决策树算法.pdf( 预览 )