详细内容请看Word文档，里面有更详细的说明

首次完成AI作诗“花枝小索上明时，莫学麻姑小老翁”

嫄予事少年，貌古须加举。叶索欲时珠，东行戎服景。有点意思~

自然语言处理（Natural Language Processing，简称NLP）是一款基于人工智能技术，针对各类企业及开发者提供的用于文本分析及挖掘的云服务，旨在帮助用户高效的处理文本。分类文档链接备注最新动态cid:link_5　特性清单cid:link_2　API参考cid:link_3　FAQcid:link_4　华为云在线课程自然语言处理理论、应用与实验（免费）cid:link_0自然语言处理（NLP）是人工智能领域的一个重要方向，是一门融语言学、计算机科学、数学为一体的科学。本课程就NLP基本理论及应用做了介绍，包括NLP的语言模型，文本向量化，常用的NLP算法，NLP的关键技术及应用系统。AI技术应用场景--自然语言处理（付费）cid:link_1自然语言处理是人工智能的一个重要的分支，随着人工智能的快速发展，自然语言处理的应用愈加广泛。本课程作为自然语言处理的入门课程，有助于帮助大家掌握自然语言处理的基础技术理论和相关实践。华为云开发者网自然语言处理 NLP开放能力cid:link_6　

（1）流媒体应用有：媒体采集系统、媒体制作系统、点播系统、视频流推送系统.几类应用比较适合容器化部署：一是功能单一的应用，即微服务；二是无状态的应用，容器的一个最大的优点就是可以快速创建（秒级），对于无状态的应用，可以通过快速横向扩容来提升并发处理能力；三是变更频繁的应用，容器是基于镜像创建的，对于变更频繁的应用，只要能保证镜像在测试环境测试没有问题，那么在生产环境上线由于环境差异导致出问题的概率就会少的多；四是对于需要在一个站点快速部署的应用组，对于需要在一个新站点快速部署的应用组，使用容器技术能够结合容器平台自身的特性，快速创建一个新的站点。综上，媒体采集系统、媒体制作系统、点播系统、视频流推送系统都适合容器化。（2）容器化改造思路1. 由于视频视频流量不可预知性，需要具备极速弹性伸缩能力，可以利用CCE容器引擎，来实现弹性伸缩应用2.负载均衡应用改造点：选择合适的负载均衡器中小型的Web应用可以使用ngnix或HAProxy，大型网站或重要的服务可以使用LVS，目前视频流媒体选LVS作为负载均衡器！3.应用改造点：应用存在长时间执行请求   增加消息队列，通过消息队列将长任务与用户请求解耦4.应用改造点：服务有状态，进行无状态化改造，将会话数据加密后放到cookies中返回客户端，通过远程的NoSQL如Redis、Memcached存储会话信息。5.应用改造点：应用实例依赖于本地的存储来持久化数据，可使用共享文件系统如NFS，视频文件采用OBS存储。采用华为云CCE集群服务优势：支持裸金属容器服务，流媒体服务性能提升200%以上。视频流媒体对网络性能以及服务器运算能力要求苛刻。CCE支持裸金属容器服务，视频应用可基于裸金属服务部署，容器直接运行在物理机上，无任何虚拟化性能缺失，可获得和物理机同等的超优性能，视频业务性能提升。CCE支持有状态容器应用（即应用运行过程中需保存数据或状态），并利用华为云的EVS/SFS等存储能力利用高可用存储卷，解决了视频应用的容器化部署难题。可图1 裸金属容器服务视频应用放在pod里视频文件放在OBS里其他系统为有状态pod 视频流推送系统为无状态，放在无状态pod流媒体加CDN加速服务ClusterIP：集群内访问表示工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问Nodeport：在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求<NodeIP>:<NodePort>，可以从集群的外部访问一个NodePort服务Loadbalance：可以通过弹性负载均衡从公网访问到工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。高可用规划  架构图：见4.视频点播、直播分别是两个不同的域名，绑定同一个ip，华为云什么服务可以实现该功能，并简要说明步骤。

云原生的通俗解释+画图示意微服务 CICD devops 容器化的关系+四个各自的功能作用(云原生：云原生既包含技术（微服务、敏捷基础设施），也包含组织和管理（DevOps，CI/CD等），是一系列Cloud技术、企业管理方法的集合。一套新的技术体系、一种新的工作方法论、云计算发生的必然导向。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式 API。来自华为的解释：Cloud Native是指在云环境下构建、运行、管理软件的新的系统实践范式，充分利用云基础设施与平台服务（IaaS/PaaS），适应云环境，具备（微）服务化、弹性伸缩、分布式、高可用、多租户、自动化等关键特征的架构实践；建立全功能团队、发展全栈工程师并高度协作的组织，采用Devops研发模式、自动化工具，实现微服务持续交付，是支撑Cloud Native架构的最佳组织和工程实践。云原生的四大核心要素便是微服务技术、DevOps、持续交付、容器化。微服务技术：独立开发、发布、交付、部署，使得应用拆分，所有的应用都可以独立的部署、迭代。DevOps开发、测试、交付、运维一体，微服务的最佳组织阵型，使得应用可以快速编译、自动化测试、部署、发布、回滚，让开发和运维一体化。持续交付持续开发、交付、部署、扩容/快速反馈，响应业务需求，让应用可以频繁发布、快速交付、快速反馈、降低发布风险。容器化：容器及其编排，敏捷的基础设施、按需即用，容器化是微服务最佳载体，应用整体开发以容器为基础，实现代码组件复用、资源隔离。四要素的关系：基于云原生的相关技术，设计运行在云上的，充分发挥云优势的应用。一般采用容器的打包、分发、部署的形式，应用内（间）采用微服务的架构，充分利用云提供的组件服务，采用DevOps的组织架构和方法，通过CI/CD工具链，实现产品和服务的持续交付。容器及其编排是底层，微服务的最佳载体。CI/CD是工具，Devops是微服务的最佳组织阵型。

 数据库迁移：Mysql可以选择上云RDS，迁移工具DRSSqlserver可以选择上云RDS，迁移工具导入导出、goldengate、CBROracle可以选择自建（BMS），迁移工具Goldengate，DataGuard，Rman；可以选择上云postgrel，迁移工具DRS+UGO，备份迁移，导到OBS桶，OBS导入同构数据库（DRS或IMS调用） 

在线迁移：是指在系统不停机的情况下，将服务器或虚拟机上的系统、服务程序等从自建机房或云平台等源环境迁移同步至云上，在实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等迁移需求的同时，很大程度降低对业务服务的影响。离线迁移：在迁移之前将虚拟机及服务需要暂停，从用户角度看，有明确的一段服务不可用的时间。一般将系统盘镜像（若需同时迁移实例已挂载的数据盘，则可将系统盘镜像和数据盘镜像），再迁入至指定的云服务器。操作系统及数据迁移完毕后，在目标端调试、优化、验证业务服务完成迁移后业务恢复。离线数据迁移是将数据盘镜像迁入至指定的云硬盘，针对TB级别以上的数据量还可以使用DES数据快递服务进行离线迁移。区别：在线迁移对业务的可用性影响低于离线迁移；离线迁移需要先将源端服务器的系统盘或数据盘制作成镜像，再将镜像迁移至您指定的云服务器或云硬盘。在线迁移无需制作镜像，直接在源端服务器运行迁移工具，即可将源端服务器迁移至指定的云服务器。使用的迁移技术不同，在线迁移更需要关注迁移的内存、数据变化等，技术要求相对较高，而离线迁移数据固定，一般一次性可完成迁移。在线迁移、离线迁移对比三方面：成本、效率、安全性。成本：大规模数据的迁移需要耗费大量传输资源，离线EDS则可省去较高的传输成本。效率：效率受网速限制，数据量较大（EB级）且对时间或效率有目前要求的，离线迁移EDS更高效。安全：类似金融等传统客户，对数据的传输安全性要求较高的，离线迁移不会被黑客拦截，相对更安全。在线迁移工具：技术流：Oracle系统迁移（自带）Oracle Golden Gate/ Data Guard（DG），MS Always On……服务流：采用数据复制服务DRS做数据库迁移，此外若客户涉及异构数据库迁移，则也可用数据库应用迁移服务UGO做迁移在线迁移方法：华为云上：采用数据复制服务DRS做数据库迁移，此外若客户涉及异构数据库迁移，则也可用数据库应用迁移服务UGO做迁移离线迁移工具：DES数据快递服务、OBS对象存储在线迁移服务：DRS实时迁移、SMS、OMS、i2Move（华为生态 英方）离线迁移方法：DRS备份迁移、镜像导出再导入到OBS后恢复、DES数据快递服务4．两种不同迁移方法，适用场景是什么？有哪些需要注意的？cid:link_2cid:link_1https://support.huaweicloud.com/qs-drs/drs_04_0089.html#drs_04_0089__section15921124810611在线迁移： 如果使用的是全量+增量迁移模式（在线迁移），支持在源数据库有业务数据写入的情况下进行迁移，推荐提前2-3天启动任务，并配合使用技巧和对应场景的操作要求，以确保顺利迁移。离线迁移：如果您使用的是全量迁移模式（离线迁移），确保源和目标数据库无业务写入，保证迁移前后数据一致。全量迁移结合定时启动功能，选择业务低峰期开始运行迁移任务，相对静态的数据，迁移时复杂度将会降低。在线迁移，相当于增加一个从节点并且会做一次全量同步，所以，建议在业务低峰期迁移。本案例中，避开业务高峰期，高峰时不要用在线迁移。

在桶的基础配置-生命周期规则中进行管理：前三天频繁读写，因此在转换为低频访问存储不配置，转换为归档存储配置为3天，对象过期删除配置配置为14天，启用策略状态。计费方式为按需计费，OBS服务默认为按需计费模式，即按实际使用的时长收费，以小时为单位，每小时整点结算，不设最低消费标准。 生命周期管理可适用于以下典型场景：（1）周期性上传的日志文件，可能只需要保留一个星期或一个月。到期后要删除它们。（2）某些文档在一段时间内经常访问，但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储，归档存储或者删除。生命周期管理可以按对象名前缀进行设置规则，也可以在整个桶上设置规则。生命周期管理功能支持数据从当前版本转换为低频访问存储、转换为归档存储，以及数据进行过期删除。您可以指定在对象最后一次更新后多少天，受规则影响的对象将转换为低频访问存储、归档存储或者过期并自动被OBS删除。转换为低频访问存储的时间最少设置为30天，若同时设置转换为低频访问存储和转换为归档存储，则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天，例如转换为低频访问存储设置为33天，则转换为归档存储至少需要设置为63天。对象存储类别转换限制：仅支持将标准存储对象转换为低频访问存储对象，低频访问存储对象转换为标准存储对象需手动转换。仅支持将标准存储或低频访问存储对象转换为归档存储对象。如果要将归档存储对象转换为标准存储或低频访问存储对象，需要手动恢复对象，然后手动转换存储类别。

业务场景: 爬虫截取微博网上留言信息，调用华为云的情感分析，百度云情感分析（通用接口），百度云情感分析（定制化模型，自定义学习资料）。根据以下几个点进行对比。未处理的原版数据通用模型-       原版分类置信度定制模型 -  原版分类置信度     （800条学习资料样本，     85.96%准确率的学习资料）定制模型 -  原版分类置信度     （1800条学习资料样本，     65.93%准确率的学习资料）原版评论分类置信度     （华为云 仅2000条左右数据）     通用模型-       原版评论负面倾向概率定制模型  - 原版评论负面倾向概率     （800条学习资料样本，     85.96%准确率的学习资料）定制模型  - 原版评论负面倾向概率     （1800条学习资料样本，     65.93%准确率的学习资料）通用模型-       原版评论正面倾向概率使用定制模型  -      原版评论正面倾向概率     （800条学习资料样本，     85.96%准确率的学习资料）使用定制模型  -      原版评论正面倾向概率     （1800条学习资料样本，     65.93%准确率的学习资料）通用模型-  原     版评论分析正负结果值定制模型 -       原版评论分析正负结果值      （800条学习资料样本，     85.96%准确率的学习资料）定制模型 -       原版评论分析正负结果值      （1800条学习资料样本，     65.93%准确率的学习资料）原版评论正负结果值     （华为云 仅2000条左右数据）处理掉@和#后的评论数据：通用模型-       原版分类置信度定制模型 -  原版分类置信度     （800条学习资料样本，     85.96%准确率的学习资料）定制模型 -  原版分类置信度     （1800条学习资料样本，     65.93%准确率的学习资料）原版评论分类置信度     （华为云 仅2000条左右数据）     通用模型-       原版评论负面倾向概率定制模型  - 原版评论负面倾向概率     （800条学习资料样本，     85.96%准确率的学习资料）定制模型  - 原版评论负面倾向概率     （1800条学习资料样本，     65.93%准确率的学习资料）通用模型-       原版评论正面倾向概率使用定制模型  -      原版评论正面倾向概率     （800条学习资料样本，     85.96%准确率的学习资料）使用定制模型  -      原版评论正面倾向概率     （1800条学习资料样本，     65.93%准确率的学习资料）通用模型-  原     版评论分析正负结果值定制模型 -       原版评论分析正负结果值      （800条学习资料样本，     85.96%准确率的学习资料）定制模型 -       原版评论分析正负结果值      （1800条学习资料样本，     65.93%准确率的学习资料）原版评论正负结果值     （华为云 仅2000条左右数据）解决的问题: 对比了两家的情感分析之后，经过综合分析，百度云情感分析（通用模型）的准确率是最高的。目前综合来看，百度云的情感分析通用模式是自然语言分析的最好选择。定制化的百度模型实际测试不如通用模型准确（可能为学习模型数据不够准确）。挑战: 首次使用华为云情感分析，对于接口调用方面自己阅读文档不够详细，走了较多的弯路，不过经过仔细研究自行解决。由于存在QPS限制，调用的时候需要限制调用频率。由于网络原因可能存在频繁调用的情况。数据较多的情况下处理数据的时长比较久（针对试用而言）。根据不同的定制化模型。可能存在无法分析的特殊字符数据。使用服务: 自然语言处理 - 情感分析如何解决: 在不超过qps限制的情况下，试用分页形式，分段请求，在数据库中设置 判断值判断数据是否进行分析，如果重复调用会直接过滤掉已经进行情感分析的数据。对于线程进行休眠操作，防止调用请求过于频繁接口调用失败。使用日志记录失败请求信息，失败请求原因，失败请求数据。多次调用数据确保大部分数据可以产生结果，个别数据请求失败以及没有数据的忽略。使用场景: 比对市面上几家华为云的情感分析使用，根据分析结果数据进行比对。对比百度云通用模型和定制化模型的使用。对比不同的环境下分析的数据，数据差异值。方案截图:（处理掉特殊字符前的截图）（处理掉特殊字符后的截图）使用规模: 共1000条数据左右（原2000条，截取了1000条）。使用收益：  1. 对比了百度情感分析和华为云的情感分析，对比结果比较显著，在情感分析的领域发现是百度云的使用情况较好。  原因：        1. 百度云提供更多的免费试用次数，对比华为云只有5000次的试用，有50万次的免费调用次数        2. 百度提供定制化模型免费的尝试，可以使用定制化模型和通用模型对比        3. 百度云的接口提供更多的返回信息，供调用者分析参考（免费的情况下） 2. 华为云和百度云的文档上手难度都很小，通过文档都能很快速的了解接口的调用。 3. 两者的使用体验都较好，但是百度的接口在超过qps限制的情况下存在存在接口崩溃的情况，对比下华为云的接口更加稳定  4. 在两者的实际使用下会使用成本更为低的百度云接口结语第一次投稿，平时也很少在网上发表文章。个人也仅仅是最简单的接口调用轻度使用，也没用很深入的去进行挖掘，如果有好的意见或者建议欢迎留言作者：阿东