“让云无处不在，让智能无所不及，共建智能世界云底座”。12月20日，华为云计算技术有限公司贵安园区暨华为全球培训中心盛大开园，华为云的三个班级——“华为云人工智能高研班”、“华为云云服务工程师培训班”、“华为云人工智能师资培训班”亦同期开班。      国家提出“东数西算”工程，旨在把握数字经济加速发展战略机遇期，构建算力新格局。华为公司高级副总裁、华为云CEO、消费者云服务总裁张平安表示：华为将云数据中心落户贵安，将华为云业务全球总部建立在贵安，就是要全面支持贵州“在实施数字经济战略上抢新机”，将贵州打造成数字经济高地。同时，华为将进一步促进贵州IT人才培养，并希望与贵州共建“贵州数字经济创新中心”，推动各产业协同创新，促进本地高质量人才的培育孵化，以技术赋能企业，以产教融合培养数字经济技术型、实用型人才。（华为云CEO张平安先生开园致辞）     华为云开展的此次培训正是面向数字化转型人才培养需求的一次积极探索。贵州的大数据产业发展具有得天独厚的优势，贵安华为云数据中心又是华为云全球规模最大的数据中心核心节点，在云的数据中心，学习和使用云服务将为学员带来更为直观的体验。因此，我们将培训的主题定为云计算、人工智能与大数据，参培的学员也均为云贵渝地区与大数据相关的政府、企业高层及院校教师。    云贵渝地区的大数据分管部门领导、关联产业及高校代表共聚华为云人工智能高研班，与华为云大数据、人工智能资深专家就“大数据思维与技术应用”及“人工智能的趋势与应用”两个主题进行了学习与研讨，致力于推动贵州产业数字化进程与数字人才框架的搭建。（华为云计算公司副总裁王海杰先生致辞）    华为云计算公司副总裁王海杰先生为“华为云人工智能高研班”发表开班致辞时表示：“随着我们进入‘万物互联’时代，大数据、人工智能和云计算对于贵州数字化发展、智能化发展发挥着至关重要的作用。在国家、贵州省政府以及贵阳市政府的大力支持下，华为云计算技术有限公司贵安园区未来将会构建全球最领先的数据中心，为助力贵州乃至整个西部地区数字经济发展和本地技术型、应用型人才的培育孵化打下坚实基础。”同时，他对首场高研班培训也寄予了殷切希望：“华为云人工智能高研班作为培训中心首个开班的培训班级，特别邀请AI、大数据与云计算专家全面赋能，带领大家充分了解技术发展趋势与行业应用格局，将华为在数字转型实践上的精华奉献出来，与诸位共享共融。”（高研班学员积极参与课程互动）       除高研班外， 华为云的两个技术培训班“华为云云服务工程师培训”、“华为云人工智能师资培训”也紧随其后，依次开班。    “华为云云服务工程师培训”聚焦计算、存储、网络等常用的云服务，完整展现了未来云计算高端人才的能力图谱。课程以“云计算是什么”为切入点，逐步延伸至华为云上常见的云服务，以理论讲解与云上实践结合的方式，使学员熟悉与掌握计算、存储、网络服务的基本概念、架构、功能及应用，并简单了解数据库、安全、CDN及EI企业智能服务的基本知识。“华为云人工智能师资培训”则在详尽地讲解神经网络基础知识后，带领学员基于ModelArts一站式AI开发平台完成动物叫声分类、花卉识别与云宝检测应用的初级开发，寓教于乐，使其沉浸式地感受普惠AI的魅力。      华为云贵州云业务部总经理吕河先生为两个技术培训班发表开班致辞时表示，“希望通过这次培训，能更好地推动人工智能技术结合本地特色在本地的落地，能更好地携手企业及高校联合为AI的技术研发、人才培养与储备提供坚实力量”。（技术培训班学员认真学习听讲）    学员们也纷纷表示本次培训使其受益匪浅。来自贵州的学员王先生表示，“通过这次学习增强了自身为产业发展服务的能力，体验了华为云在数字人才培育上的专业度，也对贵州未来数字经济的发展充满信心”。参加人工智能师资培训的张老师认为，“这次学习让我了解了大数据和云计算相关的前沿知识和技术，更明确地感受到人工智能将更好地服务于人们的生活，推动时代进步。也相信本次培训为推动人工智能技术在贵州本地的落地以及 AI人才的培养与储备提供了坚实力量，起到了积极的作用”。    未来，华为云开发者学堂将继续致力于数字人才的培养，并与各个高校、行业客户、伙伴一起构建数字知识平台，为全球华为云客户打造一站式的“学练训考”学习平台，推动各产业创新，促进高质量数字人才的培育孵化。云聚未来，共建数字人才生态。让云无处不在，让智能无所不及，共建智能世界云底座！    学以致用，云世界大有可为！更多华为云培训服务精彩内容，请关注华为云开发者学堂。（https://edu.huaweicloud.com） 

完成本实验贴任务视为支持 物联网的数字化发展与生态构建，更依赖低代码开发平台还是标准物模型平台？正方观点√正方观点：更依赖低代码开发平台活动时间：2021年12月23日~2022年1月16日 参与方式：1、按照demo操作实验  （实验demo见本贴附件）2、按照要求生成实验结果截图，反馈到此活动贴 特别说明：请务必完成年终活动报名：点击报名请务必按照以下格式要求进行回帖，否则无法计算奖励：1、华为云账号：xxx（即右上角的字母数字组合ID）2、任务截图：（请露出右上角的华为云账号信息） 注意事项：1、请务必使用个人账号参与活动（IAM、企业账号等账号参与无效）2、 本次活动规则详见：https://bbs.huaweicloud.com/forum/thread-174300-1-1.html参与博文写作，还能另外获奖喔点击了解

活动贴：[7天实战营-活动公告] 【打卡帖】【7天大数据分析实战训练营】每日打卡，赢取阶段奖励~实践总结：day1：day2：华为云大数据分析7天训练营（二）-云社区-华为云  https://bbs.huaweicloud.com/blogs/289063day3：具体课件整理详见  华为云大数据分析7天训练营（三）-云社区-华为云  https://bbs.huaweicloud.com/blogs/289572第三章 打破数据孤岛异构数据源联合分析业务创新实践学习笔记1.异构数据源商业价值各种场景下的数据,往往需要使用各种不同的大数据产品进行数据的存储与处理。而不同来源的数据,需要联合分析才能发挥其最大价值。DLI通 过SparkData的 Source能力,连接不同数据源,实现不同服务之间的跨源分析计算。同时,DLI提供基于SQL的计算集群 与定制化的Spaserverless计算集群。用户可以编写简单的SQL语句,也可以自定义复杂的 Spark程序来实现跨源分析。2.企业智能化数据经营分析数据湖探索(DLI)服务多源数据分析架构企业H需要对其产品、经销商与销售订单进行信息管理，通过以下2种业务场景及解决思路更好的了解了数据湖探索(DLI)服务多源数据分析架构场景一:计算经销商B1每月Mate20销量与销售额解决方案:每个月的销量数据存放在CT的订单信息中,可以使用分组聚合的方式按月计算销量;而商品信息存放在DWS中,要使用D的跨源多表联合能力,计算出销售额(销量*单价)场景二:预测经销商B1下月Mate20销量解决方案:MLS是深度集成DLI的机器学习服务,为用户提供简易的工作流操作界面来实现数据的智能分析,如销售预测等。MLS支持通过OBS读取数据并结合创建的工作流,转换成 Spark作业提交到DLI后台运行。day4：华为云大数据分析7天训练营（四）-云社区-华为云  https://bbs.huaweicloud.com/blogs/289827结果数据一直查不到 郁闷了day5：day6：day7：华为云大数据分析7天训练营（七）使用DGC实现每日动态发布电影排行榜-云社区-华为云  https://bbs.huaweicloud.com/blogs/292330

此贴为《华为云原生大数据serverless服务DLI》课后操作任务打卡专用查看更多操作任务请点击：》》点击前往《《查看全部活动任务&信息请点击：》》点击前往《《按要求完成考核打卡可获得活动积分  +20积分》》参与活动前请先点击这里报名活动《《本实验逻辑ecs用来模拟数据流流式数据通过kafka接入DLI进行流式数据分析DLI分析后的数据结果存在rds参与考核中可能会存在使用产品的情况，请提前领取课程专属免费试用：（1）https://activity.huaweicloud.com/Date-free.html（2）https://activity.huaweicloud.com/free_test/index.html领取时请注意数据中心节点与实验要求一致！！！推荐  华南-广州 实验请联系小助手开通白名单提供信息：截图中的 我的凭证-API凭证-项目ID&所属区域【项目ID】↓联系小助手企业微信↓ 操作考核方式：《华为云原生大数据serverless服务DLI》课后操作任务用户前往 》》课程报名《《 课程，并按照操作文档进行操作，按照指导完成实验，最后按照要求截图+华为云账号回复至本帖内，视为完成任务。在步骤6中项目名称使用此贴右上角华为云账号昵称需要截图截出步骤7中的结果，并显示用户名称，无名称则无效将截图回复至本帖活动规则：a. 回复非按要求的图片，视为无效楼层。b.按照规定完成打，并按照规定将帖子截图回复到本帖可获得20积分课程积分完成三个操作任务并对应回复截图后，可获得实体证书请在此问卷中登记信息：https://devcloud.huaweicloud.com/expertmobile/qtn?id=bcdc4692db4a48f5808bce295ebd0666更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

近日，全球权威信息与分析咨询公司IDC发布《中国政务大数据管理平台市场厂商评估，2021》报告，华为基于政务云底座和FusionInsight大数据云服务套件打造的政务服务数据共享平台，凭借深刻的行业理解、领先的技术优势和优异的市场成绩，在能力、战略和市场表现方面，连续多年位列业界领导者位置。这是继今年8月份华为云在IDC发布的《中国政务云基础设施市场份额，2020：泾渭分明》中连续4年蝉联中国政务云基础设施市场份额第一之后，获得的又一个行业认可。IDC认为2019 和 2020 年是政务大数据管理平台蓬勃发展的两年，报告指出，政府行业数字化建设全面进入"平台重构"的创新整合阶段。政务大数据管理平台的建设，从以共享交换平台为中心的政务数据共享通道建设阶段，过渡到以数据治理为中心的政务大数据平台建设阶段，进而为将来公共数据的开发利用奠定基础。通过对自身数字化转型和数据治理工作进行系统性总结，华为云凝聚了大量数据治理和数字化转型方面的经验、规范、模型和解决方案，从技术、流程、管理等多个维度，总结出行之有效的方法论。聚焦大数据技术创新和发展，将构建政务大数据管理平台作为数字政府建设的关键基础能力，助力政府优化服务能力，提升监管水平，精准政府决策，打造出诸如“数字江苏”、“广西政府智能体”、贵州“省域数据自治与要素流通”、北京“政务数据目录区块链”、深圳“秒报秒批一体化”等一大批区域标杆。华为云Stack作为政务云底座，通过持续打造和演进FusionInsight大数据云服务解决方案，引领"云原生数据湖"、“湖仓一体”、“图引擎”、“跨域协同计算”和“可信联邦计算”等技术变革，为客户提供高性能、高可靠性、高扩展性、安全自主的大数据底座，结合全套的数据治理工具和丰富的数据服务手段，与合作伙伴一起形成从应用层到数据层再到基础设施层的端到端解决方案，支撑政府客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数仓集市、数据接入治理、图计算、隐私计算等大数据分析场景，加速释放数据价值，为政府决策、公共服务、城市治理、产业创新等应用提供服务。同时，关注安全保障体系和标准规范体系建设，保障数据质量与安全。目前，华为云已和全国多个城市合作建设“一城一云”，通过“云原生2.0×分布式”的平台技术，打造更具韧性和创新能力的城市数字平台，赋能城市智慧治理、惠民服务、产业发展方方面面，从资源集约化到应用的集约化，激活数据要素价值，赋能业务创新。华为致力于支撑数字政府建设和发展，基于多年数字政府建设实践经验，在数字政府顶层设计标准化研究，数字政府咨询与评估体系建设和构建数字政府新生态等方面持续深耕，不断进取，助力各级政府推进国家治理体系和治理能力现代化建设。更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

人工智能已成为引领新一轮科技革命和产业变革的重要驱动力量和战略性技术。本文采用无监督聚类、复杂网络结构洞和突发检测算法对人工智能高水平会议论文进行深度挖掘分析，梳理人工智能领域的关键技术，全面刻画人工智能领域整体技术结构，洞悉关键技术分布和研发态势，明确人工智能领域代表性国家与机构。研究发现：人工智能领域共包含14个大类、132项热点技术，主要分布在机器学习、自然语言处理、计算机视觉和机器人等子领域，如一眼模仿学习、智能自动问答、光度立体视觉、多传感器融合等；共性技术则主要分布在机器学习子领域，分类、回归、搜索等基础算法以及优化理论方法等共性技术为其他子领域研究实践奠定坚实基础；新兴技术主要集中在深度学习方面，生成对抗网络和注意力机制是其中的典型代表，此外还包括强化学习、自主代理和多代理系统等。在人工智能领域代表性国家与机构方面，美国在各热点技术大类下的发文量均位居全球首位，中国整体仅次于美国，但在强化学习、机器人、智能多代理系统研究方面发文量排名相对靠后；国内机构中，中国科学院在多个热点技术大类下的发文量均位居全球前列。 人工智能是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。这一概念自1956年被提出后，已历经半个多世纪的发展和演变。21世纪初，随着大数据、高性能计算和深度学习技术的快速迭代和进步，人工智能进入新一轮的发展热潮，其强大的赋能性对经济发展、社会进步、国际政治经济格局等具有重大且深远的影响，已成为引领新一轮科技革命和产业变革的重要驱动力量，是推动人类进入智能时代的核心和重要抓手。 发展热潮之下，全球主要国家积极在人工智能领域深耕布局，国际竞争日益激烈。2017年7月，我国发布《新一代人工智能发展规划》，明确将人工智能作为国家未来重要发展战略，并确定中国人工智能发展“三步走”战略目标，到2030年实现人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心；2018年3月，法国总统宣布启动15亿欧元的人工智能计划，将在法国建设一个国际级的研发中心，完善数据领域政策，培养法国在人工智能领域的人才，并对技术革新的伦理和规制问题进行反思，以推动法国跻身人工智能领域的领军者行列；2018年4月，欧盟委员会计划2018—2020 年在人工智能领域投资240亿美元；2018年11月，德国联邦内阁通过人工智能国家战略，计划2025年前在联邦层面投入30亿欧元，旨在人工智能领域新增100名教授席位并资助扩建人工智能研发中心；2019年2月，美国总统特朗普签署行政令，启动“美国人工智能倡议”，该倡议提出研发、资源调配、政策、人力资源培养和准备、国际合作五项发展重点领域，以维护美国人工智能领导力。 与此同时，人工智能产业蓬勃发展，全球产业界纷纷调整发展战略，人工智能创新创业如火如荼。2017年，谷歌和微软陆续将企业发展战略和愿景转向人工智能；百度也于2017年将公司使命更改为“用科技让复杂的世界更简单”，希望百度从全球最大的中文搜索引擎彻底转型人工智能科技公司；自2013年以来，全球和中国人工智能行业投融资规模都呈上涨趋势，2017年全球投融资总规模达395亿美元。 人工智能作为一门综合和高度复杂的技术科学，其发展离不开底层多类型关键技术的研发突破和支撑。厘清人工智能领域的关键技术，把握技术现状和发展趋势，将为国家前瞻性战略布局、企业研发重心调整、科研机构和研究人员合理选题提供重要情报参考。2019年3月，李总理在政府工作报告中再次提及人工智能产业的发展，提出要“深化大数据、人工智能等研发应用”。相较于2017年的“加快人工智能等技术研发和转化”和2018年的“加强新一代人工智能研发应用”，“深化”一词不仅反映出我国人工智能发展呈现层层递进和逐步深入的良好态势，也体现了热潮之后我国政府对人工智能的持续重视和未来发展展望。我们应牢牢把握人工智能关键技术和发展方向，明确中国人工智能发展的短板领域和技术，切实响应国家需求，推进人工智能各项战略规划的快速稳健实施，加快人工智能专业型人才和通用型人才培养，构建体系化队伍，加大对人工智能学术及产业力量的扶持力度，培育并打造人工智能发展的中流砥柱，以期人工智能强大的赋能性为经济社会发展注入新的动能。因此，本文以人工智能领域高水平会议论文为分析对象，采用无监督聚类方法、复杂网络结构洞理论和突发词检测算法开展深度挖掘分析，梳理人工智能领域的热点技术、共性技术和新兴技术，以期全面了解人工智能领域整体技术结构，洞悉关键技术分布和研发态势，明确人工智能领域代表性国家与机构。 **1 数据来源与研究方法** **1.1 数据来源** 科技论文记载了科学研究和技术研发活动的大量高价值信息，反映了科技成果诞生的初始状态，是关键技术挖掘的重要数据资源。而在计算机领域，高质量会议论文在学界有着较高的关注度和认可度，同时，相对于期刊论文，会议论文的时效性更好，一定程度上代表着该领域最新、最热的研究内容，本文综合专家咨询意见及数据的可获得性，以中国计算机协会推荐的人工智能领域高水平国际学术会议（A类和B类，共19种）为基础数据源（表1），利用Scopus数据库检索并下载题录数据，包括发表年、标题、关键词、摘要等，时间跨度为2015—2018年，检索时间为2019年1月22日，共18956篇论文，作为人工智能领域关键技术分析挖掘的数据基础。 **1.2 研究方法** 1.2.1 关键技术概念界定 对科技论文内容进行深度挖掘，旨在梳理发现人工智能领域的关键技术，具体包括热点技术、共性技术和新兴技术三类。本文对三类关键技术的概念界定如下： **1）热点技术：**某学科领域内，近年来受到科研人员广泛关注并已产出相应研究成果的主要研究方向和技术主题，反映了学科领域的研发现状和技术结构全貌； **2）共性技术：**对学科领域内其他研究方向和技术主题产生广泛影响、其研究成果可供参考借鉴和分享使用的一类技术，反映了学科领域的重要研发基础和技术前沿，是学科领域内的“思想源泉”或“集大成者”； **3）新兴技术：**某学科领域内，最新出现且短时间内受到广泛关注的研究方向和技术主题，反映了学科领域内具有重要潜在影响的新近研究热点。 1.2.2 研究思路与方法 本文采用无监督聚类方法、复杂网络结构洞理论以及突发检测算法开展人工智能领域关键技术挖掘分析，研究思路如图1所示。 具体研究过程及方法包括： **1）基于K-means++聚类的热点技术挖掘分析** 本文基于python语言，利用NLTK包对会议论文文本数据（标题、摘要和关键词）进行预处理，包括分词、词性标注、词干提取、词性还原、停用词过滤等，利用TF-IDF方法对文本进行向量化表示，采用K-means++算法对数据进行聚类，对各个聚类簇进行解读和调研，形成人工智能领域的热点技术。 **2）基于复杂网络结构洞理论的共性技术挖掘分析** 结构洞理论形容非冗余的联系，指在社会网络中的某个或某些个体与部分个体发生直接联系，但与其他个体不发生直接联系的现象，从网络整体看好像网络结构中出现了洞穴（图2）。结构洞能够为其占据者获取“信息利益”和“控制利益”提供机会，Raider 的实证研究表明：结构洞占据者的位置对信息控制、识别以及交易起着重要的作用。近年来，已有相关学者利用结构洞理论开展共性技术或基础技术的识别，如江娴、叶春蕾、王海龙等。结构洞反映了节点对网络资源的控制能力，占据结构洞的节点能够获取来自多方面的非重复性信息，反映在学科领域研究上，占据结构洞的研究方向更有可能是“思想源泉”或“集大成者”，即领域共性技术，可对学科领域内其他研究方向产生广泛影响。 本文以K-means++聚类得到的热点技术聚类簇为节点，计算聚类簇质心向量间的相似性，以此作为节点间连接和权重的依据，构建网络。基于复杂网络结构洞理论，计算网络中各节点的限制度指标，以此反映节点在网络中运用结构洞的能力。节点的限制度指标值越小，代表节点拥有的结构洞越多，运用结构洞的能力越强，所占据的“信息利益”和“控制利益”越大，以此识别人工智能领域的共性技术。 **3）基于Burst Detection算法的新兴技术挖掘分析** 本文以清洗后的会议论文关键词为分析数据，采用Sci2 tool工具的Burst Detection算法探测最新出现且短时间内受到广泛关注的新兴技术。 **2 人工智能领域关键技术分析** 2.1 人工智能热点技术 人工智能领域的热点技术代表近年来的主要研究方向和技术主题，反映出人工智能领域的技术结构全貌。结合轮廓系数的计算结果，确定聚类簇数量K=140时，具有较好的聚类效果。经人工判读，140个聚类簇中共有132个有效类和8个混杂类。以132个有效类作为节点构建网络，并进行可视化和模块划分，最终形成14项技术大类（图3及表2）。中国和美国在14项技术大类下发文量的全球排名，以及各技术大类的Top5优势机构列举如表3。 机器学习子领域的技术大类包含机器学习算法及应用、强化学习算法、近似及优化算法和规划问题共4项。其中，热点技术主要包括回归、聚类、分类、近似、估计和优化等基础算法的改进研究；迁移学习、多核学习和多视图学习等新型学习方法；策略网络和时间差分学习等强化学习基本方法；机器人及多代理系统计划、路径规划等问题研究；机器学习算法在事件检测、位置识别和社交网络分析中的应用以及强化学习在智能决策中的应用研究。在上述4项技术大类中，美国发文量均居全球首位，中国在机器学习算法及应用、近似及优化算法和规划问题研究方面仅次于美国，但强化学习研究发文量居全球第5位，相对靠后。国内机构在机器学习算法及应用、规划问题研究方面表现较为突出，中国科学院、清华大学和北京大学的发文量位居全球前列。 自然语言处理子领域的技术大类包含自然语言处理技术和自动问答技术共2项。其中，热点技术主要包括特征提取、语义分类、词嵌入、主题模型、关系抽取与分类、知识图谱、注意力模型和长短期记忆模型等基础技术研究，还包括智能自动问答、机器翻译、情感分析、推荐系统等应用研究。在上述2项技术大类中，美国发文量均居全球首位，中国紧随其后。中国科学院在这2项技术大类的发文量均居全球前列，清华大学和北京大学也表现不俗。 计算机视觉子领域的技术大类包含图像处理技术、视频处理技术、图像匹配技术、视觉跟踪技术和对象检测技术共5项。其中，热点技术主要包括视频图像分割、对齐、检测、识别及跟踪所涉及的核心技术研究；三维重建、光度立体视觉、相机校准、行人再识别、人脸对齐与关键点检测等应用研究。在上述5项技术大类中，也都是美国发文量居全球首位，中国紧随其后。中国科学院在图像匹配和视觉跟踪技术上的发文量均居全球首位，在图像处理和视频处理技术上也位居全球前列，此外，浙江大学、大连理工大学和清华大学也表现不俗。 机器人子领域的热点技术主要包括机械手、抓握、行走、感知和驱动等智能控制技术研究，同时还包括外骨骼机器人、服务机器人和机器人传感器等硬件基础和软件优化研究。此外，人工智能领域的热点技术还包括智能多代理系统，以及众包、拍卖、市场定价、能源管理和隐私保护等相关问题的研究。在上述技术大类中，美国发文量均居全球首位，中国在机器人和智能多代理系统研究方面发文量居全球第7位，相对靠后。同时，国内机构在上述技术大类下的发文量均未能进入全球Top5。 2.2 人工智能共性技术 人工智能领域的共性技术可对其他研究方向和技术主题产生广泛影响，反映出人工智能领域的重要研发基础和技术前沿。以人工智能领域热点技术分布网络（图3）为对象，计算网络中各节点的限制度指标并升序排列，取Top20的热点技术作为人工智能领域的共性技术（表4）。 机器学习子领域占据15项共性技术，包括推理、特征选择与特征学习、图论、分类、搜索、回归等基础算法研究，以及约束优化、网络优化、最优化理论、损失函数及优化等机器学习算法优化方法探索，还包括序列学习、树学习、长短期记忆模型、多示例学习等新型学习方法实践，此外，也涉及到机器学习算法在生存预测、人机关系推断、药物不良反应预测方面的应用研究。由此可见，机器学习方法强大的赋能性推动了人工智能技术和应用的发展升级，各类机器学习共性技术为其他子领域研究实践奠定了坚实的方法和算法基础。 计算机视觉子领域占据3项共性技术，包括位置识别和图像对齐所涉及的核心技术研究，此外，还包括多标签对象识别、人脸识别、纹理识别、零次动作识别等机器视觉识别技术的研究和应用实践。机器人子领域中，传感器技术及应用作为一种共性技术，对于机器人的智能控制起到非常重要的作用，使其拥有类人的感知功能和反应能力，其中，分布式传感器网络、多传感器融合以及嵌入式微流体应变传感器等新型传感器是当下的技术研发前沿。 2.3 人工智能新兴技术 人工智能领域的新兴技术代表最新出现且短时间内受到广泛关注的研究方向和技术主题，反映出人工智能领域内具有重要潜在影响的新近研究热点。以会议论文关键词为分析数据，采用Sci2 tool工具的Burst Detection算法计算各个关键词的突发指标，根据突发权重和突发等级降序排列，选取最高突发等级且尚未进入突发稳定状态的Top15关键词作为人工智能领域的新兴技术。 在人工智能领域的新兴技术中，深度学习技术出现频率最高，包括深度神经网络、对抗网络、对抗学习、注意力机制、深度卷积神经网络、长短期记忆网络等。其中，生成对抗网络和注意力机制近年来的研究热度快速上升，已成为深度学习非常重要的模型和工具，前者可用于真实数据的建模与生成，如图像、视频、自然语言和音乐等，后者则在图像处理、语音识别和自然语言处理方面有广泛应用。此外，强化学习、案例推理和演化算法等机器学习方法，图像增强、信号编码等计算机视觉技术，以及自主代理和多代理系统等均为人工智能领域的新兴技术。 **3 结论** 基于人工智能高水平会议论文数据，利用无监督聚类、复杂网络结构洞理论和突发检测算法，从热点技术、共性技术和新兴技术三个方面挖掘分析人工智能领域的关键技术。根据上述分析结果可知： 人工智能领域共包含14个大类、132项热点技术，其中，机器学习子领域的热点技术主要包括基础算法的优化改进和实践应用，以及迁移学习、强化学习、多核学习和多视图学习等新型学习方法的研究探索等；自然语言处理子领域的热点技术主要包括特征提取、语义分类、词嵌入等基础技术和模型研究，以及智能自动问答、机器翻译等应用研究；计算机视觉子领域的热点技术主要包括视频图像分割、对齐、检测等所涉及的核心技术研究，以及三维重建、光度立体视觉、行人再识别等应用研究；机器人子领域的热点技术主要包括机械手、抓握、行走、感知和驱动等智能控制技术研究，以及外骨骼机器人和机器人传感器等硬件基础和软件优化研究。 人工智能领域的共性技术主要分布在机器学习、计算机视觉和机器人子领域，其中，机器学习方法强大的赋能性推动了人工智能技术和应用的发展升级，各类机器学习共性技术为其他领域研究实践奠定了坚实的方法和算法基础。 人工智能领域的新兴技术主要集中在深度学习方面，生成对抗网络和注意力机制是其中的典型代表，此外，新兴技术还包括强化学习、自主代理和多代理系统等。 人工智能作为一门基础研发和实践应用并重的技术科学，其热点技术既包含机器学习基础算法的改进优化，也涵盖自然语言处理、计算机视觉和机器人等通讯、感知和行动层面的应用研究。而通过热点技术遴选得到的共性技术则赋能了人工智能基础研发和实践应用进步，机器学习基础算法在不断进化的同时，也为相关研究方向提供了新思路、新方法和新手段，同样，机器视觉核心技术和传感器技术在也分别在计算机视觉和机器人领域起到至关重要的作用。热点技术和共性技术旨在揭示人工智能领域的技术全貌及核心技术方向，而新兴技术则从关键词层面细粒度揭示突发的技术研究内容，深度学习中的生成对抗网络和注意力机制作为人工智能新兴技术的典型代表，具有广泛的实践应用场景，对人工智能发展具有重要的潜在影响。 人工智能已成为全球重点关注的研究和发展领域，国际竞争日益激烈。美国在人工智能领域各热点技术大类下的发文量均位居全球首位，且遥遥领先于其他国家。中国在机器学习、自然语言处理、计算机视觉等多个技术大类下的发文量仅次于美国，但在强化学习、机器人、智能多代理系统研究方面发文量排名相对靠后，与美国、德国、法国、日本和英国等国家存在一定差距。此外，中国科学院在多个技术大类下的发文量均位居全球前列，清华大学、北京大学、浙江大学和大连理工大学也表现不俗，但与卡内基梅隆大学、微软研究院、麻省理工学院等美国著名高校和企业存在不小差距。

【鲲鹏DevKit案例分享】| 中地数码：通过DevKit快速迁移智慧城市时空大数据平台政府及时预警暴雨天气下的道路积水信息并进行应急指挥园区通过人脸识别进行权限管理、智能运维、资产管理百姓通过地图随时查找附近停车空位、搜索周边景点……我们的城市正在变得更聪明企业运营越来越高效百姓生活越来越便利这就是新型智慧城市的目标：“优政、兴业、惠民”       作为城市信息化创新发展的高级阶段，新型智慧城市综合利用物联网、云计算、5G移动服务、信息融合等技术，实时感知检测与智能控制掌握城市运行状态信息，通过信息融合实现政府、企业、个人、基础设施等之间的高度协调运行，为社会发展、城市管理和人民生活创造和谐高效环境。       地理信息系统（geographic information system，GIS）是新型智慧城市的“大脑”，通过城市信息的实时获取、高效处理和快速响应，从而快速的发现问题、分析问题和解决问题，实现城市的智慧化运营。目前，越来越多的城市依托GIS进行城市的规划管理，从而让城市更加宜居，生活更加便利，决策更加精准。       中地数码集团是专业从事地理信息系统（GIS）研究、开发、应用和服务的云GIS软件平台和解决方案提供商。历经三十多年发展，其GIS核心技术已跻身国际一流行列。MapGIS智慧城市时空大数据平台作为其重要解决方案在国土、市政、公安、气象等领域有着广泛的应用。随着新型智慧城市的深入建设，以及大数据、云计算、智能化等新技术的演进，承载时空大数据平台的基础设施也迎来更多挑战：1. 大体量：数据规模基于城市区域规模呈指数级增长，例如城市三维建模涉及的动态数据量，一千平方公里可达到TB级，省级/国家级数据量可达PB级，随着三维建模业务需求越来越多，数据量爆发式增长，对大容量的数据存储和处理要求高；2. 高并发：海量数据面临高性能并发计算的挑战，地图数据服务的并发量平均可达数十万/秒； 3. 低时延：智慧城市IoT应用场景对数据实时处理要求很高，需要秒级完成数据的采集、分析、出结果。4. 低功耗：大规模的计算量带来了能耗提升，为响应国家环保号召，需要低功耗硬件实现节能减排。       因此，中地数码急需融合性能高效、自主程度更高的基础设施来承载MapGIS时空大数据平台，以满足城市级别的数据融合和管理，为用户提供更加灵活的一体化的方案。       鲲鹏由于其天然的多核多并发的扩展运行能力，以及高性能、高算力优势，能够很好的满足数据量大、并行计算、低时延等要求；同时提供完善的DevKit开发套件以及专业服务，能够快速实现迁移和调优。基于此，2020年12月，中地数码联合长江鲲鹏生态创新中心成立了MapGIS地理信息系统联合实验室，双方经过多轮技术测试及方案集成验证，推出长江鲲鹏&中地数码智慧城市时空大数据底座联合方案，基于鲲鹏平台部署智慧城市时空大数据底座联合方案，从而提升应用系统的运行效率，打造智慧城市应用基座。【基于鲲鹏的智慧城市时空大数据底座联合方案—总体架构】       在项目实施过程中，由于指令集差异问题，需要把MapGIS时空大数据平台迁移到鲲鹏平台上重新编译运行。然而该应用的代码量和代码组织都很复杂，给迁移工作带来不少挑战：• 依赖库、第三方软件多：包含100+so动态库，500+JAR包，全部需要通过手工查找、迁移，非常耗时；• 代码量大：三个待迁移产品涉及10个服务，共计122万行代码；经过分析，如果通过人工迁移，整个项目的迁移需要近100人月才能完成，工作量巨大。       为了解决上述迁移问题，中地数码在对接过程中使用了鲲鹏DevKit开发套件进行快速迁移和调优，将GIS运维管理中心、存储引擎MapGIS DataStore、分析引擎MapGIS IGServer-X三个重要应用迁移到鲲鹏平台。在DevKit的帮助下，单应用仅需1.5人天即可完成迁移，三个应用总计6人天完成了迁移，并且迁移之后应用的性能更佳。• 快速迁移：通过代码迁移工具完成应用的扫描、分析、代码移植，平均迁移效率1.5人天每应用       通过DevKit鲲鹏开发套件中的代码迁移工具Porting Advisor进行工程文件的自动扫描分析，快速定位所要移植的代码并评估工作量，从而帮助迁移人员更好的规划迁移工作。同时，该工具还能自动标识需要修改的代码并给出修改建议，并且可直接从分析报告中获取鲲鹏兼容的JAR包下载地址，避免了人工查找时间长、门槛高、效率低的问题。       在上述工作中，迁移人员通过Porting Advisor共识别出依赖文件108个，已兼容JAR包41个，去重待验证JAR包9个，去重待验证so文件58个，其中兼容JAR包可直接下载替换，整个迁移加调优平均单应用耗时1.5人天，大大提高了迁移效率。使用代码迁移工具分析结果对比图【分析前】使用代码迁移工具分析结果对比图【分析后】• 编译调试：使用毕昇JDK实现13~15%的程序运行效率提升       在编译的过程中通过编译器毕昇JDK提升编译后的程序运行效率，由于毕昇JDK在鲲鹏平台上进行了优化和稳定性增强，尤其针对存储引擎和分析引擎等对并发要求高的应用场景能够提供更好的编译性能。基于MapGIS程序进行测试评估：相比于Oracle JDK，使用毕昇JDK后可以实现10~15%的运行效率提升。使用Oracle JDK1.8的Spark性能分析结果使用毕昇 JDK1.8的Spark性能分析结果使用毕昇 JDK11的Spark性能分析结果• 性能调优：基于Java性能分析工具深度优化GIS平台，整体性能提升18-20%；在性能调优过程中还应用到鲲鹏性能分析工具，监控和优化操作系统、JVM的运行状态，提升MapGIS程序（存储引擎&分析引擎）运行的效率：1）通过Java优化工具有效分析应用场景下系统资源的使用情况及利用率等，避免系统过载；2）通过Java性能优化工具有效分析应用JVM运行情况，给出最优配置，避免JVM过载、GC及时释放资源，提升运行效率；3）进行业务系统的并发参数调优，提升大数据处理下的并发任务数。迁移人员基于矢量大数据分析和影像大数据分析两个场景进行了调优前后的对比测试：在矢量大数据分析场景中对某省千万级土地利用图斑数据进行分析，整体分析速度平均提升20%；在影像大数据分析场景中，对1.5T影像数据进行发布，整体速度提升18%；【大数据分析场景性能对比图】经过DevKit的一系列迁移和调优，智慧城市时空大数据底座联合方案快速完成了业务部署。目前该方案已经在数字政府、智慧城市、自然资源等众多领域落地。同时，该方案还在2021年7月鲲鹏应用创新大赛2021湖北赛区中斩获了金奖。     作为鲲鹏计算产业生态重要伙伴，中地数码已与长江鲲鹏生态创新中心建立长期合作关系，未来，鲲鹏还会为伙伴和开发者提供完备、易用和高效的工具链，使能伙伴联合创新，打造更具竞争力的行业解决方案，促进千行百业数字化转型，也为数字经济发展提供源源不断的动能。【登陆鲲鹏社区DevKit专区，了解更多详情】

问题：执行脚本后HDFS NameNode自动停止分析过程:查看日志，发现Hive报错堆内存溢出，HDFS报NameNode连接超时导致停止运行等错误。查看name node机器环境：lscpu查看负载：top分析到系统numa个数只有2个以及网络中断很高，怀疑网卡版本有问题。查看网卡版本：ethtool -i enp4s0发现是1822网卡，驱动未升级。排查集群机器解决方案：升级网卡驱动以及关闭DIE交织升级后的网卡关闭DIE交织后，正常显示4个numa对机器升级驱动以及关闭DIE交织后，再次执行脚本Namenode正常，distcp任务运行时间由2个多小时降低至3分钟左右问题二：mapreduce提交任务计算时，job已经结束，但是容器仍不能关闭持续等待五分钟问题原因：ATSv2的嵌入式HBASE崩溃。解决方案：重置ATsv2内嵌HBASE数据库1.停止Yarn服务Ambari -> Yarn-Actions -> Stop2.删除Zookeeper上的ATSv2 Znodezookeeper-client -server zookeeper-quorum-serversrmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure（如果是kerberized集群）3.从HDFS移动Hbase时间线服务器Hbase嵌入式数据库hdfs dfs -mv /atsv2/hbase/tmp/4.开始使用yarn服务Ambari - > Yarn-Actions- > Start再次重新提交任务，发现程序正常，问题解决，任务时间由14分钟降低至8分钟左右

此贴为《华为云MRS介绍&如何使用MRS服务》课后操作任务打卡专用查看更多操作任务请点击：》》点击前往《《查看全部活动任务&信息请点击：》》点击前往《《按要求完成考核打卡可获得活动积分  +20积分》》参与活动前请先点击这里报名活动《《参与考核中可能会存在使用产品的情况，请提前领取课程专属免费试用https://activity.huaweicloud.com/Date-free.html领取时请保证领取区域一致，推荐  华南-广州  操作考核方式：《华为云MRS介绍&如何使用MRS服务》课后操作任务用户前往》》课程报名《《课程，并按照操作文档进行操作，按照指导完成实验，最后按照要求截图+华为云账号回复至本帖内，视为完成任务。需要截图截出图1-9，并显示用户名称，无名称则无效活动规则：a. 回复非按要求的图片，视为无效楼层。b.按照规定完成打，并按照规定将帖子截图回复到本帖可获得20积分课程积分更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

各位亲爱的开发者们华为云【大数据全栈成长计划】已经正式开课啦~完成课程任务累计积分可以得到GT2智能手表、华为真无线蓝牙耳机、WiFi6路由器等惊喜大奖所以，积分对大家真的很重要哦小助手限时开启【限时分享积分赛】分享海报获得20课程积分！往下具体康康到底怎样拿到本次积分》》参与活动前请先点击这里报名活动《《◎获得积分动作：方式一：转发下方活动海报至朋友圈，+转发语：我已报名华为云大数据全栈课程，抢到了官方免费培训资格，快来跟我一起免费学习吧！，公开可见保持2小时以上，将转发内容截图回复至下方评论区！记住：一定要公开可见保持2小时哦~方式二：使用个人专属分享邀请链接至朋友圈+转发语：我已报名华为云大数据全栈课程，抢到了官方免费培训资格，快来跟我一起免费学习吧！，公开可见保持2小时以上，将转发内容截图回复至下方评论区！记住：一定要公开可见保持2小时哦~》》》了解获取个人专属分享邀请链接方式《《《◎第一期分享活动期限：2021年11月19日-11月21日23:59结束◎第二期分享活动期限：2021年11月26日-11月28日23:59结束◎获积分方式：在从此期限内所有按要求完成分享并回复楼层的用户每人都会获得20积分（积分会累计在最终的积分排行中）◎活动规则：1. 每个华为云账号用户仅可获得一次积分奖励，多个微信号转发视为无效2. 本次课程具体内容可点击链接：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html3. 本次活动回帖内容需满足华为云论坛发帖规范：https://bbs.huaweicloud.com/forum/thread-23077-1-1.html

这一期【大数据全栈成长计划】的目的就是想让大家在学练结合在课程中我们设置了很多操作任务供大家练习参与操作任务不仅可以锻炼自己的实操能力还能巩固学习知识，获得积分换取好礼！按要求完成考核打卡可获得活动积分  +20积分》》参与活动前请先点击这里报名活动《《考核打卡时间即日起-2021年12月19日考核打卡内容及要求完成全部课程考核才能获得课程证书参与考核中可能会存在使用产品的情况，请提前领取课程专属免费试用：https://activity.huaweicloud.com/Date-free.html 操作考核列表：《星际探索demo》操作任务：前往了解任务，回到本帖完成打卡《华为云MRS介绍&如何使用MRS服务》课后操作任务：前往任务帖，回复到任务帖完成打卡《华为云原生大数据serverless服务DLI》课后操作任务：前往任务帖，回复到任务帖完成打卡最终考核认定（领取实体证书）全部完成以上三种实验后自动获得资格，将在活动结束后公示名单完成三个操作任务并对应回复截图后，可获得实体证书请在此问卷中登记信息：https://devcloud.huaweicloud.com/expertmobile/qtn?id=bcdc4692db4a48f5808bce295ebd0666 操作考核方式：一、《星际探索demo》操作任务下载附件星际探索demo，按照指导完成实验，最后按照要求将实验结果截图+华为云账号回复至本帖内，视为完成任务。打卡截图示例（请将最终效果截图即可）：华为云账号+打卡截图二、《华为云MRS介绍&如何使用MRS服务》课后操作任务前往任务帖，回复到任务帖完成打卡三、《华为云原生大数据serverless服务DLI》课后操作任务前往任务帖，回复到任务帖完成打卡活动规则：a. 回复非示例图片，视为无效楼层。b.按照规定完成打，并按照规定将帖子截图回复到本帖可获得20积分课程积分更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html《星际探索demo》操作任务社群限时活动获奖名单（获得三合一数据线）获奖名单@wuArchivelwq1228许久修罗哦以下用户获得《大数据全栈成长计划》实体证书，请于22日前填写信息用于证书制作：请在此登记信息：https://devcloud.huaweicloud.com/expertmobile/qtn?id=bcdc4692db4a48f5808bce295ebd0666孤星恋悦Aniahw31656882凉小汐云外山河新手上路001lwq1228Overthinkerzhy1003爱学习的多宝Archivewuyicomdamenzekelovenihttluv　zhujie去休mikey小小的愿望　大妮子奋斗青年_93HNULIJILEI话不多先生　

DevRun在线训练营【大数据全栈成长计划】已上线报名现已开启>>>>>>>点击此处了解详情邀好友，学课程，赢大礼！邀请好友一起报名学习大数据课程，就有机会得到好礼！一起学习，共享进步！-邀请活动时间：即日起-2021年12月19日课程结束活动奖励>>>>邀友报名活动， 享受以下奖励：奖励1：完成一个有效邀请即可获得活动积分+10，最高150分奖励2：达到相应有效邀请人数即可获得以下奖品限时加倍奖励：达到相应有效邀请人数即可获得抽奖资格。说明：若邀请人数符合条件，则按照完成有效邀请时间进行排序发奖，限时加倍奖励以最大奖品为准，奖品不兼得。有效邀请：见下方活动规则邀请条件奖品名称获奖名额有效邀请人数≥100华为平板 M6 8.4英寸 4GB+64GB1有效邀请人数≥50猎人路由器2有效邀请人数≥25定制雷柏键盘6有效邀请人数≥10京东京造充电宝PD 18W 10000毫安20>>>>限时玩法升级，奖品加倍：邀请条件奖品名称抽奖名额有效邀请人数≥50智能保温杯2有效邀请人数≥30定制雷柏键盘4有效邀请人数≥10定制鼠标6有效邀请人数≥5文件收纳袋10邀请方式步骤一：邀请人成功报名【大数据全栈成长计划】活动后（点此去报名）点击图示中的“分享有礼”按钮步骤二：通过生成的专属链接/邀请二维码，即可邀请好友报名活动步骤三：好友点击邀请链接，报名即可。（邀请链接打开就是报名表格，无需填写【邀.请.码】）步骤四：邀请好友通过指定版块技能测评（见活动规则）活动规则>>>>参与邀请要求：1. 参与邀请用户与被邀请用户必须完成华为云官方平台实名认证；2. 参与邀请活动的用户需进行课程报名与学习，成功获取150+积分，且在课程学习积分榜前200名内；>>>>有效邀请者要求：1、被邀请用户必须完成华为云官方平台实名认证且报名本次活动：点击报名链接2、完成以下任意任务（选择1）被邀请用户需完成《大数据分析7天训练营》技能测试、完成后将成绩截图按照要求回复到指定活动贴：点击回复活动贴《大数据分析7天训练营》技能测试链接：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE272+Self-paced/about（选择2）被邀请用户需完成华为云专业技能测评指定版块、完成后将成绩截图按照要求回复到指定活动贴：点击回复活动贴-指定版块:   大数据开发工程师： 数据库技能测评、Python技能测评 Java开发工程师： Java技能测评C&C++开发工程师: Linux技能测评完成以上任选一个测评，并取得80分通过，即可计算为有效用户；-专业技能测评链接：https://devcloud.huaweicloud.com/expert/assessment/skill注意：被邀请者需符合以上两个条件才为有效邀请！！！注意事项活动从即日起至2021年12月课程结束止，此外时间内邀请人数不算有效邀请专属链接/二维码禁止在本期课程学习群内露出，如发现群内露出将取消活动邀请资格参与活动需获取专属链接，专属链接需大家按照上述活动步骤自行获取本次邀请活动为大数据全栈成长计划全阶段期间活动~全阶段结束后会在20个工作日内结算并将奖品寄出，寄出时间根据实际情况动态调整，如有延期敬请见谅；活动结束后将统计最终排名及获奖结果，如核查发现存在邀请账号为机器注册账号或无效账号将取消此部分邀请数据。如出现邀请人数并列的情况，按最先达成人数的时间优先排名。更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

    sqoop job   工具：            sqoop  job工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop增量导入新数据。sqoop job   工具：       sqoop  job工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop增量导入新数据。 sqoop语法：$ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)][  ]里面的是其它sqoop工具  两个()指的是本节介绍的参数和参数内容sqoop job的使用参数：Argument                                                                                                             Description--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- should be specified; this defines the saved job.--delete <job-id>Delete a saved job.--exec <job-id>Given a job defined with --create, run the saved job.运行任务时，可以使用--形式的参数覆盖之前创建时设置的参数--show <job-id>Show the parameters for a saved job.--listList all saved jobs创建自动增量导入任务：自动导入tbltest表格任务：​sqoop job  --create dbFood_tbltest  -- import  --connect jdbc:mysql://192.168.56.101:3306/dbFood  --username root --password root --table tbltest  --hive-import  --hive-table tbltest --null-string '\\N' --null-non-string '\\N'  --incremental append  --check-column id  --last-value 3 ​指令执行： sqoop job --exec dbFood_tbltest删除任务：sqoop job --delete dbFood_tbltest查看任务表：sqoop job --list 设置免密码：注意默认的情况下是要求输入数据库密码的，可以通过配置conf/sqoop-site.xml 指定sqoop.metastore.client.record.password为true避免配置为： <property>     <name>sqoop.metastore.client.record.password</name>     <value>true<value>     <description>If true, allow saved passwords in the metastore.     </description> </property> 2.hivesql sqoop部分笔记：15:381.sqoop抽取MySQL表格所有数据到hive表库：全量抽取数据：一：sqoop import --connect jdbc:mysql://192.168.56.101:3306/dbFood --username root --password root --table tblmovie --hive-import --fields-terminated-by ',' -m 1  二：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ --hive-table tbltest \ -m 1（表后追加方式）增量sqoop抽取MySQL数据到hive表：（抽取id 大于0的数据）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tblmovie \ --hive-import \ -m 1  \--hive-table tblmovie \ --incremental append \ --check-column id \ --last-value 0  （抽取id大于2 的数据）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \--hive-table tbltest \ --incremental append \ --check-column id \ --last-value 2  （修改后面的id123456就行）（根据时间增量抽取）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \--hive-table tbltest \ --incremental lastmodified \ --check-column recordetime \ --last-value "2021-10-31 15:15:15.0" 减量抽取数据：（用where设定条件）sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \ --incremental append \ --where "age>30" --check-column id \ --last-value 02.删除hive的表（删除hive表部分符合条件数据时，不能使用delete from 表名 的SQL语句）：    删除表中数据，保留结构：    truncate table 表名；    删除整个表：    drop table 表名；    删除整个表，不准备恢复时：    drop table 表名 purge;     删除部分数据：3.hive 逗号分隔符建表：create table tblmovie( id int , movieadress string, picture string, moviename string, score double, numofevalus int, situation string, information string, ROE double, moviememo string, recodetime date ) ROW FORMAT DELIMITED FIELDS TERMINATED BY','; (无主键外键) 创建一张和MySQL表相同表数据类型的hive表：sqoop create-hive-table \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-table tbltest   4.查看表信息：desc 表名；desc formatted 表名；(查看更加详细)5.查看hive库：show databases;

将jdk、hadoop安装包上传到服务器/usr 下（个人建议） 并解压到当前目录进入usr目录下 解压： tar -zxvf 压缩包名称删除压缩包：rm -rf 压缩包名称修改文件夹名称：mv 旧名/ 新名建议改为名称修改为以便后期清洗时用到 jdk   和   hadoop环境变量配置修改配置文件 vim /etc/profile在文件下面添加环境配置：可复制下面内容放到profile文件种最后：export JAVA_HOME=/usr/jdkexport HADOOP_HOME=/usr/hadoopexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop保存退出后，使文件生效：source /etc/profileHadoop 配置需要配置文件目录：/usr/hadoop/etc/hadoop先进入 cd /usr/hadoop/etc/hadoop然后 vi hadoop-env.sh 进入hadoop环境中  JAVA_HOME=修改为：/usr/jd配置 core-site.xml 。需要配置：外部访问地址路径、临时文件的存储目录    <property>    <name>fs.defaultFS</name>    <value>hdfs://192.168.229.141:8020</value>        注意 ip地址为虚拟机的ip</property><property>    <name>hadoop.tmp.dir</name>    <value>/usr/hadoop/tmp</value></property>hdfs-site.xml  主要设置：namenode、datanode、分布式数量<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/hadoop/tmp/dfs/data</value></property>Hadoop 格式化hdfs namenode -formatHadoop 启动：start-dfs.sh检查是否启动成功：jps

ROMA 20.0.0.SPC12API 接口最大请求数据为多少？使用postMan 请求ROMA接口 请求不到是怎么回事？Topic 消息体最大值是否可以通过系统参数调节大小？