### 名称及链接 [电子相册智慧整理](https://edu.huaweicloud.com/certifications/880d036b9d6243f1871693a0706e7f2a)   ### 课程章节 1. 相册整理与华为云EI服务 2. 图像处理基础知识 3. 卷积神经网络 4. 电子相册智慧整理项目实战   ### 证书    ### 笔记 1. 相册智能整理 1. 图片标签 2. 快速分类 3. 动态相册 4. 智能搜索 2. 华为云EI服务 1. 图像识别 1. 场景分析 2. 目标检测 3. 智能相册 4. 图像搜索 2. modelarts 3. 图像处理运用场景 1. 图像分类 2. 风格化 3. 低曝光增强 4. 超分辨率 5. 图像去雾 3. 计算机视觉 1. 图像的采集获取 2. 图像的压缩编码 3. 图像的存储和传输 4. 图像的合成 5. 三维图像重建 6. 图像增强 7. 图像修复 8. 图像的分类和识别 9. 目标的检测、跟踪、表达和描述 10. 特征提取 11. 图像的显示和输出 4. 颜色空间 1. RGB 2. HSV 3. CMYK 4. Lab 5. 常见图像存储格式 1. BMP 2. JPG 3. GIF 4. PNG 6. 图像预处理 1. 图像灰度调整 1. 最大值法 2. 平均值法 3. 加权平均值法 2. 对比度增强 1. 直方图均衡化 3. 锐化 1. 梯度法 4. 平滑 5. 去噪 6. 其他 1. 通道调整 2. 翻转 3. 缩放 4. 拉伸 5. 旋转 6. 噪声 7. 对比度 8. 剪切 7. 卷积神经网络（一种前馈神经网络） 1. 卷积层 1. 卷积核 2. 特征图 2. 激活函数 1. sigmoid 2. tanh 3. relu 4. leakyrelu 5. SoftMax 3. 池化层 1. 最大池化 2. 平均池化 4. 全连接层 8. 反向传播算法 9. 梯度下降算法 10. anaconda 11. jupyter notebook 12. python图像处理库 1. PIL 2. pillow 3. OpenCV 4. matplotlib 5. scikit-image 13. Base64编码方式   ### 备注 1. 感谢老师的教学与课件 2. 欢迎各位同学一起来交流学习心得^_^ 3. 在线课程、沙箱实验、博客和直播，其中包含了许多优质的内容，推荐了解与学习。

kernel 中的卷积核介绍：简介卷积核（kernel），也叫卷积矩阵（convolution matrix）或者掩膜（mask），本质上是一个非常小的矩阵，最常用的是 3×3 矩阵。主要是利用核与图像之间进行卷积运算来实现图像处理，能做出模糊、锐化、凹凸、边缘检测等效果。

一、简介1 灰度化 （grayscale）将彩色图像转化为灰度图像的过程称为图像灰度化。彩色图像中的像素值由RGB三个分量决定，每个分量都有0-255（256种）选择，这样一个像素点的像素值可以有1600万种可能（256256256），而灰度图的像素点的像素值是RGB三个分量值相同的一种特殊的彩色图像， 只有256种可能。所以在图像处理中，往往将各种图像首先灰度化成灰度图像以便后续处理，降低计算量。灰度是指只含亮度信息，不含色彩信息的图像。黑白照片就是灰度图，特点是亮度由暗到明，变化是连续的。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征，使用灰度图的好处：① RGB的值都一样。② 图像数据即调色板索引值，就是实际的RGB值，也就是亮度值。③ 因为是256色调色板，所以图像数据中一个字节代表一个像素，很整齐。所以，做图像处理时一般都采用灰度图。要表示灰度图，就需要把亮度值进行量化，有四种方法：（1）分量法将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选取一种灰度图像。（2）最大值法将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。（3）均值法将彩色图像中的三分量亮度求平均得到灰度图的灰度值。（4）加权平均法根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像，f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j))。2 二值化（binaryzation）图像的二值化是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。将256个亮度等级的灰度图像通过适当的阀值选取而获得仍然可以反映图像整体和局部特征的二值化图像。所有灰度大于或等于阀值的像素被判定为属于特定物体，其灰度值为255，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。在数字图像处理中，二值图像占有非常重要的地位，首先，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。其次，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像。二值化的常用算法有：全局二值化： 一幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，最常用的方法就是设定一个全局的阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群。将大于T的像素群的像素值设定为白色（或者黑色），小于T的像素群的像素值设定为黑色（或者白色）。全局二值化，在表现图像细节方面存在很大缺陷。为了弥补这个缺陷，出现了局部二值化方法。局部二值化：按照一定的规则将整幅图像划分为N个窗口，对这N个窗口中的每一个窗口再按照一个统一的阈值T将该窗口内的像素划分为两部分，进行二值化处理。局部二值化也有一个缺陷。这个缺陷存在于那个统一阈值的选定。这个阈值是没有经过合理的运算得来，一般是取该窗口的平局值。这就导致在每一个窗口内仍然出现的是全局二值化的缺陷。为了解决这个问题，就出现了局部自适应二值化方法。局部自适应二值化：在局部二值化的基础之上，将阈值的设定更加合理化。该方法的阈值是通过对该窗口像素的平均值E，像素之间的差平方P，像素之间的均方根值Q等各种局部特征，设定一个参数方程进行阈值的计算，例如：T=aE+bP+c*Q，其中a,b,c是自由参数。这样得出来的二值化图像就更能表现出二值化图像中的细节。3 反色（inverse）反色的实际含义是将R、G、B值反转。若颜色的量化级别是256，则新图的R、G、B值为255减去原图的R、G、B值。这里针对的是所有图，包括真彩图、带调色板的彩色图(又称为伪彩色图)、和灰度图。真彩图不带调色板，每个象素用3个字节，表示R、G、B三个分量。所以处理很简单，把反转后的R、G、B值写入新图即可，比如一个点的颜色为(0,0,0)，反色后为(255,255,255)。带调色板的彩色图，其位图中的数据只是对应调色板中的一个索引值，我们只需要将调色板中的颜色反转，形成新调色板，而位图数据不用动，就能够实现反转。

想了解华为在数字图像处理这方面需要人才吗。。。入职华为大约需要啥学历

文丨脑极体新的AI技术发展趋势有哪些？多模态学习技术一定是其中之一。最近，刚刚宣布“自立门户”的微软AI明星产品小冰改名为“红棉小冰”。殊不知2014年诞生的这一个AI对话机器人已经在5年时间里更新到了第七代了，据称能力上正在“无限接近人类”。现在的小冰，不仅是那个会作诗的机器人了，她还会唱歌作曲、阅读朗诵、撰写新闻，甚至去年还办了一个虚拟7位画家的个人画展。多模态识别技术正是小冰越来越像人一样沟通表达的关键之一。多模态技术同样也在视频网站、电商物流、自动驾驶等领域得到广泛。像爱奇艺推出的“只看TA”功能，优酷视频正在使用的视频帧、人脸帧的图向量检索，都离不开多模态识别技术的支持。而像京东淘宝等电商平台的“拍照购”、“拍立淘”的搜索技术背后也都是在计算机视觉技术下，使用了图像、文本和高层语义属性等多模态下的信息融合，才实现高精度的“以图搜图”功能。百度提出的“多模态深度语义理解”，则让AI实现从“看清听清”到“看懂听懂”的进化。可以说，人工智能在通向人的智能的道路上，多模态学习就是一个绕不开的发展方向。因为人类本身就是一个多模态学习的典范。现在，多模态学习技术正在带来众多全新的应用场景。关注AI技术和应用发展趋势的你，想必也想了解下多模态学习的来龙去脉，以及在这些新应用场景中的技术现状与问题。而这些问题也是本文重点探讨的内容。“多模态学习”，正式认识下模态（Modality），虽然不是我们的日常用语，但却十分容易理解。我们每一天都会接触到各种不同来源和形式的信息。正如我们有视觉、听觉、嗅觉和触觉等，那么我们接触的信息就有视频、图像、文字、语音、味道、软硬度等，这每一种信息的形式就可以称作一种模态。模态的范围要比我们的感知能力更宽泛。除了视觉、听觉获得的模态信息，我们也可以利用传感器获得诸如雷达、红外线等不同感应数据的模态信息。此外，模态的类型定义也可以非常宽泛，比如我们可以把两种不同的语言当做是两种模态，把不同结构下采集的数据，也可以当做两种模态。比如，仅仅一个视频内容数据，就是一个高维度、多模态的数据信息，其中包含了标题、简介、评论、字幕等文本信息，也有视频帧的图像、声音，以及连贯动作视频片段的视觉、声音信息。多模态学习，从上世纪70年代就已经起步，几经发展，现在正进入到机器学习特别是深度学习的阶段。通常称为多模态机器学习（Multi-Modal Machine Learning ，MMML），试图通过机器学习的方法实现对多源模态信息进行分析和理解。当前主要热门的研究方向自然是对图像、视频、音频、语义之间的多模态学习。当前，多模态学习主要研究方向有多模态表示学习、模态间映射，多模态对齐、融合、协同学习等。多模态表示学习，研究如何将多个模态数据所蕴含的语义信息数值化为实值向量，通俗理解就是对多个模态的数据进行相关性编码，让不同模态建立起映射关系。按多模态表示共享的方式，主要分为公共表示学习和特异性表示学习，后者由于是分别学习不同模态的特征，可以应用于诸如零次学习、模态间映射、跨模态检索等任务中。模态间映射，研究如何将某一特定模态数据中的信息映射至另一模态。例如，给定一幅图像，通过机器学习得到这副图像的描述，或者给定一段文字，生成一幅匹配的图像。类似于我们学习中遇到的“看图说话”和“以题作画”的问题。模态间映射早已可以应用于语音合成、图像视频描述以及跨模态检索等应用中。此外，多模态对齐，主要研究如何识别不同模态之间的部件、元素的对应关系，以促进学习到的多模态表示更加精确，例如将电影画面、口型、语音、字幕的自动对齐；多模态融合，主要致力于不同模态间的模型与特征的整合，以获得更全面的特征，提高模型鲁棒性，并且保证模型在某些模态缺失时仍能有效工作；而多模态协同学习，主要考虑如何从信息丰富模态上学习的知识迁移到信息匮乏的模态，使各个模态的学习互相辅助。典型的方法包括多模态的零样本学习、领域自适应等。近两年，随着机器学习的模型的飞速进展，多模态学习中出现的映射质量问题、对齐的匹配度量以及融合噪声干扰等问题，都在实现很好的优化解决，为多模态的落地应用做好了准备。多模态学习，正在丰富哪些应用场景？通过以上解释可以知道，其实很多我们熟知的AI技术都可以归类到模态学习当中。比如，像机器翻译，通过输入的一种A语言即时翻译为另一种B语言，其实质就是一种模态之间的映射转化。类似的还有唇读识别和语音翻译，也就是分别将唇部视觉和语音信息转换为文本信息。在图像识别中，会应用到一种“图片语义分割”，即尝试给图片的不同像素区域对应到每一种类型标签，实现视觉和词汇的对应。这就是多模态对齐在空间维度的应用。当然，基于多模态数据的丰富表示以及映射、对齐和融合的应用，可以将目前AI的三种主要感知模态——语音交互、机器视觉、传感器智能进行多模态组合，产生全新的应用场景。在语音交互上，“多模态深度语义理解”技术正在为其带来更深度的应用场景。对于前几年的智能音箱，我们都有这样的感触，那就是语音交互只能完成简单的搜索，一旦多聊几句，就发现机器人要么只有万能的“套路”公式，要么就“答非所问”。这一问题的根源就是人工智能无法更好的理解对话者的深层涵义，也没有灵活的应答机制和内容。此外，也更难理解人的语气、情绪这类情感模态信息，当然因为没有视觉感知，更不可能去理解人的表情、动作、姿态等信息。多模态深度语义理解可以极大改善这类语音交互的语义理解难题。比如，其中一个应用场景是智能汽车的数字座舱，正在从原本单一的车载语音识别，实现融合视觉、语音、车内外场景图像的多模态识别的转变。在实际的语音交互中，车载智能助手不仅可以实现语音的识别，也可以通过摄像头识别人的表情神态、动作，比如识别疲劳驾驶、分心、发热等状况，以进行即时的语音提醒。语音交互也可以更加以人类的自然语言进行交互，而不必要使用生硬的指令型语言。而在以机器视觉为主的应用中，多模态学习技术也带来新的应用可能。以电商平台购物为例，用户的一大痛点就是看到一些“心水”的好物或者同款，但不知道名字，通过拍照识别和检索，将为用户提供最便捷的推荐服务。另外，在电商的智能客服，用户也希望能够通过简单对话或者发送图片、视频的方式处理订单问题。在这些场景中，跨模态检索和映射转化技术就得到了深度应用。比如，在商品推荐和信息流广告中，就需要结合海量商品图像与对应的商品语义属性，学习图像语义特征表达，以提高符合用户需求的商品推荐度。而与智能客服进行的多轮对话中，融入视觉到语言的跨模态转换技术，可以自动实现对用户上传的图片或视频进行自动应答。在传感器智能上，多模态识别技术可以应用到大量的物联网设备场景中。通过在大量的智能设备中增加视觉、温度、湿度和光线传感器，来实现多模态的智能交互。比如在智能空调中，加入语音交互、视觉识别指令，结合传感器判断屋内温度和湿度，可以根据屋内人数、位置等因素来实现更精准的控温方案。而现在更多智能大屏应用，也在将机器视觉、语音交互和一些智能传感器引入到智能硬件中，实现对屋内光线的调节、音量、观看者状态（离得是否太近，是否有未成年人）等因素的智能识别和调节。而近期，华为推出的一款针对办公场景的智慧屏幕，可以根据视频会议中的发言对象进行视角跟踪，将摄像头跟踪、焦点人物识别和身份识别结合起来。正如开始列举的，多模态学习技术更主要的应用还是集中在语音和视觉的多模态识别上。在爱奇艺的“只看TA”的功能中，除了人脸识别要区分是真人还是卡通人物，还要对**信息，甚至还有微表情、身体语言等识别，多模态技术成为视频场景中不可缺少的技术支撑。而在未来的聊天机器人或者智能助手上，多模态学习将帮助智能机器人综合处理图像、声音和文字信息，同时可以进行综合模态，甚至包括情感等特征信息的输出与表达。技术尚在中途，未来仍需努力不过，我们仍然需要指出的是，尽管多模态学习技术已经有诸多的应用场景，但其技术实现仍然有诸多不足，也会有一些场景仍然是“伪多模态”的技术应用状态，导致一些场景体验仍然不能“尽如人意”。现在的多模态技术的结合多为“松耦合”状态，各个模态可以一起工作，但耦合之下还不够十分紧密。也就是现在更多实现的是两种模态信息的转化和融合。而一旦多种模态数据增加，耦合也会增多，冲突也就会增加，产生各种噪声。比如，对于聊天机器人，如何在回复的声音、文本中增加情感特征，就是一件非常困难的事情。因此，我们遇到的一批智能机器人都很容易是冷冰冰的客服腔调，以致于我们确实不好识别对方是真人还是机器人多模态技术主要还是采用已标注的多模态数据来生成深度学习模型，这导致这些模型在真实场景下的泛化能力受到很大限制。现有的多模态技术更多要与知识图谱结合，融入专家、常识等知识，利用数据和知识的联合来让多模态技术建立其“智能”的作用。此外，正如一位专家指出的，当前的多模态技术还是属于狭隘的单任务学习，整个训练和测试的过程都是在封闭和静态的环境下进行，这就和真实世界中开放动态的应用场景存在一定的差异性。这距离人类在真实场景中的泛化的多模态感知相距甚远。未来为提高多模态的泛化感知能力，可以利用元学习的方式来让模型自己学会如何认知新的多模态知识，实现适用于开放动态场景并具备终生学习能力的多模态模型。而在推动AI的推理能力上，在多模态模型训练的过程中，可以引入自监督、自学习的推理性任务，“强迫”多模态模型进行推理和思考，这也能在一定程度上让机器去慢慢学会推理。通过多模态学习技术实现AI的推理，看起来难度极大，这一假设还需要未来更多实验和验证。总的来说，多模态技术已经在试图“复制”人类在日常生活中的各类场景，尽可能把人类的感知信息进行分析处理和整合，并实现更全面综合的理解，也能结合“数据”和“知识”给出相应的回应。但这距离真正的人类级别的智能还有质的差别。当然，人们对多模态技术的发展前景仍然看好，相比于只侧重单一模态的技术，多模态技术所构建的智能应用场景将更多样化，也与我们普通人期待的智能生活更近一些。更何况，多模态技术仍处在“襁褓状态”，我们应该留给它足够长的成长时间，等待美好发生。【转载 自 钛媒体app

模态（Modality），虽然不是我们的日常用语，但却十分容易理解。我们每一天都会接触到各种不同来源和形式的信息。正如我们有视觉、听觉、嗅觉和触觉等，那么我们接触的信息就有视频、图像、文字、语音、味道、软硬度等，这每一种信息的形式就可以称作一种模态。模态的范围要比我们的感知能力更宽泛。除了视觉、听觉获得的模态信息，我们也可以利用传感器获得诸如雷达、红外线等不同感应数据的模态信息。此外，模态的类型定义也可以非常宽泛，比如我们可以把两种不同的语言当做是两种模态，把不同结构下采集的数据，也可以当做两种模态。比如，仅仅一个视频内容数据，就是一个高维度、多模态的数据信息，其中包含了标题、简介、评论、字幕等文本信息，也有视频帧的图像、声音，以及连贯动作视频片段的视觉、声音信息。多模态学习，从上世纪70年代就已经起步，几经发展，现在正进入到机器学习特别是深度学习的阶段。通常称为多模态机器学习（Multi-Modal Machine Learning ，MMML），试图通过机器学习的方法实现对多源模态信息进行分析和理解。当前主要热门的研究方向自然是对图像、视频、音频、语义之间的多模态学习。当前，多模态学习主要研究方向有多模态表示学习、模态间映射，多模态对齐、融合、协同学习等。多模态表示学习，研究如何将多个模态数据所蕴含的语义信息数值化为实值向量，通俗理解就是对多个模态的数据进行相关性编码，让不同模态建立起映射关系。按多模态表示共享的方式，主要分为公共表示学习和特异性表示学习，后者由于是分别学习不同模态的特征，可以应用于诸如零次学习、模态间映射、跨模态检索等任务中。模态间映射，研究如何将某一特定模态数据中的信息映射至另一模态。例如，给定一幅图像，通过机器学习得到这副图像的描述，或者给定一段文字，生成一幅匹配的图像。类似于我们学习中遇到的“看图说话”和“以题作画”的问题。模态间映射早已可以应用于语音合成、图像视频描述以及跨模态检索等应用中。此外，多模态对齐，主要研究如何识别不同模态之间的部件、元素的对应关系，以促进学习到的多模态表示更加精确，例如将电影画面、口型、语音、字幕的自动对齐；多模态融合，主要致力于不同模态间的模型与特征的整合，以获得更全面的特征，提高模型鲁棒性，并且保证模型在某些模态缺失时仍能有效工作；而多模态协同学习，主要考虑如何从信息丰富模态上学习的知识迁移到信息匮乏的模态，使各个模态的学习互相辅助。典型的方法包括多模态的零样本学习、领域自适应等。近两年，随着机器学习的模型的飞速进展，多模态学习中出现的映射质量问题、对齐的匹配度量以及融合噪声干扰等问题，都在实现很好的优化解决，为多模态的落地应用做好了准备。

12345678910111213141516171819202122232425import requestsfrom aip import AipOcr image = requests.get('https://res.pandateacher.com/python_classic.png').content APP_ID = '16149264'API_KEY = 'yxYg9r4OuAs4fYvfcl8tqCYd'SECRET_KEY = 'yWg3KMds2muFsWs7MBSSFcgMQl8Wng4s'client = AipOcr(APP_ID, API_KEY, SECRET_KEY)res = client.basicGeneral(image)if 'words_result' in res.keys():    for item in res['words_result']:        print(item['words']) else:    APP_ID = '11756541'    API_KEY = '2YhkLuyQGljPUYnmi1CFgxOP'    SECRET_KEY = '4rrHe2BF828bI8bQy6bLlx1MelXqa8Z7'    client = AipOcr(APP_ID, API_KEY, SECRET_KEY)    res = client.basicGeneral(image)    if 'words_result' in res.keys():        for item in res['words_result']:            print(item['words'])    else:        print(res)

刚开始接触华为会议，以为是一个会议软件。进行不断的深入了解后，发现并不是那么简单。华为有自己的纯软化会议产品，他的名字叫做welink，只需要在手机或者电脑中安装此软件就可以随时随地的发起会议，邀请与会者参会。个人认为，华为会议和welink的主要区别在于：华为会议中包含了多种智能硬件设备，它是硬件，是终端，非软件。面向企业、政府会议室应用，可以取代传统的会议桌，实现远程开会等诸多功能。在华为会议的终端上，比如智能协同大屏是华为会议客户端集成在电子大屏上，集会议、投屏、白板于一体2、华为会议支持的设备型号有哪些？在华为会议的购买界面，我们可以看到也是分几块进行计费的。第一部分便是各种接入账号。有华为专业会议终端接入帐号、第三方会议终端接入帐号、华为智慧屏（电视机）接入帐号、电子白板终端接入帐号、华为小型会议终端接入帐号等等。各种接入账号对应的硬件设备不同，具体细节可以登录华为云官网进行查看。购买方式也支持按月以及包年进行付费。那么笔者还是想了解，具体这个会议产品都涉及到了硬件。终于在某个角落找到了介绍。在这里也分享给大家。简单介绍下：这里又丰富的会议终端，全面覆盖大中小会议室、办公桌面等场景，满足企业内外部沟通协作需求。lCloudLink 智能会议室CloudLink适配第三方电子白板，集会议、投屏、电子白板于一体，致力于打造流畅的会议体验lTE系列这个系列主要包含了多种规格的摄像头，从TE10-TE60都有。各个产品型号侧重点不同。比如这里的TE30它的优势在于内置12倍光学变焦摄像机，对于会议场景更加准确清晰的抓到人脸。lRP系列除此之外，还具有RP系列的支持跟踪摄像机、双屏显示器功能的会议室场景lTP系列也有TP系列这种超大屏，5760×1080高清超宽画面，就和手机拍全景照片那种感觉一样，将会议室范围内人员完美呈现其中。3、企业该如何选择相应产品你的需求如何，适合选用那种产品，这里也给出了一个图表，让你的选择不再困难。

简介图片处理特性（Image Processing）是对象存储服务（Object Storage Service，OBS）为用户提供稳定、安全、高效、易用、低成本的图片处理服务，包括：图片瘦身、图片剪切、图片缩放、图片水印、格式转换等。图片处理特性提供OBS管理控制台和RESTful API接口的使用方法，使用户可以在任何时间和地点对存储在对象存储中的图片进行处理，并且可以快速获取到处理后的图片。

上图中时下发的摄像头配置文件，能否告知YUV跟H265之间的相互转换操作API在哪里查阅？想做的事情：在MINI_0上获取到原始数据和进行画框处理，然后通过一个event把图片数据和框发到host上进行显示。此过程中因为MINI_0上原始数据是YUV类型，而host上时H265压缩格式，调用什么接口或者API能把MINI_0上的YUV格式的图片数据抓换成H265？

 1、 ADB。 Android 调试桥(Android Debug Bridge),是安卓提供给开发者一种命令行工具。可让您与安卓设备进行通信。adb 命令可用于执行各种设备操作（例如安装和调试应用），并提供对 Unix shell（可用来在设备上运行各种命令）的访问权限。Adb是命令行工具，不能显示手机画面。显示手机画面的工具有Airtest和安卓投屏助手（ARDC）等Adb官网： https://airtest.netease.com/2、 Airtest：是一个跨平台的、基于图像识别的UI自动化测试框架。适用于游戏和App，支持平台有Windows、Android和iOS。Airtest能够显示云手机的画面，可以通过编辑脚本，对云手机实现自动化控制。目前支持windows，macOS和Ubuntu版本。Airtest帮助文档：https://airtest.doc.io.netease.com/3、 ARDC ：轻量级安卓投屏工具，入门超级简单。能够用来显示云手机画面，实现简单的云手机群控功能。

常见的AVI、RMVB、MKV、ASF、WMV、MP4、3GP、FLV等文件其实只能算是一种封装标准。 一个完整的视频文件是由音频和视频2部分组成的。H264、Xvid等就是视频编码格式，MP3、AAC等就是音频编码格式。 例如：将一个Xvid视频编码文件和一个MP3视频编码文件按AVI封装标准封装以后，就得到一个AVI后缀的视频文件，这个就是我们常见的AVI视频文件了。 由于很多种视频编码文件、音频编码文件都符合AVI封装要求，则意味着即使是AVI后缀，也可能里面的具体编码格式不同。因此出现在一些设备上，同是AVI后缀文件，一些能正常播放，还有一些就无法播放。 同样的情况也存在于其他容器格式。即使RMVB、WMV等也不例外 事实上，很多封装容器对音频编码和视频编码的组合方式放的很开，如AVI还可以使用H264+AAC组合，可以在具体使用中自己体会。尤其是MKV封装容器，基本无论什么样的组合都可以！但一般MKV用的最多的就是H264+AAC组合，此组合文件体积最小，清晰度最高。因此网上很多MKV视频都是高清晰度的。 因此，视频转换需要设置的本质就是：A设置需要的视频编码、B设置需要的音频编码、C选择需要的容器封装。一个完整的视频转换设置都至少包括了上面3个步骤。 目前最常见的视频编码方式有 MPEG-1/-2 < WMV/7/8 < RM/RMVB < Xvid/Divx < AVC/H.264，视频压缩效能和技术先进性也基本表现为上述排列顺序（由低到高,不完全准确）。 目前最常见的音频格式有 Mp3、AC-3、ACC，MP3最广泛的支持最多，AC-3是杜比公司的技术，ACC是MPEG-4中的音频标准，ACC是目前比较先进和具有优势的技术。 2.   视频编码标准两大系统视频编码标准有两大系统： MPEG 和ITU-T，如下表 视频编码标准：MPEG 标准   由MPEG制定MPEG-1 | MPEG-2 | (MPEG-3) | MPEG-4 | MPEG-7 | MPEG-21 ITU-T 标准   由VCEG制定H.261 | (H.262) | H.263 | H.263v2 | H.264 MPEG-1是MPEG组织制定的第一个视频和音频有损压缩标准。视频压缩算法于1990年定义完成。1992年底，MPEG-1正式被批准成为国际标准。这个标准带来了VCD和MP3MPEG-2是MPEG工作组于1994年发布的视频和音频压缩国际标准。MPEG-2通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。MPEG-2经过少量修改后，也成为DVD产品的内核技术。 MPEG-3是MPEG组织制定的视频和音频压缩标准。本来的目标是为HDTV提供20-40Mbps视频压缩技术。在标准制定的过程中，委员会很快发现MPEG-2可以取得类似的效果。随后，MPEG-3项目停止了。MPEG-3并非等于MP3。MP3是MPEG-1音频Layer 3部分。 MPEG-4是一套用于音频、视频信息的压缩编码标准,MPEG-4包含了MPEG-1及MPEG-2的绝大部份功能及其他格式的长处，MPEG-4大部份功能都留待开发者决定采用是否。这意味着整个格式的功能不一定被某个程序所完全函括。因此，这个格式有所谓‘profiles’及‘层次（levels）’，定义了MPEG-4用于某些特定应用的某些功能的集合。这一标准是目前广泛应用的主流编码标准MPEG-4由一系列的子标准组成，被称为部，包括以下的部分：第二部（ISO/IEC 14496-2）：视讯：定义了一个对各种视觉信息（包括视讯、静止纹理、计算机合成图形等等）的编解码器。对视讯部分来说，众多Profiles中很常用的一种是Advanced Simple Profile (ASP)，例如XviD编码就属于MPEG-4 Part 2。第三部（ISO/IEC 14496-3）：音频：定义了一个对各种音频信号进行编码的编解码器的集合。包括高级音频编码（Advanced Audio Coding，缩写为AAC）的若干变形和其他一些音频／语音编码工具。第十部（ISO/IEC 14496-10）：高级视频编码或称高级视频编码（Advanced Video Coding，缩写为AVC）：定义了一个视频编解码器（codec），AVC和XviD都属于MPEG-4编码，但由于AVC属于MPEG-4 Part 10，在技术特性上比属于MPEG-4 Part2的XviD要先进。另外从技术上讲，它和ITU-T H.264标准是一致的，故全称为MPEG-4 AVC/H.264。 ITU-T国际电信联盟远程通信标准化组（英语：ITU Telecommunication Standardization Sector，缩写ITU-T）是国际电信联盟管理下的专门制定远程通信相关国际标准的组织。他制定的一系列标准都是H.26X H.261 | (H.262) | H.263 | H.263v2 | H.264其中H.262和MPEG-2处于系统和水准H.264 对应于 MPEG-4 L10 的AVC WMV微软公司专有制定的一系列视频编码标准，有多个版本，从V9版本开始逐步开始走开放的、标准化的道路   3.   常用视频编码方式有Xvid(MPEG4)，H264，MPEG1，MPEG2。 Xvid：与RMVB格式差不多的压缩率，通用性很强，特别是用于家用DVD和便携式MP4等设备。 Divx：1998年微软开发了第一个在PC上使用的MPEG-4编码器，其中的MS MPEG4V3系列的编解码能力都非常不错。但微软却将这个MS MPEG4V3 的视频编码内核封闭在Windows Media流媒体技术上，也就是说仅仅应用于ASF文件。这招不仅导致ASF不能充分传播和占领主流市场，更引起了一帮黑客破解了MPEG4 V3。经过这帮黑客的修改,DivX诞生了。·DivX格式也就是DVDrip格式，它在采用了MPEG4的压缩算法同时又加入了MP3的音频技术。使用DivX技术对视频图像进行压缩，再用MP3或AC3编码对音频进行压缩，然后将视频、音频、外挂字幕等文件合成而形成的视频格式。最终结果是，使用DivX技术压缩的视频文件具有直逼DVD的质量，而体积只有后者的数分之一。  ·XviD：说到XviD，我们不得不提到前面的Divx格式，后者虽然从微软MPEG4 V3发展而来，但也不是一个完全开源的技术标准。所以原先的部分人马开始了另外一种途径，重新发展XviD格式，从名字就看出，XviD是Divx倒过来的写法。XviD从Divx的基础上改进而来，具有强大的可调节性，可设置很多选项，针对不同电影进行不同的压缩方式。更重要的是，XviD是完全开放源代码，所以有很多人投入到XviD的开发之中，在这点上，XviD格式比起Divx格式有很大优势。它们的文件后缀都是AVI的。 DIVX，XVID：DIVX视频编码技术实际就是MPEG4 压缩技术，它可以说是对上挑战DVD，对下挤压SVCD，DIVX－MPEG4对DVD和SVCD造成的威胁不容忽视（有人说它是 DVD 杀手），它由 Microsoft MPEG4v3 修改而来，使用MPEG4 压缩算法。据说MPEG4 是美国禁止出口的编码技术，用它来编码、压缩一部DVD只需要两张CD－ROM！这样就意味着，你不需要买昂贵的 DVD ROM 也可以得到和它质量差不多的视频节目了，而这一切只需要你有 CD－ROM。播放（解压缩）MPEG4编码，对机器的要求也不高，CPU只要是300MHz以上，再配上64MB的内存和一个有8MB显存的显卡就可以流畅地播放了。对播放软件方面的要求就更宽松，你只需要安装一个500K 大小的MPEG4 编码驱动后，用Windows自带的媒体播放器就可以流畅地播放。XVID与DIVX实际上是同出一源，都是根据MPEG4V3修改而来，不过由于DIVX在版本5之后不在开放源代码，因此有部分程序员将DIVX 3.11改进后成为XVID。DIVX和XVID的另外一个特点是可以外挂字幕和AC3音频源，这样就可以在近似于DVD的画面质量的基础上，享受到DVD的音效，同时还可以自己选择字幕，给了用户很大的自由度。AVI，WMV，ASF，DAT，MPG，VOB：这些都是媒体文件的存储格式，AVI通常用于DIVX/XVID编码的文件的存储， MPEG4文件的特性为，文件的封装格式为avi（也即文件名后缀为avi），文件的视频格式为MPEG-4 Visual(简称MPEG-4 )，视频编解码器ID为Xvid或DivX（有时显示为DX50(DivX 5)） H.264：面前压缩率最高的视频压缩格式，与其他编码格式相比，同等画面质量，文件体积最小，远远超过RMVB编码格式，电脑都可以播放，部分便携式视频设备也支持，如苹果播放器。PDA/PPC等设备也可以使用 2、H.261/H.263　　①、H.261标准通常称为p*64，H.261对全色彩、实时传输动图像可以达到较高的压缩比，算法由帧内压缩加前后帧间压缩编码组合而成，以提供视频压缩和解压缩的快速处理。由于在帧间压缩算法中只预测到后1帧，所以在延续时间上比较有优势，但图像质量难以做到很高的清晰度，无法实现大压缩比和变速率录像等。　　②、H.263的基本编码方法与H.261是相同的，均为混合编码方法，但H.263为适应极低码率的传输，在编码的各个环节上作了改进，如以省码字来提高编码图像的质量，此外，H.263还吸取了MPEG的双向运动预测等措施，进一步提高帧间编码的预测精度，一般说，在低码率时，采用H.263只要一半的速率可获得和H.261相当的图像质量。 MPEG1：其实就是VCD编码格式。MPEG－1：制定于1992年，它是针对1.5Mbps以下数据传输率的数字存储媒体运动图像及其伴音编码而设计的国际标准。也就是我们通常所见到的VCD制作格式。使用MPEG-1的压缩算法，可以把一部120分钟长的电影压缩到1.2GB左右大小。这种视频格式的文件扩展名包括.mpg、.mlv、.mpe、.mpeg及VCD光盘中的.dat文件等。MPEG1：技术特点：MPEG－1制定于1992年，可适用于不同带宽的设备，如CD－ROM、Video－CD、CD－i。它的目的是把221Mbit／s的NTSC图像压缩到1.2Mbit／s，压缩率为200∶1。这是图像压缩的工业认可标准。它可针对SIF标准分辨率(对于NTSC制为352×240；对于PAL制为352×288)的图像进行压缩，传输速率为1.5Mbits／s，每秒播放30帧，具有CD音质，质量级别基本与VHS（广播级录像带）相当MPEG－1也被用于数字电话网络上的视频传输，如非对称数字用户线路(ADSL)，视频点播(VOD)，以及教育网络等 MPEG2：DVD编码格式。比MPEG1强，与MPEG1一样，已经落后的编码格式，压缩率都不高，编码后的文件体积大，多用于希望把网上下载的文件转换为VCD或DVD碟的时候。MPEG2：技术特点：MPEG－2制定于1994年，设计目标是高级工业标准的图像质量以及更高的传输率。MPEG－2所能提供的传输率在3MB－10MB／s间,在NTSC制式下的分辨率可达720×486，MPEG－2能够提供广播级的视像和CD级的音质。MPEG－2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道和多达七个伴音声道。MPEG－2的另一特点是，可提供一个较广范围的可变压缩比，以适应不同的画面质量、存储容量以及带宽的要求。应用范围：MPEG－2技术就是实现DVD的标准技术，现在DVD播放器也开始在家庭中普及起来了。除了作为DVD的指定标准外，MPEG－2还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。MPEG－2：制定于1994年，设计目标为高级工业标准的图像质量以及更高的传输率。这种格式主要应用在DVD/SVCD的制作(压缩)方面，同时在一些HDTV(高清晰电视广播)和一些高要求视频编辑、处理上面也有相当的应用。使用MPEG-2的压缩算法，可以把一部120分钟长的电影压缩到4到8GB的大小。这种视频格式的文件扩展名包括.mpg、.mpe、.mpeg、.m2v及DVD光盘上的.vob文件等。 MPEG4：技术特点：MPEG－4 于1998 年11 月公布，它不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。这个标准主要应用于视像电话、视像电子邮件等，对传输速率要求较低，在4800－64000bits／s之间，分辨率为176×144。MPEG－  综上，H.264压缩比高，所需带宽低，技术使用成本低；成为了云服务主流的编码格式，并且广泛应用。

解答这个问题，有3个关键的点，分别是分辨率，刷新率，视频源显示器分辨率，又称解析度、解像度，可以细分为显示分辨率、图像分辨率、打印分辨率和扫描分辨率等。显示分辨率（屏幕分辨率）是屏幕图像的精密度，是指显示器所能显示的像素有多少。由于屏幕上的点、线和面都是由像素组成的，显示器可显示的像素越多，画面就越精细，同样的屏幕区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标。可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线交叉点的数目。显示分辨率一定的情况下，显示屏越小图像越清晰，反之，显示屏大小固定时，显示分辨率越高图像越清晰。 显示器刷新率，分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率。垂直刷新率表示屏幕的图象每秒钟重绘多少次，也就是每秒钟屏幕刷新的次数，以Hz（赫兹）为单位。刷新率越高越好，图象就越稳定，图像显示就越自然清晰，对眼睛的影响也越小。刷新频率越低，图像闪烁和抖动的就越厉害，眼睛疲劳得就越快。一般来说，如能达到80Hz以上的刷新频率就可完全消除图像闪烁和抖动感，眼睛也不会太容易疲劳。目前， 大多数显示器根据其设定按 30Hz、 60Hz、 120Hz 或者 144Hz 的频率进行刷新。 而其中最常见的刷新频率是 60 Hz。 这样做是为了继承以前电视机刷新频率为 60Hz 的设定。 视频源使用显示器所观看的视频格式，视频源也有分辨率和帧率之分。 视频分辨率，是用于度量图像内数据量多少的一个参数，通常表示成ppi（每英寸像素Pixel per inch）那个视频的320X180是指它在横向和纵向上的有效像素，窗口小时ppi值较高，看起来清晰；窗口放大时，由于没有那么多有效像素填充窗口，有效像素ppi值下降，就模糊了。（放大时有效像素间的距离拉大，而显卡会把这些空隙填满，也就是插值，插值所用的像素是根据上下左右的有效像素“猜”出来的“假像素”，没有原视频信息）习惯上我们说的分辨率是指图像的高/宽像素值，严格意义上的分辨率是指单位长度内的有效像素值ppi。差别就在这里。图像的高/宽像素值的确和尺寸无关，但单位长度内的有效像素值ppi和尺寸就有关了，显然尺寸越大ppi越小。视频帧率，是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数(Frames per Second，简：FPS）或“赫兹”（Hz）。此词多用于影视制作和电子游戏。由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉停留。这也就是为什么电影胶片是一格一格拍摄出来，然后快速播放的。而对游戏，一般来说，第一人称射击游戏比较注重FPS的高低，如果FPS<30的话，游戏会显得不连贯。所以有一句有趣的话：“FPS（指FPS游戏）重在FPS（指帧率）。每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。 由此可知，这需要看你播放的视频是什么分辨率和帧率1.视频源分辨率<2K,无论是用2K还是8K显示器播放都是一个清晰度。2.视频源分辨率>2K,根据源的清晰度选择匹配的显示器会达到最佳效果。

发文的版块名：博客发文标题名：YOLO发展历程及网络架构通俗解读帖子内容链接：https://bbs.huaweicloud.com/blogs/184446

常见的编码格式有H.263、H.264、H.265、MPEG-1、MPEG-2、MPEG、4、Sorenson Spark、VC-1、JPEG、RV、DivX、On2 True Motion VP6。对于高清视频来说，主流的编码技术目前主要有 MPEG-2、DivX、XVID、H264、VC-1、RMVB 和 WMV-HD 等等。其中，H264、VC-1、MPEG-2 是蓝光（Blu-ray Disc）首选择的编码格式，也是目前最流行的高清视频编码格式。另外就是高清视频的封装格式，封装格式和编码格式是互相区别的，许多人会把它们混淆。H.263编码格式H.263是国际电联ITU-T的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样，但做了一些改善和改变，以提高性能和纠错能力。1998年IUT-T推出的H.263＋是H.263建议的第2版，它提供了12个新的可协商模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋对H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。H.263已经基本上取代了H.261H.264 编码格式绝大多数视听玩家对于 H264 编码都不会感到陌生，H264 编码的身世显赫，是 ITU-T（国际电信联盟视频编码专家组）与 ISO/IEC（国际标准化组织动态图像专家组）合作组成的 JVT（联合视频组）推动的新一代数字视频编码标准，也称为 MPEG-4/AVC 编码。H264 编码依托雄厚的背景，在技术上独树一帜，大幅领先于其它编码算法。H.265 编码格式H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H.264由于算法优化，可以低于1Mbps的速度实现标清（分辨率在1280P*720以下）数字图像传送；H.265则可以实现利用1~2Mbps的传输速度传送720P（分辨率1280*720）普通高清音视频传送。MPEG-2 编码格式MPEG-2 编码标准是由 MPEG（Moving Picture Experts Group）工作组发布的视频与音频压缩国际标准。MPEG-2 编码于 1994 年发布，常用于广播信号（卫星电视、有线电视）的视频和音频编码，经过后期不断修改，不仅成为 DVD 的核心技术，还应用于 HDTV 高清电视传输。MPEG-4 编码格式MPEG4于1998 年11 月公布，原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG-4标准主要应用于视像电话(Video Phone)，视像电子邮件(Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率为176X144。MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。Sorensen Spark编码格式Sorenson编解码器可以指三个专有的视频编解码器：Sorenson视频，Sorenson视频3或Sorenson Spark。 Sorenson视频也被称为Sorenson视频编解码器，Sorenson视频量化或SVQ。Sorenson Spark也被称为H.263或FLV1Sorenson（而且有时误为Flash视频（FLV），这是以Adobe Flash容器格式名称命名）。 这两种编解码器的设计由Sorenson媒体公司。Sorenson视频是用在苹果的QuickTime和Sorenson Spark在用在Adobe Flash容器中。VC-1 编码格式WMV（Windows Media Video）作为经久不衰的一种视频编码，一直在不断改进，2003 年，微软基于 WMV 第九版（WMV9）编码技术，正式提出了 VC-1 编码标准，并于 2006 年正式成为国际标准。VC-1 编码作为较晚推出的高清编码算法，自然吸收了 MPEG-2 与 H264 编码的优点，其压缩比介于 MPEG2 和 H264 之间，编解码复杂性仅有 H264 的一半，即压缩时间更短、解码计算更小，在微软的大力推动下，VC-1 编码已经得到了 BD 蓝光光盘、电影及电视学会（SMPTE）的支持。近几年来，为了更好的推广 WMV9/VC-1 编码标准，微软不遗余力的建立了 WMV-HD 高清资源站点，大量发布采用 VC-1 编码压制的 720P、1080P 宣传片及演示片（WMV-HD 视频格式） ，试图营造声势，吸引用户关注。不过，中庸的技术（与 H264 相比无明显编码优势）、封闭的平台（限于 Windows 系统）、后发的劣势（2006 年通过成为国际标准）仍然给微软 VC-1 编码的应用前景带来了较大的不确定性。JPEG编码格式JPEG 是Joint Photographic Experts Group（联合图像专家小组））的缩写。JPEG的压缩方式通常是破坏性资料压缩（lossy compression），意即在压缩过程中图像的品质会遭受到可见的破坏，有一种以JPEG为基础的标准Progressive JPEG是采用无失真的压缩方式，但Progressive JPEG并没有受到广泛的支援。RV编码格式RealVideo格式文件包括后缀名为RA、RM、RAM、RMVB的四种视频格式。 Real Video是一种高压缩比的视频格式，可以使用任何一种常用于多媒体及Web上制作视频的方法来创建RealVideo文件。例如Premiere、 VideoShop以及AfterEffects等，对于文件的播放可用realplayer和暴风影音播放。DivX编码格式DivX格式，这是由MPEG－4衍生出的另一种视频编码(压缩)标准，也即我们通常所说的DVDrip格式，它采用了MPEG4的压缩算法同时又综合了MPEG-4与MP3各方面的技术，说白了就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频合成并加上相应的外挂字幕文件而形成的视频格式。其画质直逼DVD并且体积只有DVD的数分之一。这种编码对机器的要求也不高，所以DivX视频编码技术可以说是一种对DVD造成威胁最大的新生视频压缩格式，号称DVD杀手或DVD终结者。On2 TrueMotion VP6编码格式On2 TrueMotion VP6是主要的移动视频标准，他采用了Adobe Flash Lite™ 3的一些标准，数以百计的网络门户，用户自己制作的内容，以及社交网络普遍采用基于Flash的VP6格式。编码格式种类繁多，目前，华为云视频服务支持上传的编码标准有：H.263、H.264、 H.265、MPEG-2、MPEG-4、MJPEG、Proress422。涵盖了大部分的编码格式，特别是H.264和H.265已是目前主流媒体平台的首选编码格式。华为云媒体处理服务，0元体验H.264转码，点击链接了解详情：https://www.huaweicloud.com/product/mpc.html