-
一、前言团队介绍:三个来自于西安交通大学的研二学生: 高泱晗,专业:控制科学与工程 研究方向:社交网络,多分类问题 张 洁,专业:控制科学与工程 研究方向:智能电网 张潇然,专业:信息与通信工程, 研究方向:图像隐写,信息隐藏队伍宣言:岂曰无饭 与子同甘 干饭狂魔 拒绝摆烂(合影就不放大赛要求那个合照了,像是罚站一样)二、比赛历程和思路输入输出说明:输入是RGB的三通道数据;输出为类别。在确定完输入输出之后,首先按照惯例,进行一波baseline的复现。Baseline采用的是ResNet50。ResNet理解: 当深度学习网络层数越深时,理论上网络的表达能力会更强,但是CNN网络达到一定的深度后,再加深,分类性能不会提高,而是会导致网络收敛更缓慢,准确率也随着降低,即使把数据集增大,解决过拟合的问题,分类性能和准确度也不会提高,ResNet应运而生 。对于“随着网络加深,准确率下降”的问题,Resnet提供了两种选择方式,也就是identity mapping和residual mapping。分类结果正确率约为70%。后续优化思路也很清晰:1、基于数据的预处理和特征抽取;2、基于算法的优化。思路一:数据清洗:异常值处理 原始数据集中,部分图像被赋于了不正确的标签,例如以下两张图均为label=6.5的样本。当模型在训练集上充分拟合时,我们会获得较小的训练误差。但是,对于不可见的测试集模型的测试误差会增大。因而,标签错误数据将会成为噪声,干扰模型的训练。对于此类数据通过人工选取的方式进行剔除。思路二:数据增强图像随机地进行旋转;图像随机地进行水平翻转;图像随机地进行垂直翻转;调整图像的亮度,对比度和色调。目的:在不改变图像的尺寸与语义的前提下扩充图像样本,增强模型的泛化性能。思路三:改造数据集/TTA测试时数据增强(Test-Time Augmentation)数据增强是一种在模型训练期间通常使用的方法,它使用训练数据集中修改过的样本副本来扩展训练集。通常使用图像数据来执行数据增强,其中通过执行一些图像操作技术来创建训练数据集中的图像副本,例如缩放、翻转、移动等等。(transform/flip/rotation)思路四:模型的选择分别选用不同ResNet网络进行测试,根据奥卡姆剃刀原则,同时考虑到ResNet模型越复杂,越容易产生过拟合现象;最终选用ResNet 18;结果更新:89.96%。对于单一模型,初赛成绩为:0.8996(第七名);复赛成绩为:0.8432。引入TTA后,最终成绩为:0.8477(第五名) 。三、反思和感悟反思:比赛结束之后,最主要的遗憾是在发现数据处理和数据增强对于模型的准确率有巨大帮助之后,后期在尝试更多的模型的时候均为浅尝辄止,也并未模型融合的思想。感悟:比赛的初衷只是想丰富简历,抱着试试的态度,最后获得了大赛的第六名也是意料之外,欣喜若狂。最大的感慨在于:绝大多数情况下,我们所畏惧的就是恐惧本身,真刀真枪干的时候才发现很多困难并不是不可逾越的大山。BTW:感谢大赛组委员,比赛全过程公正公平公开,让每一位参赛人员都可以享受其中。同时感谢每一位工作人员,大家都很善解人意且认真。
-
赛题任务赛题是基于显微镜成像的金相图片评估定级,要求对于金相图片给出离散的评级以及置信度,因此我们将此评级任务视为图像分类任务来完成。数据处理在训练和推理过程中,我们将图像统一缩放到800×640。在训练时随机从图像中裁剪出384×384的区域作为网络输入。而在测试时从图像的中心以及四个角落进行裁剪。这种数据处理方式主要是出于以下两点:在思考数据处理方式时,考虑到尺度变换会影响到晶粒的形状和大小,所以我们认为应该尽量保持图片的长宽比,并且对图像进行统一尺度的缩放。此外,我们还有一个非常矛盾的观点,就是一方面想让模型“看到”的区域尽可能大(给出预测所依据的区域越大,给出的预测就越有代表性),一方面又不想让模型“看到”的区域过大(因为模型固定了输入的尺寸,我们觉得对较大的的区域进行下采样会使图像丢失过多细节)但是在学习了其他参赛队伍的方案之后,我们意识到我们可能低估了神经网络的鲁棒性,应该对数据进行更大胆的缩放和增强。模型训练首先训练swin-window12-patch4-base-384,训练所用参数:随后训练DeiT-patch16-base-384对swin transformer进行蒸馏,使用参数为:初赛中蒸馏得到的DeiT相对于swin提升了1.34%评分。(在训练DeiT时,虽然DeiT的论文中在imagenet上的结果是hard distillation好于soft distillation,但是我们的实验中是soft distillation好于hard distillation)模型推理由于在数据处理时我们采取了折中的方式,因此我们使用测试时数据增强来增加预测结果对整张图片的代表性,既对图像中心和四个角落的裁剪图片分别预测得到x_{1}~x_{5}五个score,然后对x_{1}~x_{5}进行以下操作:在初赛中,测试时数据增强能为我们所有尝试过的模型带来1.5%左右的评分提升。总结数据清洗与数据增强十分重要,虽然在比赛过程中我们也尝试了对错误数据进行纠正以及进行数据增强,但是由于缺乏经验和方法,并没有得到比较好的效果。这次比赛使我们有机会学习大佬们对数据的理解以及处理方法,学习的收获对于我们来说也是参赛奖励,所以十分庆幸能有这次参赛机会。
-
成员介绍我们是来自广西大学电气工程学院的队伍,我们的指导老师是高放老师,主要研究方向是深度学习,图像处理,量子人工智能,队长为李雪涛,主要研究方向是深度学习和图像分类,其他两名成员分别是王家宝和孙晴艺,主要研究方向是深度学习、深度图像处理和3D位姿估计。一、赛题分析众所周知,钢铁是当代社会重要的结构性材料之一,而晶粒度级别是评价钢材性能的重要指标,传统晶粒度定级方法是通过人眼比对,或者通过计数等方式对其定级,但是当一张钢材截面中晶粒数量按指数级倍增时,依靠肉眼是无法对其进行判断的,所以有什么方法可以代替传统定级方法对钢铁进行又快又准的定级呢?我们的答案是深度学习,我们对基于CNN的模型进行了很多尝试,下表是所尝试的模型,这些模型精度表现残次不齐,经过比对之后,Densenet121以最少的参数量以及较高的分数表现最优,所以我们选择了Densenet121作为backbone进行后续优化二、数据分析通过观察原数据集,我们发现原数据集中存在许多脏数据,如果这种数据过多,会影响系统的鲁棒性,所以我们决定对数据进行清洗。2.1 数据清洗清洗原则是如果多个模型对训练集的某张图片均判断错误,则通过列表记录图片名称,再通过人工判断是否应该对该图片进行删除。2.2 数据扩增清洗过后由于样本数过小,我们对清洗后的数据进行了扩充,首先我们对原图进行裁剪,分别在四个角裁出四张640X640的图片,然后我们对序号为偶数的图片进行了水平翻转,对序号为奇数的图片进行了垂直翻转,再对翻转之后的图片进行同样的裁剪操作,这样进行扩充之后即保证了样本的多样性,也保证了数据集容量。2.3 数据处理结果这是官方数据、清洗后的数据以及清洗扩展后的数据分布,我们可以直观地看到扩充之后的数据集在数量上和多样性上都有提升。经过数据处理后,初赛分数实现了由0.835到0.855的提升三、模型设计这是我们所选的backbone densenet121的网络结构。他由四个dense模块串联组成,其中每个dense块中又分别以稠密连接进行连接,这种连接方式可以对图中特征进行保留,并且可以通过dropout对参数量级进行缩小,因此虽然模型连接很稠密,但是模型参数量却很小。在此基础上我们引进了自适应权重通道注意力机制AWCA模块,和上下文注意力机制PSNL模块虽然说Attention is all your need!但是每当我们处理一个事情之前都需要考虑这三个问题,就是:WHY?HOW?WHAT?为什么做,怎么做,有什么效果。3.1 Why AWCA and PSNL?首先第一个问题,为什么要加入AWCA注意力机制,是因为注意力机制可以让机器有目的性地去学习与目标任务相关的图像信息,这些是经过AWCA处理之后的可视化图片,这里有128个通道的特征图,我们挑出了两张权重值相差较大的图片进行对比,可以看到权重值较大的图片可能会更多地去关注晶粒的面积信息。这是经过PSNL的特征图,可以看到经过上下文注意力机制后的特征图可能更多的会去关注晶粒的边缘信息。3.2 How AWCA and PSNL Work?AWCA具体的工作原理是,通过对原图进行维度变换,平面拉伸,正则化,点乘等操作计算出一个自适应权重对每个通道赋予权重,如图所示,输出图片的特征图可能在某个通道的权重值会比较高。PSNL模块首先会将图片分为四个大小相同的图像块,再对每个图像块进行变形,转置,叉乘,最后与原始图片进行相加操作。此操作可以将相隔较远的信息进行融合,实现空间加权操作以得到更强的特征表示。3.3 What can them do?最后,通过加入这两个注意力模块后,初赛得分从0.855提升至0.8793.4 其他的提分策略3.4.1 优化图片预处理其他提分的策略包括对图片预处理的优化,baseline中预处理步骤是先随机裁剪成任意大小,再统一缩放成224X224。这会损失很多图像信息。我们更改后的训练前的图片预处理是直接将整个图片缩小成640x797,再裁剪成640x640,最大程度保留了全图的信息。经过此操作后,初赛分数由0.879提升至0.881.3.4.2 优化预测结果此外,我们通过投票机制优化了预测结果,首先我们让模型对同一张图片进行五次预测,再对预测的出的结果进行投票选出重复次数最多的预测结果,此操作后,初赛分数由0.881提升至0.884.四、总结与展望总结针对数据进行数据清洗与扩充,增加了模型鲁棒性提出DenseNet121与通道级注意力机制、全文注意力机制结合的连接模型优化对图片的预处理,最大程度保留原图特征基于pytorch实现端到端训练,模型简洁,易复现模型容量小,参数量少(71M)展望潜力大,可通过优化模型结构对性能继续提升可对模型进行量化与剪枝,在保证精度的同时进一步提升模型速度可落地形成产品,并且在落地场景中增加反馈机制,对模型进行在线训练,可不断优化模型参数可利用多模态学习方法对模型进行优化撰写人:李雪涛2021/11/13
-
赛题介绍本次比赛需要选手基于显微镜成像的金相图片进行智能评估定级,原始数据为钢铁经过一系列处理后在500倍的显微镜下成像的金相图片,标签则在常见的定级范围[6.5,13.0]内以0.5级为间隔截断成14类分类标签,因此该比赛可以视为14分类的多分类问题。精度评价指标在初赛和复赛有所不同,但均为带有允许偏差的准确率指标。数据探索性分析我们首先对本次比赛的数据进行了一定的探索性分析,结果主要分为三个部分1.标签均衡:对标签的统计分析显示,该赛题提供的数据在14个类别间分布比较均衡,没有出现严重的倾斜2.尺寸恒定:所有金相图片均为1376x1104的固定尺寸图像3.高类纹理密度极大:在10.0以上的类别中晶粒分布非常密集,需要较高解析度的图片才能清晰分辨另外,我们还观察到了非常严重的图片重复与批次效应解决方案数据清洗Mean Nearest Maintaining 均值最邻近保留对于一组完全重复的图片,我们将其标签值进行平均,与组内原始标签集合进行对比,保留最邻近的数据并删除其它,在不修改原始标签的情况下去除了重复并且最小化人工噪声采样与增强随机滑窗采样将数据等比缩小至512x638,并在训练过程中在线使用512x512的随机滑窗进行均匀采样,在不破坏数据尺度的情况下获取经扩充的高分辨率面向应用的启发式数据增强利用金属晶体的对称性使用随机旋转/翻转进行数据扩充,并针对中大型金相显微镜可能发生的对焦问题引入了随机高斯模糊,另外根据现有数据中存在的金相组织缺陷的尺寸及数量加入了随机块擦除。此外,由于标签是由连续值截断而来,我们使用了Cutmix方法来扩增数据并将标签软化,防止模型对离群值产生过高置信度。基于簇的分类模型为了在数据有限的情况下避免过拟合,我们使用EfficientNetB0作为骨干网络,并在池化层后使用线性瓶颈模块将特征降维至512维为了适应基于簇分类时类数多、类内少的特点,我们在分类器的输出层加入对角度的间隔惩罚,与一般的softmax损失相比,使类内更加聚集,类间更加分离级联模型测试集存在簇外样本只针对簇进行分类时,本地交叉验证与在线提交成绩存在较大差距,由于测试集文件名不可见,所以推断为在线测试集中存在训练集中不存在的簇外样本级联分类模型基于这种假设,我们在簇分类模型之后级联了直接定级的分类模型,对于簇分类时置信度较低的簇外样本额外进行定级以提升准确率BatchTTA后处理卷积核的不对称性由于训练过程中卷积网络可能产生各向异性,我们在推理时将同一张图片进行了八方向的翻转,并将其推理结果进行均值融合。BatchTTA策略为了提升推理速度,我们将8张增强后图像叠加作为batch。如此仅需一次推理即可获得八个结果。相比单张推理仅增加了30%的推理时间,并大幅提升模型精度及泛化性能。消融实验基于V100 GPU的推理时间测试为了保证解决方案的可行性,我们对方案内每一个创新点带来的收益及对推理时间的影响进行了详细测定。最终方案在V100GPU FP16 Batch=1下可实现30FPS实时推理
-
团队介绍我们来自广西友迪咨询科技有限公司,队长陆宇升,队员林景锋、赖沛成。下面介绍我们团队的解决方案。路线选择本赛题的任务是基于显微镜成像的金相图片评估定级,可以使用比较法、截线法和面积法。比较法将赛题视为图像分类问题,比较容易实现。我们同时在比较法和面积法两条路线上进行探索。在比较法的尝试汇中我们发现,数据增强中使用RandomResizedCrop(官方baseline中使用了这个方法),会比使用固定缩放比的Resize/CenterCrop方案获得更高的分数。按照晶粒度等级的定义,晶粒度等级是由晶粒度大小决定的,因此,尺度相关特征应该是卷积网络用来分类的主要特征。RandomResizedCrop会把图像进行随机缩放,会让神经网络在分类决策的时候,排除尺度相关特征,实现尺度无关性,这对普通的分类问题会有用,但理论上会降低金相评级的准确性。但事实正好相反,我们猜测,卷积神经网络主要根据尺度无关的特征进行分类,这样真实的泛化能力应该不强。因此,大赛中我们把大部分时间和精力放在面积法探索上,由于图像噪音和模糊晶粒边界难以区分等问题难以在短时间内解决,在面积法上我们没有取得理想结果,下面只介绍我们在比较法上的具体方案。网络选择和超参数我们尝试了ResNeXt101、EfficientNet b0/b4等网络,最高分是基于EfficientNet b4的方案。数据增强我们使用了随机缩放裁剪,垂直翻转,水平翻转,仿射变换,cutout,其中仿射变换和cutout效果明显,提升大约1%。优化器使用AdamW,提升大约0.5%。gradcam热力图我们使用gradcam热力图分析神经网络分类效果不理想的原因,以下分析基于ResNeXt101网络。可以看出,单模型神经网络resnext101-32*8d很多情况下仅依据图片局部区域特征进行分类决策,容易发生过拟合。关注区域平均化改进算法ResNeXt、EfficientNet等网络只是根据局部区域特征进行分类,大部分区域属于无用背景被忽略。这适用于通常的分类问题,但对于晶粒度定级,整个图没有无用背景,如果仅根据局部特征进行分类,容易发生过拟合。我们提出一种新的改进方法,强制神经网络分类时均衡考虑图片的所有区域的特征,而不是某个局部的特征。 ResNeXt、EfficientNet等网络的最顶层输出的feature map,会被avgpool池化为1*1*c的张量,然后送入全连接层fc分类。我们改造avgpool的output size为(d,d),然后拆分为d*d个1*1*c的张量,分别送入全连接层fc,分别计算softmax和交叉熵损失函数并求和,作为损失函数。这样,改进后的网络根据d*d个区域特征进行分类,使得网络不会根据范围很小的局部特征分类,另一个角度上看,相当于样本数量增加d*d倍,抑制过拟合问题。本地测试有很大提升,相同参数下,分数提高2~4个百分点。我们使用gradcam热力图分析比较原网络和改进后的网络的模型:可以看到,改进后的网络关注的区域分散到图片的四个角,而不是集中在某个小区域,我们认为这应该可以提高网络的泛化能力。
-
HarmonyOS的分布式技术,让小朋友爱上涂鸦 作为一个拥有八年开发经验的团队,“儿童艺术创想”在儿童艺术创造类应用领域已颇有建树,本次带来的作品是——《Labo 涂鸦》。那么,“儿童艺术创想”是如何与 HarmonyOS 开发者应用创新大赛结缘并开发出创新作品的?背后用到哪些HarmonyOS先进技术?就让我们在负责人兼Labo涂鸦开发者吁勇的视频中深入了解吧~正如吁勇所说,HarmonyOS开发者创新大赛提供了一个平台,让开发者们能够抢先体验到HarmonyOS强大的分布式能力和开发工具链。得益于HarmonyOS强大的设备发现和互联能力,团队在开发过程中只需把重点放在产品本身的设计和调优上面,无需花太多精力在技术实现上,大大简化了开发流程。此外,基于HarmonyOS的分布式技术,《Labo涂鸦》摆脱了绘画应用多数只能单机操作的限制,实现了跨设备联机功能,既可以让小朋友绘制图画,也可以让父母或老师在不同设备上与小朋友一起进行涂鸦游戏,如绘画教学、联合作画、比赛等。只要设备处于同一局域网,就可以方便流畅地进行跨设备互动。尽管《Labo 涂鸦》已经初步实现团队关于亲子互动和教学的设想,但追求完美的他们不满足于此。团队十分看好HarmonyOS的未来发展并打算继续投入精力。 同时,他们也希望随着HarmonyOS 的发展,不断完善产品功能,创造出更多能让这个世界变的更加简单和有趣的产品,共同为用户带来更美好的生活体验。 HarmonyOS开发者【开发者说】栏目:https://mp.weixin.qq.com/s/dsIffKEOmYKNaCo790exRA
-
《分镜头App》的创作灵感来源于殷冬的日常观察,他发现平常人们在自拍时,往往会用前置摄像头,由于像素、取景景别等因素的限制,前摄拍出来的效果往往不是很理想;此外,当我们帮别人拍照时,对方也无法实时看到照片的取景角度和构图,拍出来的照片也很难让对方满意;对于照片的分享和美化,更是众口难调。为了解决这些痛点,提升用户的拍照体验,经过不断摸索,殷冬发现HarmonyOS的分布式技术有着很大的应用潜力。于是他基于HarmonyOS从0到1完成了《分镜头App》的开发。以下将为大家分享该款应用的开发者殷冬的开发心得。一、HarmonyOS技术使用 《分镜头App》主要用到了分布式文件服务、分布式硬件虚拟化、以及分布式数据服务。分布式文件服务利用分布式文件服务,可以自动同步其他设备拍摄的照片和视频,实现分布式相册功能。起初殷冬以为分布式文件服务使用起来会很复杂,例如是否需要自己控制同步、初始化功能等等。而真正接触后他发现,在底层上,分布式文件服务已经将复杂的工作都处理好了,只需用一行代码,就可以使用分布式文件服务,就相当于调用本地文件系统一样,只不过再继续向下,底层会帮助开发者处理很多业务。分布式硬件虚拟化分布式硬件虚拟化的特性,可以调用其他设备的硬件,实现相关的功能。在《分镜头App》中,调用其他设备的相机画面,就用到了分布式硬件虚拟化。并且可以控制拍摄画面的比例,实现不一样的拍摄效果。殷冬最初接触硬件虚拟化这个概念的时候,只是知道是基于分布式软总线实现的虚拟化,至于怎么使用,并不是很清楚,后来通过深入的学习发现,主动调用其他设备的接口,可以使用分布式任务调度或者IDL接口两种方法实现。而分布式任务调度和IDL接口,都可以传递实现Sequenceable接口的实现类对象。而硬件功能关键类都实现了Sequenceable接口,比如:相机预览画面的关键类Surface,就实现了Sequenceable接口。因此可以通过IDL将设备A的Surface对象,以参数的形式,传递到设备B。设备B的Service Ability执行相机初始化操作,就可以拿到设备B相机的拍摄画面。由此,就在代码编辑层面实现了硬件虚拟化。分布式数据服务在《分镜头App》中,有很多的协同操作。协同操作的核心逻辑,利用了分布式数据服务的数据变更通知功能。当一个设备触发协同操作时,通过变更通知,从设备触发UI和效果的变化,实现分布式协同功能。分布式数据服务有两个功能,可以为开发者带来很大的便捷。第一个是多端数据同步功能,当通过一个设备修改了数据库中的数据,其他设备也会做同步。第二个是在添加、修改、删除数据库数据时,其他设备如果创建了数据库的链接,并绑定了数据变更监听时,就会触发该监听。开发者可以利用这两个功能特性,做多端的协同功能。分布式相册实现相册主要存储图片、视频文件,可以使用分布式文件服务进行存储。此项功能殷冬还需要实现动态添加的效果,即:其他设备拍摄时,本机的相册列表动态显示刚刚拍摄的照片缩略图。这种效果可以在确定使用分布式文件服务存储照片和视频后,使用HarmonyOS的公共事件与通知功能,从而实现动态加载的效果。在拍摄完成时,通过公共事件功能发送一条广播。同时,在相册模块,注册公共事件,用于处理接收到通知后的动态添加缩略图逻辑。分布式文件服务负责同步拍摄的照片、视频等信息,公共事件通知则主动进行页面的刷新,二者合用,实现动态添加的效果。二、多设备协同实现目标设备未打开协同页面问题处理多设备协同实际上有个隐藏的前提,那就是所有设备都处于同一个协同页面中。这需要处理目标设备不在协同页面的问题。此时可以创建一个单版本分布式数据库,key值为设备id,value值为协同页面是否启动true/false。当进入到协同页面时,在onStart方法中设置值为true。当退出页面时,在onInactive方法中设置值为false。在发起协同前,可以通过单版本分布式数据库,获取到目标设备是否启动了协同页面。如果没有启动,可以先通过abilitySlice.startAbility()将目标设备拉起,进入到协同页面,然后再进入协同状态。如果目标设备已经处于协同页面,就可以直接进入到协同状态。统一管理分布式操作由于分布式数据服务每个应用最多同时打开16个KvStore,所以不能每一个协同操作都使用一个数据库。这里可以在value值上做文章,以实现通过一个分布式数据库,就可以实现一个页面中的多个操作的协同。首先,可以使用一个常量作为分布式协同数据库的key。每次put时,都使用这个常量作为key,以替换之前的数据。其次,需要创建一个实体类。成员变量中,需要有两个基础变量:1. operationType:int型,当前协同操作的类型;2. targetDeviceId:List<String>,需要协同的设备id数组;operationType字段主要是用来区分当前的操作类型,这样方便调用相同的功能进行协同操作。targetDeviceId主要是存储向哪些设备发起协同操作,可以通过判断本设备id是否在数组当中,如果不存在,就不做任何操作。此时需要将实体类转换成字符串,再存储到分布式协同数据库中。因此,可以通过JSONObject.toJSONString(),将实体类转换成字符串并进行存储。被调用方需要为分布式数据库,绑定数据变更监听。这样,其他设备添加或修改数据的时候,就会触发监听。监听类型要设备其他设备触发的变化,这样可以避免本地修改也会触发本地的监听的问题。在监听中就可以处理协同的功能。首先要判断变更的数据是否为空,避免后续出错。然后可以将key的json值取出,并做非空判断。接下来需要将json字符串转换成实体类,便于后续操作。这里可以使用JSONArray.parseObject(json, class)进行转换。然后进行判断,是否需要本设备进行协同。当本设备需要协同时,可以通过switch根据操作类型,调用不同的方法进行协同即可。总结殷冬通过官方文档、论坛、HarmonyOS技术社区等途径,系统的学习和了解HarmonyOS的特性,最终开发了本次大赛的《分镜头App》作品。未来,他还将持续深入了解HarmonyOS,尝试开发更为有趣的HarmonyOS分布式应用,也期待更多开发者加入到HarmonyOS生态,一起创造无限可能!HarmonyOS开发者【开发者说】栏目:https://mp.weixin.qq.com/s/ZYGIzhfGnhAc0s_GDTvcoA
-
HarmonyOS开发者创新大赛已于2021年5月24日落幕,在本次赛事中,来自古都西安的开拓者战队凭借《智能农场》这款作品最终获得大赛三等奖,该作品通过HarmonyOS的分布式软总线、分布式数据库技术、分布式任务调度、分布式跨设备数据流转等能力实现了多设备(传感器、智慧屏等)的互联互通、自动控制,实现了农场场景下多设备协同智能养殖体验,令人印象深刻。 以下是“开拓者战队”基于HarmonyOS打造《智能农场》作品的相关思考以及关键技术的简单分享:1、背景介绍 目前,市面上智慧农业相关的厂商设备(传感器等)相对独立,没有统一的操作系统平台,互联互通困难,且大多数设备部署需要连线,部署成本时间长,成本高,维护复杂度高。随着5G网络的覆盖,下一代全场景操作系统(HarmonyOS)的出现,让万物互联变得更加方便,可以实现一部手机操作所有IoT设备,实现各个IoT设备的互联互通。智能农场系统是基于HarmonyOS实现了多个IoT设备(传感器,电机,大屏等设备)的互联互通、自动控制,并实现全场景化的智慧养殖。智能农场通过各项传感器设备对农场的各项环境指标进行实时检测,并且可以进行自适应调节,让动物一直处于一个良好的生长环境。通过本系统可以实现指标超过阈值预警,智能提醒,智能求助等功能,让农场养殖门槛变低,让农场主轻松成为养殖专家。2、需求分析 智能农场系统通过对农场的空气温,湿度、光照度等各项环境参数进行实时采集,确保农场主可随时通过智能手机APP了解农场状况。同时,系统可以根据农场内外环境因子的变化进行自适应调解,不仅能保证农场中的动物长期处于良好的生长环境中,还能提升动物的产量和质量。本系统的特色业务功能包括:精细化智能提醒,专家视频求助等。智能提醒功能体现在多个场景中,如:农场温度过高,降温设备有损坏或者指定时间内温度没有降下来等异常情况出现时,系统会直接给管理者进行电话提醒或者消息推送;不仅如此,系统还会根据动物的年龄,对不同动物的生长周期进行预测,提醒管理者为动物打疫苗。智能求助功能则体现为,当管理者遇到一些养殖常识问题,可以通过智能求助查到相关帮助信息;同时,也提供了养殖专家视频求助功能,帮助管理者及时的解决养殖方面遇到的疑难杂症。 3、解决方案 本解决方案涉及角色:农场主,养殖专家 涉及硬件设备:手机、智慧屏、开发板,各类型传感器(比如:温湿度传感器、可燃气体传感器、光敏传感器、人体红外传感器等)以及各项外设(比如:风扇,加水设备,取暖设备等)。手机、智慧屏、开发板基于HarmonyOS,通过WIFI组网,实现各项设备之间的互联互通。农场主可以通过手机APP对养殖场景中的各项环境指标(温湿度阈值范围、可燃气体浓度范围、光照强度等)进行设置,也可设置定时任务(比如:定时加水、加料,定时播放音乐等),实现智能化提醒和自动化控制。解决方案中养殖技术和案例等信息的查询和分析等服务,由云端的数据服务提供,专家视频求助功能的视频通话服务由云端提供。4、主要模块介绍数据采集模块 (以采集温度为例)系统启动成功后,数据采集模块会启动定时任务采集温度数据,定时从温度传感器采集一次当前温度数据。如果采集成功,存入分布式数据库(KV方式存储),采集到的温度数据会实时刷新到温度显示界面。温度数据范围:-40~80℃。采集到的数据,可以流转到大屏方便用户查看。自动控制模块(以温度控制为例)定时获取当前温度数据与用户设置的正常阈值范围或者最大阈值范围(来自:Preferences)进行比较。如果当前温度在正常阈值范围内,不做处理;如果超过正常阈值范围,未超过最大阈值范围(比如:正常范围:5~30℃),包括两种情况:1. 低于5℃,打开加热设备,并调用智能提醒模块通知用户;温度恢复正常范围,关闭设备。2. 高于30℃,打开风扇降温,并调用智能提醒模块通知用户;温度恢复正常范围,关闭设备。如果超过最大阈值范围(比如:最大阈值范围:<-20℃或>60℃),包括两种情况:1. 低于-20℃,打开多个加热设备,并调用智能提醒模块,发送通知,并拨打电话通知用户;温度恢复正常范围,关闭设备。2. 高于60℃,打开喷水降温,并调用智能提醒模块,发送通知,并拨打电话通知用户;温度恢复正常范围,关闭设备。5、关键技术细节实现 1)分布式多设备发现,实现多设备协同、调度2)分布式数据流转3)socket通信实现设备间互联互通(如下关键代码)4) 踩坑(分布式任务调度和分布式数据库技术配合使用)(功能:智能农场手机端采集的数据实时同步到TV端)当手机端收到采集到的环境数据(如温度、湿度及可燃气体浓度),需要流转到智慧屏上进行显示,团队一开始使用的分布式任务调度,流转到TV端后,发现TV端显示的数据并没有实时刷新,显然不符合现实需求。为了实现数据的实时刷新,团队发现HarmonyOS有分布式数据服务的能力,可以实现同应用,同网络,同账号在不同设备之间实现数据实时共享,因此最终采用了HarmonyOS的分布式数据库技术,确保了手机端和TV端数据同步刷新的功能。在不依赖云端服务的情况下,实现此功能。从报名HarmonyOS开发者创新大赛开始,团队从一群从来没有配合过的HarmonyOS新手开发者成长为了专业开发者。参加大赛也让团队深刻感受到了HarmonyOS强大的分布式技术以及先进的设计理念,为今后开发更具创意和社会价值的作品打下了坚实的基础。星光不问赶路人,每一位HarmonyOS开发者都是华为汇聚的星星之火,希望越来越多的开发人才能够加入到HarmonyOS开发者生态,一起创造无限可能!
-
如何实现跨设备的双向连接? Labo涂鸦HarmonyOS亲子版分布式开发技术分享首届HarmonyOS开发者创新大赛正式落下帷幕。大赛共历时5个月,超过3000支队伍的10000多名选手参赛,25000多位开发者参与了大赛学习,最终23支参赛队伍斩获奖项,产出了多款有创新、有创意、有价值的优秀作品。其中,由“Labo Lado儿童艺术创想”团队打造的《Labo涂鸦HarmonyOS亲子版》就是其中之一,其创造性地通过HarmonyOS分布式技术,实现了多设备下的亲子互动涂鸦功能,最终摘得大赛一等奖。在很早以前,“Labo Lado儿童艺术创想”团队就做过一款涂鸦游戏的应用,该应用可以让孩子和父母在一个平板或手机上将屏幕一分为二进行涂鸦比赛。这种方式虽然有趣,但是对于绘画而言,屏幕尺寸限制了用户的发挥和操作。因此,团队希望借助多个设备实现该类玩法,但在研究了ZeroConf、iOS的Multipeer Connectivity、Google Nearby等近距离互联的技术后,皆得不到理想方案。于是他们将目光投到HarmonyOS上。 他们发现,HarmonyOS的分布式技术能让设备的发现和应用拉起变的非常简单自然,互联的过程也很流畅,很好地解决了单机操作的限制,非常容易地实现跨设备联机功能。 此外,相较于以往繁琐的开发步骤, HarmonyOS 仅需几个配置、几行代码即可完成应用开发,无需花费太多精力,这让开发团队倍感惊喜。 就比如说,《Labo涂鸦HarmonyOS亲子版》中的5个分布式玩法,团队仅投入一名开发者,以不到两个月的时间完成,其中还包括了学习上手、解决文档不全和各种疑难问题所需消耗的时间。 以下是“Labo Lado儿童艺术创想”团队基于HarmonyOS的分布式开发关键技术的简单分享: 一、分布式技术实践HarmonyOS的分布式能力是在系统层面实现的,在设备双方同属一个局域网的情况下,设备都可以快速的发现和进行流畅的通讯。下面将从HarmonyOS设备的发现、应用的拉起、应用通讯和双向通讯几个部分来进行分享。 1、设备的发现 假设设备A想要邀请另外一个设备B加入,AB任何一方都无需启动特别的广播服务,只要发起方设备A在应用内调用设备发现代码,就可以列出附近符合条件可用的的设备。 2、应用的拉起 设备A邀请了设备B之后,如果设备B上应用没启动,设备A可直接通过调用startAbility方法来拉起设备B上的应用。双方应用都启动了之后,就可以进行RPC通讯了。如果需要事先检查设备B上的应用是否已经启动或者是否在后台,可通过在应用中增加一个PA来实现。在拉起之前,设备A先连接设备B的应用中的PA可以实现更复杂精准的远程应用启动控制。3、应用通讯 在应用中启动一个PA,专门用作通讯的服务器端。当设备B的应用被拉起之后,设备A就会通过connectAbility与设备B的PA进行连接,通讯采用RPC方式实现,并使用IDL定义通讯接口。 4、双向通讯 RPC的通讯方式使用简单,但是只能支持单向通讯。为了实现双向通讯,可在设备A与设备B发起建立连接成功之后,再让设备B与设备A发起建立一个连接,用两个连接实现了双向通讯。下面是这两个连接建立过程的示意时序图: 在设备A与设备B建立连接的时候,设备A必须将自己的DeviceId发送给设备B,然后设备B才可以主动发起一个与设备A的连接,获取当前设备的DeviceId方法如下: 应用中,FA主要实现了界面层逻辑,PA部分用做数据通讯的服务端。为了防止拉起应用导致用户当前面的操作被中断,可通过PA来查询当前FA的状态,如果FA已经启动了,就跳过拉起,直接进行下一步操作即可。二、数据接口与数据结构定义使用了IDL定义了两个通用的接口,分别用来进行异步和同步调用: 大部分情况下,远程调用大部分都通过同步的方式进行,用户之间的绘画数据通过异步接口传输,数据在用户绘制的时候采集,每50ms左右发送一次,这个频率可以大概保证用户视觉上没有卡顿,而又不至于因为接口过度调用导致卡顿或者耗电量过大。采集的绘画数据的数据结构大致如下:这款应用是支持多点触摸的,所以每个触摸点在落笔的时候,都使用了tagId进行标记。这些数据除了通讯外,还会完整地保存在文件中,这样用户就可以通过应用内的播放功能播放该数据,回看绘画的整个过程。三、教程录制与曲线平滑1、教程制作 这款产品的特色之一是教程是动态的,用户可以自己拼装或者通过游戏生成教程角色。目前应用内置六种教程。这些教程预先由设计师在photoshop中画好并标记各个部位,然后再通过专门的photoshop脚本导出到教程录制应用中,再由设计师按部位逐个进行临摹绘制,绘制完成,应用会将设计师的绘制过程数据保存为json文件,通过将这些json的文件里的部位互换,我们就实现了用户自己拼装教程的功能了。 2、曲线平滑绘制过程,为了让用户绘制的曲线更加平滑,采用二次贝塞尔曲线算法进行差值(Quadratic Bezier Curve),该算法简单效率也非常不错。 基于HarmonyOS的分布式特性,《Labo涂鸦HarmonyOS亲子版》完成了一次已有应用的自我尝试和突破,大大的增加了用户在使用过程中的乐趣,为用户带来了全新的跨设备亲子交互体验,“Labo Lado儿童艺术创想”团队在未来将与更多的HarmonyOS开发者一起,为用户创作出更多更有趣的儿童创造类应用。 自发布以来,HarmonyOS吸引了广大开发者的关注。作为一款面向万物互联时代的智能终端操作系统,HarmonyOS带来了诸多新特性、新功能和新玩法,等待开发者去探索、去学习、去实践。也欢迎广大开发者继续发挥创造力和想象力,基于HarmonyOS开发出更多有创新、有创意、有价值的作品,打造出专属于万物互联时代的创新产品。 HarmonyOS开发者【开发者说】栏目:https://mp.weixin.qq.com/s/A15y0FXZmrD4w7RfCNeahA
-
直播地址:https://www.koushare.com/lives/room/978959直播主题:量子计算黑客松全国大赛·上海大学站宣讲直播时间:2021年2月9日(周二)16:00主办方:华为量子计算研究团队直播简介量子科技的发展具有重大科学意义和战略价值,是一项对传统技术体系产生冲击、进行重构的重大颠覆性技术创新,将引领新一轮科技革命和产业变革。其中,量子计算被认为是未来具有颠覆性影响的新型计算模式之一。上海大学与华为、南方科技大学联合举办2021 量子计算黑客松全国大赛,该合作也将推进量子计算的基础与应用研究,争取做出开创性的前沿工作,望广大学子能够积极参与此次比赛,共同创新,推动量子计算的技术研究。2021量子计算黑客松全国大赛·上海大学站比赛目前正在紧张报名中。此次直播主要内容:1、大赛介绍和HiQ云平台简介2、试题说明及背景介绍3、答疑Q&A本赛事报名地址:https://competition.huaweicloud.com/information/1000041373/introduction?track=111
-
【DevRun开发者沙龙直播】11月17日晚20:00-21:00,来自华为云人工智能大赛金奖得主“上海麦图科技有限公司”的多位专家——CTO王宏锋、华为云MVP、智能塔台技术总监徐擎阳、首席AI架构师李鑫和AI算法专家孔维国一同进行华为云DevRun官方直播,全面剖析获奖项目《基于ModelArts与HiLens的智能塔台监控防护系统解决方案》直播回看:https://vhall.huawei.com/fe/watch/6671
-
2020年 全闪存新变数三星电子、东芝、英特尔、长江、美光科技全闪存工艺你追我赶,128层堆叠的3D NAND,128层QLC 3D NAND接连亮相。面对如此激烈的竞争,华为新一代智能存储OceanStor V6仍能够在市场中占据着一定优势,为何?除了最高可达2000万IOPS、SmartMatrix全互联高可靠架构、端云AI、容忍控制器8坏7,0.1ms的极致时延也备受消费者青睐。话说,0.1ms,真的有那么重要吗?下面我们将一起探究一下。 0.1ms是个什么概念?好多小伙伴都喜欢玩《王者荣耀》,我们知道,网络是否流畅很大程度决定着我们的游戏体验,想象一下,打团的时候,网络卡了,等反应过来,往往已经game over。这里的卡主要体现在网络时延上,通俗地讲,网络游戏的时延就是我们对角色的操作与这些操作真正在游戏中的角色体现出来这两者的时间差。通常来说,50ms左右的网络时延玩家是感受不到的,不会影响游戏体验,但超过100ms时,便会出现明显的卡顿,如果时延超过200ms,只能自求多福了。再者,美国X-43高超音速飞机,世界速度最快的飞机,如果仅考虑速度因素,大约三个半小时可以绕飞地球赤道一圈。X43速度最高可达11265 km/h,相当于0.1ms可以飞行0.3m左右。是的没看错,如果你可以做到周期路程为0.3m,你也可以三个半小时环绕赤道,当然,前提是,周期为0.1ms(狗头保命)。50ms的时延人类已经很难觉察,0.1ms更是遥不可及,但随着人类文明的发展,0.1ms这个时间壁垒已经逐渐被突破,为科技欢呼吧。 为什么0.1ms这么重要?玩游戏,我们当然希望时延越低越好,这也是一众厂商的追求。但是不免有人会说,游戏的时延只要不过高,不影响游戏体验,其实也没太大关系,为什么要投入巨大的人力物力追求0.1ms的极致时延呢。这是因为在某些行业,极致时延关乎的不仅仅是一场游戏的输赢,往往涉及重大利益,比如金融行业。时间就是金钱,这句话在金融行业更是体现得淋漓尽致。为什么在金融行业中,需要追求如此极致的时延?首先,我们介绍一个名词,高频交易(HTF),HTF是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易,交易量大,持仓时间短,日内交易次数多。HTF其实是发达金融市场的重要组成部分,由计算机程序操作完成,利用信息不对称进行快速大量的交易是其盈利的主要方向之一。如何更好的做到信息不对称,这就对交易系统的时延具有很高的要求。其实不难理解,股票买卖的利润取决于卖出与买入两者间的差价,或赚或亏,普通人的持有时间通常都不会很短,几天,几个月都有可能,而现在,通过高频交易系统,计算机根据自己的算法决策,可以把这个时间做到毫秒、微秒级别,以求对市场做出最迅速的反应。例如当你输入指令购买A股票时,指令会被传达到交易所,通过技术手段,几乎与此同时高频交易员也能获取该指令,并抢在你之前买入A股票,接着在几毫秒后加价将A股票卖给你。虽然一次获利并不一定很多,但股票交易量庞大,长此以往,这都是白花花的银子呀。先人一步,带来的就是巨大的利润差别。2008年TABB Group发表文章《The value of a Millisecond: Finding the Optimal Speed of a Trading Infrastruture》指出,对于电子交易公司,处理市场的速度至关重要,时延会影响公司提供最佳的执行效果,交易处理时间比竞争对手落后5ms,将损失1%的利润,落后10ms则扩大到10%,每1ms时延将损失400万美元。但此时,并没有电信运营商发现交易员对于速度的渴望。2009年夏天,为了将芝加哥南区的数据中心与新泽西北部的股票交易市场连接起来,2000名工人夜以继日得秘密施工,耗资3亿美元,最终相较于原线路缩减了100英里。这一切,源自于交易员斯皮维敏锐的发现交易所实际交易速度与理论上的最快速度之间有着一定的差异。通过该工程,可以使得交易系统的网络时延减少1ms,但就是这1ms,每年创造的价值竟有200亿美元之多。这就是“一毫秒”的价值。在高频交易中的应用,只是冰山一角,金融业需要极致时延的场景还有很多。由此可见,极致时延,对于金融业来说是极具吸引力的,是决胜千里的关键技术之一。 如何做到0.1ms的极致时延?华为OceanStor Dorado V6,究竟是如何实现全球业内领先的0.1ms极致时延的,不要着急,且听我娓娓道来。硬件、软件框架就好比人体的骨骼和血肉,而通讯协议就像人类之间交流的语言,只有当一个人肌体健硕又脑袋灵光且具有高效的语言交流能力下,他才能发挥出最大的社会效益和经济效益。因此,下面我们也将从硬件框架、软件框架和通讯协议这三大方向具体介绍OceanStor Dorado V6。1)硬件框架巧妇难为无米之炊,OceanStor Dorado V6集结华为自研五款芯片于一身。分别为智能多协议接口芯片(SmartIO芯片)、鲲鹏920芯片、昇腾310智能AI芯片、SSD控制芯片、板级管理BMC芯片。五款芯片各司其职,相互合作,实现了传、算、智、存、管的垂直整合,构建了端到端的芯片平台。为了更形象具体的展示其功能,我们将这五“ 芯”分别对应着一个“ 伪学校考试”中的以下职能加以说明。 智能多协议接口芯片(火柴人1)---传,负责从源源不断的数据包中解析数据。鲲鹏920芯片(火柴人3)---算,负责运算操作,单核算力超过业界主流CPU 25%,最大提供768核。昇腾310智能AI芯片(火柴人2)---智,负责“未卜先知”,通过深度学习算法,对数据进行分析,提升读缓存命中率50%,让数据越存越快。SSD控制芯片(火柴人4)---存,承担读写FTL操作,降低操作系统负担,减少I/O交互次数,降低写时延50%。板级管理BMC芯片(火柴人5)---管,负责故障诊断分析和定位,准确率高达93%。五“芯”合作 2)软件框架 在软件框架方面,OceanStor Dorado V6又是如何提速的?答案是:包含三种黑科技的Active-Active架构,其核心就是负载均衡。但具体是怎么改进的呢? 首先,我们先简单接触下Active-Active架构中的一些概念,方便后续理解。专有名词含义前端I/O模块获取外部读写任务,并将其分配给控制器控制器负责存储数据前的一系列运算操作控制器缓存用于临时存放处理数据过程中产生的中间变量存储池由硬盘组成的存储池,用于存放最终数据LUN逻辑单元号,将硬盘空间划分为若干个小单元 接着,我们的老朋友火柴人又来啦!下面火柴人将会结合改进前后的“正规”排插生产线现身说话。 改进前:在该工厂中,主要人员有绿帽子工头(前端I/O模块)、承担不同生产工艺的螺丝工、外壳工、胶套工等8个火柴人(8个控制器)。此外,还有8个成品仓组成的总仓库(8个硬盘组成的存储池),每个成品仓被划分为若干个小房间,并将来自不同成品仓的小房间组成新的存储单元(存储池中的LUN),我们姑且将其称为RAID 1.0。 有一天,绿帽子工头(前端I/O模块)突然接到了生产任务,但他并不能确定具体要生产什么,只能下发给火柴人甄别。就这样,生产任务经过了胶套工、铜片工、LED工之间的多次转发才最终来到螺丝工手上(这就是控制器缓存中所谓的LUN归属,数据位于哪块区域之中,就由该区域负责的控制器进行处理,如下图中的LUN1、LUN2、LUN3就属于螺丝工控制器负责的区域)。螺丝工收到任务后就哐当哐当地干起来活来,并把产好的螺丝放进了存储池中的LUN。 这种生产方案貌似合理,但细细品来,却能够发现存在着一定的问题。首先,由于绿帽子工头无法精准得下发任务,导致转发多次才能来到相应的负责人那里(即IO请求在控制器间无谓转发)。其次,不同的配件,甚至相同配件在不同时间段的生产任务量是完全不同的,按照这种火柴人负责固定区域划分的模式,有可能会导致劳逸不均。同时,存储池中的LUN是由若干个小房间组成的,粒度较粗,这就导致产品存放对空间的利用率不高。此外,RAID 1.0数据重构成本非常高昂,如果成品仓存储了10G数据,尽管只有区区的1KB数据损坏了,但也要对10G数据进行重构。类似的这些问题,都将成为限制系统性能的瓶颈。 改进后:OceanStor Dorado V6通过自研的全局负载均衡技术、全局缓存技术以及RAID2.0+技术有效地解决了上述问题,极大地提升了效率。下面我们将会结合对三大技术的讲解探究具体是如何提升效率的。全局负载均衡算法:绿帽子工头(前端I/O模块)在技术人员(华为多路径软件)的帮助下,通过神奇的HASH计算,合理地将任务分配给相对空闲的火柴人(控制器)执行,实现了全局控制器负载均衡,让每个火柴人都能快乐且持续地工作,简直是停不下来!!!全局缓存技术:将每个火柴人(控制器)的小仓库(控制器缓存)合并为共享仓库(全局缓存),不再是自顾自了,而是大家一起把活干(这就实现了LUN的无归属)。伴随着分工制度的取消,也就不存在生产任务在火柴人中辗转的情况(避免了IO请求在控制器间的无谓转发,实现了控制器压力均衡)。RAID2.0+技术:不同于RAID1.0中由小房间组成的存储单元(LUN),RAID2.0+技术将存储单元划分的更为细致,粒度更小。首先将每个成品仓划分为许多的更小的房间(Chunk,通常大小为4MB),然后将来自不同成品仓的小房间组成Chunk组(简称CKG),最后再将CKG划分为许许多多的小格子作为最终的存储单元(Grain,通常大小为8K)。存储单元的细粒度不仅提高了空间利用率,实现了硬盘压力均衡。此外,RAID1.0数据重构时只能向热备盘进行写操作,而其他盘将进行读操作,这读写将会成为限制性能的瓶颈。而采用RAID2.0+技术后,上述问题迎刃而解,重构1TB的数据也从RAID1.0的10小时降低至0.5小时,速度提升了20倍。OceanStor Dorado V6还给每个硬盘内置了鲲鹏920芯片,使其具备运算能力,负责业务的重构(数据出现问题?我来重新给你造份,就不劳烦控制框亲自动手了)。这使得火柴人(控制器)有更多的精力做好自己的事情。除此之外,满分条写、多流数据分区、端到端I/O优先级调整技术(有效控制垃圾回收)等多项技术也成功在OceanStor Dorado V6中得到应用。通过上述一系列措施,排插生产效率得到了极大的提升,火柴人工作得更为充实(狗头)。 3)通讯协议 噔噔蹬蹬,火柴人又来啦。改进前:很久之前,那会还是SAS通讯协议,众多的火柴人在CPU处焦急等待,他们都想到达终点SSD处。虽然两张通行证(两次协议封装,先后封装为SCSI和SAS)早就备好了,也允许他们同时出发(多线程),但前往SSD的道路只有一条(单队列),且路上经常塞车(传统SAS SSD在多线程并发下带来的锁竞争)。但火柴人们也只能如此,历经千辛万苦,火柴人们终于从CPU处通过PCle链路和PCle交换机到达SAS芯片处,再通过SAS Expander到达了目的地SSD门口处。但SSD却不肯直接让他们进去,除非他们对着天空大声喊:“我要进!给我进!让我进!我进啦!”(四次协议解析)。火柴人只能无奈妥协,最终耗时562us才能进入SSD。改进后: OceanStor Dorado V6知道火柴人的艰辛之后便开始琢磨着要如何对流程进行了改进,才能更加省时省力。最终采取如下策略:①出行只需持有乙地通行证即可(协议封装次数从2变1,直接封装为NVMe)。②缩短传输路径,减少了中转站SAS芯片,变成了直通车。③道路数量从原来的1条(单队列并发)变成了64K条道路(多队列并发),并且同样允许他们同时出发(多线程并发)。⑤OceanStor Dorado V6为防止路上堵车,专门自研了火柴人出行路线的规划方案,保证交通顺畅(通过自研的IO调度机制,将锁机制编程转变为无锁编程)。⑥火柴人到达SSD门口后,只需喊两声:“我要进!我进啦!”即可(协议解析次数从4变2)。经过了一系列的改进,最终火柴人耗时106us便到达了SSD处,传输效率提升了81%。 0.1ms极致时延将带来哪些改变?随着5G时代的到来,数据规模将呈现指数级的增长。IDC发布的《数据时代2025》白皮书认为,全球数据量大概两年翻一倍,华为全球展望GIV2025也预测到,2025年全球年储存数据量将高达180ZB。如此庞大的数据增长以及越来越高的极限时延追求,对现今的数据基础设施提出了更大的考验,0.1ms极致时延迫在眉睫。在金融行业中,以银行业务请求为例子,强大的数据处理分析能力是银行业务的核心,千万级别的IOPS将给业务IT系统带来巨大的压力,而且随着万物互联时代的到来,将会进一步暴增。0.1ms极限稳定时延能够将平均业务请求时间从以往的15分钟降低至3分钟左右,大大节约了银行业务的排队时间,极大提高银行业务处理能力,改善用户体验。在互联网行业中,以万物互联,车、人、物互联互通为例子。根据Machina预测,中国的物联网连接数量到2020年将迅速突破70亿,三年内将超过100亿,增幅显著高于世界水平。在如此庞大数量的移动终端的连接下,所产生的数据也将数以万亿计,甚至更多。强大的数据存储和处理能力将是决定未来企业兴衰存亡的关键因素之一。快速的数据处理能力将给企业决策层争取更大的时间窗口,给决策层留出足够的决策时间。除此之外,在医疗、高清视频/虚拟现实、实时性云业务、精密测绘、高性能计算、5G移动通信等领域中,0.1ms极致时延的出现,也将有力地助力行业发展,给用户带来全新的体验。 0.1ms稍纵即逝,但意义非凡。随着科技的进步,人类得以突破这个时间壁垒,并将其造福社会的发展。写到这里,不禁深思,0.1ms已经来了,那0.01ms甚至0.001ms呢,我认为虽远必至,毕竟技术的发展日新月异,未来可期! 参考资料:1. 华为OceanStor Dorado V6全闪存存储系统产品技术白皮书2. 华为OceanStor全闪存专刊3. 低时延光网络技术白皮书(中国电信)
-
物联网作为“非接触经济”的不二载体,在新冠疫情管控方面发挥了积极作用,催生出很多物联网应用需求。物联网当前正在引领行业创新与变革,据统计,90%+企业在云上存储IoT数据及开展业务。但物联网各行业也需共同应对三大痛点难题:接入协议繁杂,时延、安全问题;数据价值挖掘难、物联网AI开发难;行业数字化转型,商业变现难。以赛促商,三大福利助推企业开启新市场为了更好地帮用户实现更多智能场景应用创新,华为云IoT创新应用开发大赛(首届)正式上线。大赛结合不同应用场景共设11条赛道,提供全场景服务技术能力,面向所有优秀的个人开发者、企业征集物联网行业应用,为优秀方案开发者提供商业变现机会。相比较其他的赛事,本次大赛华为云可协助获奖团队加入云市场和严选商城,为企业提供商业变现机会,加速参赛团队的作品实现商业转化。华为云市场中已上线3500+商品,覆盖170+国家和地区,拥有10000+渠道商支持。团队首先可成为华为云市场的直销供应商,通过华为云市场/严选商城宣传展示,客户直接在市场中进行下单购买;同时,也可由华为云渠道商进行推广售卖。除此以外,获奖团队可直接成为华为云供应商,根据华为云相关项目需求进行直接付费采购,扩大参赛者产品变现能力。在营销方面,华为将会结合自有和外部50+传播渠道,在全年80+的营销活动、100+全球媒体投放中联合获奖团队营销宣传,如:在华为云线下活动中提供展台、大会演讲等方式,加速商业对接。本次大赛的获奖团队还可申请沃土云创计划认证。加入沃土云创计划,企业获得由华为颁发的使能技术认证证书,为企业在商业竞争中获得加持。以入选华为云严选商城为例,在行业中享有盛名的盛原成,主营机器人和工业自动化相关服务。在寻求出圈之路时,盛原成通过华为云打造出了智能制造解决方案,并上线了华为云严选商城,形成千万级别带货能力。深圳的旺龙智能科技是一家诞生于1997年的老牌企业,主营云对讲、云门禁、云梯控等系列物联网产品。疫情期间,旺龙采用了华为云IoT设备接入管理服务,通过与华为云进行联合营销,为项目带来280+条线索,签约项目20+个,获得可观的收益。技术加持,助力参赛者完成作品开发结合行业生态与合作伙伴的诉求,本届华为云IoT创新应用开发大赛中,华为云将免费开放物联网全场景的产品及能力,提供设备接入管理服务(IoTDA)、IoT边缘、IoT数据分析、LiteOS+鸿蒙操作系统等华为云IoT全栈云服务,助力参赛者快速实现设备联网以及行业应用开发。华为云IoT全栈全场景服务,与海思芯片、LiteOS及主流模组集成,实现芯云协同、极简接入,与边缘硬件(Atlas、AR)预集成,边云协同,实现边缘侧极简运维,结合华为独有的云网协同能力和端到端安全,重定义物联网联接,让万物极简上云。同时,支持AI Native计算,提供一站式物联网数据分析服务,构建数字孪生的数字世界,重定义物联网数据价值。除此以外,大赛还提供涵盖300+物模型、50+应用模板的无码化开发的一站式开发平台,全面视频课程、开发指南、样例&工具的多形式资料套件等方面的技术赋能,以及华为云资源代金券、专家点对点技术支持、赛中专家直播赋能和优质物联网应用免费体验等帮助参赛者快速完成作品构建。诚意满满,超百万奖金为IoT应用买单现在,华为云IoT创新应用开发大赛(首届)已在火热招募中,有创意、有想法、有兴趣的开发组织和个人都可参赛。本次大赛初赛采取线上评选的方式,每个赛题独立评选,均设先锋奖、潜力奖、探索奖若干。其中,决赛阶段会评选出:金奖1名,获奖团队可获得5万元奖金+20万代金券+证书;银奖2名,获奖团队可获得2万元奖金+10万代金券+证书;优胜奖5名,获奖团队可获得5千元奖金+5万代金券+证书。本次大赛报名日期截止到2022年1月28日,作品提交截止到2022年3月,初赛评选结果将在3月公布,最终决赛评选&颁奖则在2022年4月举行。此刻开始构思,说不定最后金奖的获得者就是你和你的团队!
-
一、大赛介绍 “甘创聚杯”2021华为云全国工业互联网应用创新大赛面向全国工业互联网领域相关企业,围绕制造业人、机、料、法、环等环节,探索有具体落地场景的应用方案,聚焦企业数字化转型全产业链技术的应用。参赛者需充分发挥创新能力,自由探索应用场景,并融合新技术(例如AI/大数据/物联网等),最终提交具有原创性并能够进行可视化应用展示的参赛作品,输出企业数字化转型相关创新解决方案和应用实践。二、参赛对象面向全社会开放,主要以企业为参赛团队组织报名,同步招募个人、高等院校、科研单位、初创团队等创客。说明:如有任何可能接触到赛题的人员、大赛主办方和技术支持单位(如华为技术有限公司员工)参赛,则自动放弃获奖资格。三、参赛要求1、参赛企业拥有独立知识产权且无产权纠纷,企业组织参赛需上传营业执照(随作品一同提交)2、每个团队人数最多5人,且每位参赛者仅可加入一支队伍。3、参赛者在相关阶段需配合主办方做好疫情防控工作。四、赛程安排报名时间:即日起- 2021年11月24日18:00 第一阶段:初赛作品提交:2021年10月23日0时- 2021年11月24日18时 晋级公布:2021年11月27日初赛采用线上评审方式,评审专家秉持公平、公正原则评审所有参赛作品,大赛组委会负责相关流程的组织和监督。评选Top12晋级复赛。第二阶段:复赛作品提交:2021年11月27日0时- 2021年12月1日18时晋级公布:2021年12月4日参加复赛的选手需要在规定日期内修改评审材料,并录制不超过3分钟的作品简介视频。复赛依然采取线上评审方式,依据复赛成绩评选晋级决赛团队名单,评选Top6晋级决赛。第三阶段:决赛&闭幕式作品准备:2021年12月4日0时- 2021年12月9日18时决赛答辩&颁奖仪式:2021年12月10日决赛答辩采取现场答辩的评审方式(如不参加现场答辩,视为自动放弃获奖资格,入围名额顺延)参加决赛的选手需要在决赛日前准备答辩材料,TOP6的队伍将受邀前往大连进行总决赛答辩,依据决赛成绩评选出大赛排名。现场答辩评出最终排名后,大赛组委会将举办颁奖典礼及闭幕仪式。五、奖项设置一等奖:1支队伍(现金奖10万元,颁发获奖证书)二等奖:2支队伍(现金奖5万元,颁发获奖证书)三等奖:3支队伍(现金奖3万元,颁发获奖证书)创意奖:1支队伍(现金奖2000元,颁发获奖证书)入围奖:6支队伍(现金奖3000元,颁发奖证证书)参与奖:颁发大赛纪念证书说明:以上奖金为税前奖金,奖金发放在比赛结束后,大赛组委会将按照相关税收政策完税后发放给参赛选手六、赛事报名报名请戳:“甘创聚杯”2021华为云全国工业互联网应用创新大赛
-
ICT大赛云赛道加分赛答疑帖在此!有问题第一时间在这里咨询哦~专家会在24小时直接为大家解答下面为大家答疑期间大家遇到的一些问题:Q1-什么是沙箱实验室?A-华为云服务的操作体验,使用虚拟华为云账号,根据详细的实验手册,一步步指导操作,模拟真实场景,完善的虚拟环境配置搭建,可随时随地通过浏览器进入虚拟环境操作实验。Q2-如何进入沙箱实验室?A-点击网址https://lab.huaweicloud.com/ 右上角的注册/登陆,进行华为云账号注册/登陆,注册/登陆完毕后,需进行实名认证Q3-使用哪种浏览器体验最佳?A-使用谷歌浏览器进行实验,为保证最佳体验,电脑屏幕分辨率调为1920*1080,缩放比例为100%。Q4-实验中是否有实验账号或需要购买哪些服务?A-使用实验界面左上角所提供的实验账号信息,在实验云桌面中完成全部实验步骤操作,方能成功检测进度(注意:需按照实验步骤提示逐步完成,跳过步骤或者漏掉步骤会导致该步骤无法检测,重新操作则会再次检测);根据实验手册提示,在指定区域购买指定规格服务。Q5-如何查看实验记录及实验报告?A-完成实验后,可在个人中心—“我的实验”—“已完成”中进行查看实验记录及实验报告等;如需查询实验进度,需提供最新登陆使用沙箱实验室的华为云账号名。 Q6-如何处理实验时长不足的问题?A-实验时长不足,请点击【延时】。考生只需在考试规定结束时间点前完成实验即可,即在考试期间可重复操作某门实验。Q7-如何重置实验环境?A-点击【结束实验】后重新开始实验即可重置实验环境,并以剩余时间继续开始实验。Q8-无法使用sandbox-xxx登录怎么办?A-请注意选择IAM用户登录方式进行登录Q9-如何查看是否已经100%完成实验?A-成功完成实验后,进度达100%,并且弹窗提示已完成本实验。 Q10-实验中遇到问题如何处理?A-实验中遇到问题,可保留实验环境,可咨询小助手(微信:HWcloudedu)。以上是大家目前遇到的问题,还有其他问题,欢迎随时在下方留言哦~—————※—————※—————※—————※—————※—————※—————※—————※—————※—————※—————⭐⭐⭐⭐⭐⭐ 更多精彩ICT大赛云赛道积分赛系列有奖活动不容错过 ⭐⭐⭐⭐⭐⭐ ICT大赛云赛道积分赛有奖活动(学习分享系列)------->>>>>点击参与 ICT大赛云赛道积分赛有奖活动(云声反馈系列)------->>>>>点击参与
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签