• [热门活动] 【云原生专题直播有奖提问】DTSE Tech Talk 技术直播 NO.49:看直播提问题赢华为云定制长袖卫衣、华为云定制按摩枕等好礼!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:请获奖的伙伴在11月27日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~直播简介【直播主题】Kmesh:架构创新为服务网格带来全新体验【直播时间】2023年11月22日 17:00-18:30【直播专家】吴长冶 华为云云原生DTSE技术布道师、华为云云原生技术专家 Kmesh项目负责人【直播简介】传统服务网格代理架构带来数据面的时延开销,无法满足应用SLA诉求,Kmesh为服务网格开启架构创新全新体验!通过将 L4、L7流量治理能力卸载到内核, Kmesh实现内核级云原生流量治理框架,使得服务转发性能分别提升 50%、60%,底噪开销降低 70%,为用户构建服务网格架构高性能方案!直播链接:cid:link_1活动介绍【互动方式】直播前您可以在本帖留下您疑惑的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流。我们会在全部活动结束后对参与互动的用户进行评选。【活动时间】即日起—2023年11月23日【奖励说明】评奖规则:活动1:直播期间在直播间提出与直播内容相关的问题,对专家评选为优质问题的开发者进行奖励。奖品:华为云定制长袖卫衣活动2:在本帖提出与直播内容相关的问题,由专家在所有互动贴中选出最优问题贴的开发者进行奖励。奖品:华为云定制按摩枕更多直播活动直播互动有礼:官网直播间发口令“华为云 DTSE”抽华为云定制钢笔礼盒、填写问卷抽华为云定制鼠标等好礼【注意事项】1、所有参与活动的问题,如发现为复用他人内容或直播间中重复内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年11月24日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [分享交流] 基于华为云的Spark集群环境搭建
    Hadoop集群搭建1、环境配置本文搭建Hadoop平台,在master主机的/usr/local目录下新建hadoop文件夹,将下载好的hadoop压缩包上传到该文件夹中,使用如下命令进行解压:# cd /usr/local/hadoop# tar -zxvf hadoop-2.7.1.tar.gz修改配置文件/etc/profile,添加如下配置:export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin输入命令使配置文件生效:# source /etc/profile2、修改相关文件修改master主机中Hadoop的如下配置文件,这些配置文件都位于/usr/local/hadoop/hadoop-2.7.1/etc/hadoop目录下。修改slaves文件,这里让master节点主机仅作为NameNode节点使用。slave01slave02修改hadoop-env.sh export JAVA_HOME项:export JAVA_HOME=/usr/local/java/jdk1.8.0_202修改core-site.xml:<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/hadoop-2.7.1/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property></configuration>修改hdfs-site.xml:<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.http-address</name> <value>master:50070</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop-2.7.1/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop-2.7.1/hdfs/data</value> </property> </configuration>修改mapred-site.xml:将mapred-site.xml.template文件内容复制到mapred-site.xml,再修改mapred-site.xml文件。相关命令和修改内容如下:# cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop# cp mapred-site.xml.template mapred-site.xml<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>修改yarn-site.xml:<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property></configuration>3、slave节点配置Hadoop通过如下命令将master主机的hadoop目录拷贝给slave01和slave02。# scp -r /usr/local/hadoop/ root@slave01:/usr/local/hadoop/# scp -r /usr/local/hadoop/ root@slave02:/usr/local/hadoop/再配置/etc/profile文件中Hadoop相关环境变量即可。4、启动Hadoop集群在master主机中输入如下命令即可启动Hadoop集群:# cd /usr/local/hadoop/hadoop-2.7.1# bin/hdfs namenode -format# sbin/start-all.sh注:关闭Hadoop集群命令如下,尽量保证服务有开就有停,可以避免很多问题出现。# sbin/stop-all.sh5、查看Hadoop管理页面浏览器输入http://master公网IP:50070即可访问到如下Hadoop管理页面。
  • [课程学习] 华为云MindSpore小归纳
     MindSpore是华为云开发的开源AI计算框架,它支持端到端的训练和推理,具有高性能、高灵活性和易用性。它采用了自动并行和自动微分等关键技术,使得开发者能够更轻松地构建和部署各种深度学习模型。 MindSpore支持多种硬件平台,包括CPU、GPU和Ascend AI处理器。它提供了一套统一的API接口,使得开发者可以在不同的硬件平台上无缝切换和部署模型,从而充分利用各种硬件设备的计算能力。 MindSpore的关键技术之一是自动并行。它通过自动识别和分析模型中的数据依赖关系,自动生成并行计算图,实现模型的高效并行计算。这使得开发者能够更好地利用多GPU和分布式环境下的计算资源,加速训练过程。 另一个关键技术是自动微分。MindSpore能够自动计算模型的梯度,从而支持各种优化算法和训练策略。开发者只需要定义模型的前向计算过程,MindSpore会自动构建计算图并进行反向传播,计算模型参数的梯度,简化了模型训练的过程。 在实践中,使用MindSpore进行模型训练和推理可以采用图模式或者命令式编程模式。图模式适用于静态计算图的场景,可以实现更高效的并行计算。而命令式编程模式更灵活,适用于动态计算图的场景,方便开发者进行实时调试和交互式开发。
  • [云实验室] 基于华为云自动学习的垃圾分类图像识别系统
    一、简介本项目主要运用华为云 EI 的 ModelArts 的自动学习以及云对象存储的 OBS,实现简单的垃圾分类系统。二、内容描述本垃圾分类图像识别系统主要通过创建图像分类自动学习项目,进行数据标注,进行自动训练和部署测试,再到最后的结束测试。 三、主要流程四、图像分类任务介绍ModelArts 服务之自动学习图像分类项目,是对图像进行检测分类。添加图片并对图像进行分类标注,每个分类识别一种类型的图像。完成图片标注后开始自动训练,即可快速生成图像分类模型。可应用于商品的自动识别、运输车辆种类识别和残次品的自动检测。例如质量检查的场景,则可以上传产品图片,将图片标注“合格”、“不合格”,通过训练部署模型,实现产品的质检。五、系统创建1、创建项目2、添加图片3、数据标注进行“一次性快餐盒-其他垃圾” 的数据标注。 先将左下角的数字选择为 45, 点击图片选择同类的图片(一次可以选择一张或者多张),在标签名栏填写当前选择图片的标签(已有的标签可以直接选择) , 输入标签名, 点击确定。4、自动训练5、部署测试预测结果:
总条数:61 到第
上滑加载中