-
### 1、大作业1题目如下:开发DVPP应用,输入,输出都是JPEG图片,且分辨率不同。 根据作业提示,转换的思路如下: 原始JPEG图片->JPEG解码->YUV Resize->JPEGE->保存JPEG图片 这些应该使用dvpp技术,在device端进行转换。其流程应满足dvpp的流程设计和编码方式。 下面看看如何实战。 实现JPEG图片解码-缩放-编码的过程应该使用dvpp技术,在device端进行转换,其流程满足dvpp的流程设计和编码方式 ### 2、sample参考 根据学习的内容,原来的sample仓里面,包含三个JPEGD、VPC Resize、JPEGE单独的样例: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648563403131586334.png) #### 2.1 JPEGD 解码 输入JPEG图片,解码为YUV420格式,保存为yuv格式的文件,sample运行截图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648563678386330418.png) #### 2.2 VPC Resize 输入YUV图片,根据Resize的尺寸,保存resize之后的YUV图片,sample运行截图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648563747280783128.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648563777994982732.png) #### 2.3 JPEGE 编码 输入yuv图片,调用编码接口,保存JPEG图片,sample运行截图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648563850072674011.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648563876638695793.png) ### 3、JPEGD + VPC Resize + JPEGE串联 根据学习的内容,按照以下思路将完整的功能串联在一起输出代码,实现内存的复用,JPEGD解码后的YUV输出内存给到VPC Resize,Resize之后的内存给到JPEGE,编码之后根据内存输出地址和Buffersize,写文件图片即可。 下面废话不多说,直接上关键实现代码,完整代码请看作业贴回复附件。 #### 3.1.JPEG图片解码 主要接口: acldvppJpegDecodeAsync异步接口进行解码 代码实现: //##执行异步解码 ret = acldvppJpegDecodeAsync(dvppChannelDesc_, inDevBuffer_, inDevBufferSize_, decodeOutputDesc_, stream_); if (ret != ACL_SUCCESS) { ERROR_LOG("acldvppJpegDecodeAsync failed, ret = %d", ret); return FAILED; } ret = aclrtSynchronizeStream(stream_); if (ret != ACL_SUCCESS) { ERROR_LOG("aclrtSynchronizeStream failed"); return FAILED; } #### 3.2. VPC Resize acldvppCreateResizeConfig缩放配置接口 acldvppVpcResizeAsync异步接口,将输入图片缩放到输出图片大小,输出大小这里设置为640*480,可以自行修改。 代码实现: acldvppResizeConfig *resizeConfig_ = acldvppCreateResizeConfig(); uint32_t modelInputWidth = 640; uint32_t modelInputHeight = 480; uint32_t sizeAlignment = 3; uint32_t sizeNum = 2; acldvppPicDesc *vpcOutputDesc_ = acldvppCreatePicDesc(); void *vpcOutBufferDev_ = nullptr; acldvppSetPicDescData(vpcOutputDesc_, vpcOutBufferDev_); acldvppSetPicDescFormat(vpcOutputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(vpcOutputDesc_, modelInputWidth); acldvppSetPicDescHeight(vpcOutputDesc_, modelInputHeight); acldvppSetPicDescWidthStride(vpcOutputDesc_, resizeOutWidthStride); acldvppSetPicDescHeightStride(vpcOutputDesc_, resizeOutHeightStride); acldvppSetPicDescSize(vpcOutputDesc_, vpcOutBufferSize_); ret = acldvppVpcResizeAsync(dvppChannelDesc_, decodeOutputDesc_, vpcOutputDesc_, resizeConfig_, stream_); #### 3.3. JPEGE编码 主要接口: acldvppCreateJpegeConfig创建图片编码配置数据 acldvppJpegEncodeAsync异步编码 代码实现: uint32_t encodeLevel = 100; // default optimal level (0-100) acldvppJpegeConfig *jpegeConfig_; void* encode_out_buffer_dev_; jpegeConfig_ = acldvppCreateJpegeConfig(); //call Asynchronous api aclRet = acldvppJpegEncodeAsync(dvppChannelDesc_, vpcOutputDesc_, encode_out_buffer_dev_, &encode_outbuffer_size_, jpegeConfig_, stream_); #### 3.4. 保存JPEG图片 根据编码输出内存地址和Buffersize,写入到JPEG图片: ``` int dir_tail_index = image_path.find("/data"); std::string outfile_dir = image_path.substr(0, dir_tail_index) + "/" + "out/output/"; std::string outfile_path = outfile_dir + image_path.substr(dir_tail_index+5+1, image_path.rfind(".jpg")-dir_tail_index-5-1) + "_jpege_" + std::to_string(modelInputWidth) + "_" + std::to_string(modelInputHeight) + ".jpg"; INFO_LOG("outfile_path=%s", outfile_path.c_str()); ret = save_dvpp_outputdata(outfile_path.c_str(), encode_out_buffer_dev_, encode_outbuffer_size_); if (ret != SUCCESS) { ERROR_LOG("save dvpp output data failed"); // allow not return } ``` #### 3.5. 运行效果 **编译:** ``` cd jpegd_resize_jpede/ cd scripts/ bash sample_build.sh ``` **编译Log:** ``` bash sample_build.sh ../../../../../common [INFO] Sample preparation please input TargetKernel? [arm/x86]:x86 [INFO] input is normal, start preparation. -- The C compiler identification is GNU 7.5.0 -- The CXX compiler identification is GNU 7.5.0 -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Check for working C compiler: /usr/bin/cc - skipped -- Detecting C compile features -- Detecting C compile features - done -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Check for working CXX compiler: /usr/bin/g++ - skipped -- Detecting CXX compile features -- Detecting CXX compile features - done -- Configuring done -- Generating done -- Build files have been written to: /home/gitee/samples/cplusplus/level2_simple_inference/0_data_process/jpegd_resize_jpede/build/intermediates/host Scanning dependencies of target main [ 50%] Building CXX object CMakeFiles/main.dir/main.cpp.o [100%] Linking CXX executable /home/gitee/samples/cplusplus/level2_simple_inference/0_data_process/jpegd_resize_jpede/out/main ``` **运行:** ``` bash sample_run.sh ``` **运行Log:** ``` [INFO] The sample starts to run [INFO] acl init success [INFO] open device 0 success [INFO] create stream success [INFO] start to process picture:../data/dog1_1024_683.jpg [INFO] get jpeg image info successed, width=1024, height=683, format=2, jpegDecodeSize=0 [INFO] dvpp init resource success [INFO] VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800 [INFO] Call acldvppCreateJpegeConfig success [INFO] Call acldvppJpegEncodeAsync success [INFO] outfile_path=../out/output/dog1_1024_683_jpege_640_480.jpg [INFO] end to destroy stream [INFO] end to destroy context [INFO] end to reset device is 0 [INFO] end to finalize acl [INFO] execute sample success [INFO] The program runs successfully, please view the result file in the /home/gitee/samples/cplusplus/level2_simple_inference/0_data_process/jpegd_resize_jpede/scripts/../out/output directory! ``` **输出Resize之后的图片:** ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/29/1648564668280810840.png) **完美符合预期!!!**
-
提示:如需免费体验,需要在ROMA Lab中申请体验环境后,在环境中创建实例。 一、申请ROMA Connect实例 1.RomaConnect产品申请体验地址:https://console.huaweicloud.com/romalab/?region=cn-north-4#/product/detail?labObjectId=4d414e2b-190f-4e6a-8e83-decd7b8061e5 2.点击功能体验,如下图: 3.如果出现授权提醒,点击同意授权。 4.在弹出窗口中填写申请信息,如下图: 5.提交后,系统会自动发送审批邮件,等待审批。若1-3个工作日会审批通过;若未审批,请点击Console界面右上角“工单”按钮申请。 6.审批通过后,再次点击功能体验按钮,进入环境。也可以点此链接查看已有环境:https://console.huaweicloud.com/romalab/?region=cn-north-4#/profile/environment 7.申请产品环境并激活后,会弹出激活资源窗口,生成ROMA Connect实例。无需在ROMA Connect页面手动申请。 备注:①如果没有虚拟公/私有云,点击激活窗口中的“进入控制台” ②点击右上角的“创建虚拟私有云” ③点击“立即创建”,免费创建虚拟私有云。 ④创建完成后,返回ROMA Lab激活资源窗口,点击刷新按钮,即可选择刚才创建的VPC。 8.创建Connect实例大约需要10分钟。可以到ROMA Connect页面查看创建状态。 ROMA Connect网址:https://console.huaweicloud.com/roma/?region=cn-north-4#/roma/overview 二、 延期ROMA Connect实例 ROMA Lab环境到期后,环境和实例会自动释放。如需继续体验,为避免资料遗失,请及时申请延期。 申请方式:在环境页面的右上角点击“延期”,1-3个工作日通过审批。 三、其他说明 1.子账号不可申请ROMA Lab体验。 2.目前仅能在华北-北京四创建免费试用ROMA Connect实例;如果VPC所在区域非北京四,则在激活资源页面无法获取到对应的VPC,请在北京四中创建VPC后再激活资源。 3.若需要更换实例所在VPC,点击环境中资源的“删除”按钮,将ROMA Connect实例删除,再次点击“添加资源”,创建ROMA Connect实例,在添加资源中选择目标VPC。 四、创建实例失败的解决办法 若在环境页面出现激活失败的提示,请排查原因(例如:账号下已有ROMA Connect实例/账号欠费)后,点击环境中资源的“删除”按钮,将ROMA Connect实例创建任务删除,再次点击“添加资源”,创建ROMA Connect实例。 五、偶现白屏问题的解决办法 偶现用户点击功能体验时,跳转页面白屏,为Lab未能成功创建体验角色所致。临时解决办法:进入任意一个产品页面(如智慧防汛:https://console.huaweicloud.com/romalab/?region=cn-north-4#/industry/detail?labObjectId=9173fb3d-41d5-4d5b-9ace-ed74a055b671 )点击功能体验,提交申请后,用户即创建成功,可以继续使用ROMA Connect。
-
>摘要:使用华为云云服务云连接CC、VPC终端节点VPCEP2.0以及obsutil工具,实现跨Region内网复制OBS数据 # 目录 >方案背景 >迁移方案 >迁移过程 >>创建目标端OBS并配置Vpcep >>云连接打通VPC >>安装并配置obsutil >>数据复制 >实践总结 ## 1.方案背景 业务系统跨region迁移,需要将OBS桶上的业务数据迁移到新region 。由于OBS数据涉及到用户敏感信息,希望通过内网方式实现OBS的数据迁移。此迁移方式适用于迁移数据量小,且可短时间停止业务的系统。 ## 2.迁移方案 ![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647915037799637553.png) - 使用华为云云连接服务打通上海一和广州的两个region的VPC - OBS1 为源端OBS,OBS2 为目标端OBS - 使用 Vpcep 为OBS2 提供内网访问节点 - 使用 obsutil 实现 OBS1 数据复制到 OBS2 ## 迁移过程 ### 创建目标端OBS02并配置Vpcep - 上海一创建 vpc02 (网段为 1772.16.0.0/16) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647915976060264682.png) - 创建目标端桶 obs2 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916708790768897.png) - 创建Vpcep,虚拟私有云选择 vpc02,服务名称需要提工单获取 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916867749574202.png) ### 云连接打通VPC - 创建云连接实例 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916400628900232.png) - 配置云连接网络实例 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917942397909834.png) - 配置带宽包 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917321881129054.png) - 从vpc02 路由表查看 VPCEP 的解析地址 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917811165363012.png) - 将获取到的地址添加到云连接的路由 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647918217645754537.png) ### 安装并配置obsutil - 安装obsutil,参考链接:[https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html](https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html) - 配置obsutil ```shell ./obsutil config -i="ak" -k="sk" -e="obs1 Endpoint" -crr ./obsutil config -i="ak" -k="sk" -e="obs2 Endpoint" ``` Endpoint 获取,参考链接:[https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html](https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html) 卡斯柯 获取,参考链接:[https://support.huaweicloud.com/qs-obs/obs_qs_0005.html](https://support.huaweicloud.com/qs-obs/obs_qs_0005.html) ### 数据复制 - 执行命令进行复制 ```shell ./obsutil cp obs://obs1 obs://obs2 -f -r -crr -u ( -j=100 –p=100 ) ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647923546807581903.png) ## 方案总结 - 迁移过程中,需要设置两个VPC的入方向规则(建议设置好源IP开放所有端口),确保两个VPC的通信正常 - 迁移过程中,迁移速度受云连建带宽包的限制,建议按照实际需要购买带宽包,确保迁移舒服 - obsutil 第一次复制默认为全量复制,后续的复制均为增量复制
-
云端专属网络:每个虚拟私有云代表一个私有网络,与其他VPC逻辑隔离,您可以将业务系统部署在华为云上,构建云上私有网络环境。如果您有多个业务系统例如生产环境和测试环境要严格进行隔离,那么可以使用多个虚拟私有云进行业务隔离。当有互相通信的需求时,可以在两个虚拟私有云之间建立对等连接。Web应用或网站托管:在虚拟私有云中托管Web应用或网站,可以像使用普通网络一样使用虚拟私有云。通过弹性公网IP或NAT网关连接弹性云服务器与Internet,运行弹性云服务器上部署的Web应用程序。同时结合弹性负载均衡ELB服务,您可以将来自Internet的流量均衡分配到不同的弹性云服务器上。Web应用访问控制:将多层Web应用划分到不同的安全域中,按需在各个安全域中设置访问控制策略,可以通过创建一个虚拟私有云,将Web服务器和数据库服务器划分到不同的安全组中。Web服务器所在的子网实现互联网访问,而数据库服务器只能通过内网访问,保护数据库服务器的安全,满足高安全场景。云上VPC连接:对于相同或者不同区域下的虚拟私有云需要互通连接时,可通过如下云产品实现。混合云部署:对于自建本地数据中心(IDC)的用户,由于利旧和平滑演进的原因,并非所有的业务都能放置在云上,这个时候就可以通过如下产品构建混合云,实现云上虚拟私有云与云下IDC之间的互连。
-
一、VPC简介 VPC全称是Virtual Private Cloud,翻译成中文是虚拟私有云。VPC究竟是指云还是网络?答案是,VPC即是一种云(服务角度),也是一种网络模式(技术角度:用户专属的二层网络);本文主要从服务角度认识一下VPC。 从服务的角度来看,VPC指的是一种云(Cloud)。对于基础架构服务(IaaS),云就是指资源池。我们听到的公有云(Public Cloud)、私有云(Private Cloud)、混合云(Hybrid Cloud),而VPC不属于这三种云中任一种。这是一种运行在公有云上,将一部分公有云资源为某个用户隔离出来,给这个用户私有使用的资源的集合。VPC是这么一种云,它由公有云管理,运行在公共资源上,但是保证每个用户之间的资源是隔离,用户在使用的时候不受其他用户的影响,感觉像是在使用自己的私有云一样。 VPC硬件租用模式(Hardware Tenancy)本身也是公有云提供的一种服务模式。VPC的硬件租用模式有两种,一种是共享(shared),一种是专属(dedicated)。共享是指VPC中的虚拟机运行在共享的硬件资源上,不同VPC中的虚拟机通过VPC进行隔离。专属是指VPC中的虚拟机运行在专属的硬件资源上,不同VPC中的虚拟机在物理上就是隔离的,同时VPC帮助实现网络上的隔离。专属模式相当于用户直接向公有云服务商租用物理主机。专属模式适合那些对于数据安全比较敏感的用户,不过这些物理主机还是由公有云服务商管理。不论是共享模式还是专属模式,VPC都运行在公有云资源上,由公有云服务商管理。二、共享VPC 什么是共享VPC 共享VPC是在原有VPC资源划分的基础上,为解决VPC资源无法跨VDC共享使用的问题,通过管理员授权给其他用户的方式,实现网络资源跨VDC共享的方案。共享VPC的管理员创建VPC和子网并给下级VDC授予访问VPC中网络的权限,共享VPC的用户可以使用这些VPC,达到跨VDC的用户使用同一VPC的能力,使网络资源合理共享,实现更加灵活方便的管理和监控。 应用场景 用户需要在平台实现网络资源的统一管理,简化用户网络管理流程,提升管理效率。 共享VPC管理员管理整个网络资源,包括安全组、QoS、虚拟防火墙、SNAT、VPN、云专线和弹性负载均衡等,用户只需要将ECS/BMS/AS的网卡挂载在共享VPC的子网中,并添加简单的安全组配置。VDC2的用户在Project2中创建了VPC资源,可以共享给VDC1的用户,同时为VDC1中的用户限定使用Project2中资源的权限。 共享VPC的创建使用在Service OM界面开启CCS全局开关配置 登录到运维面,找到Service OM入口,点击进入进入Service OM界面,点击系统->系统管理->Region, 查看管理员鉴权模式是否为启用状态,如果没有启用,点击配置设置为启用创建两个VDC前提是已经有一个一级VDC管理员账号,用该账号创建两个下级VDC,分别用于网络部门和IT部门,二级VDC管理员分别为:网络管理员net_vdc,IT管理员it_vdc点击系统->资源集管理,点击创建资源集, 订阅EI和PaaS服务开关关闭,选择所属的VDC,打开共享VPC开关,如下图所示, NetProject资源集所属net_vdc,ItProject所属it_vdcit_vdc管理员关联NetProject资源集点击it_vdc->用户组->VDC管理员->权限配置->用户权限管理->加入资源集,在加入资源集弹框选择全部项目,将资源集NetProject加入到it_vdc资源集合中(也就是给it_vdc共享NetProject)申请VPC和子网以网络管理员net_vdc登录,申请私有云和子网在it_vdc中用net_vdc中NetProject中的VPC和子网创建资源栈。
-
【功能模块】基于Caffe ResNet-50网络(单输入、单batch)实现图片分类的功能https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/1_classification/vpc_resnet50_imagenet_classification#%E5%8A%9F%E8%83%BD%E6%8F%8F%E8%BF%B0【操作步骤&问题现象】1、python3 ./src/acl_sample.py2、ImportError: /usr/local/Ascend/ascend-toolkit/latest/pyACL/python/site-packages/acl/acl.so: undefined symbol: aclprofCreateStepInfo【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
本贴用于答疑《华为云服务集成验证团队2021年Q1赋能课程》中学员产生的问题,课程链接如下:云服务集成架构介绍:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS045+Self-paced/aboutROMA常用集成最佳实践:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS046+Self-paced/aboutIoT常用集成最佳实践:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS047+Self-paced/aboutCDM常用集成最佳实践:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS048+Self-paced/aboutDRS常用集成最佳实践:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS049+Self-paced/about云服务集成最佳实践考试:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNPS050+Self-paced/about沙箱实验:基于IoT平台构建智慧路灯应用:https://lab.huaweicloud.com/testdetail_459沙箱实验:MySQL本地数据库迁移:https://lab.huaweicloud.com/testdetail_290沙箱实验:使用CDM将CSV文件迁移至RDS:https://lab.huaweicloud.com/testdetail_556沙箱实验:使用DRS实现数据实时同步:https://lab.huaweicloud.com/testdetail_562沙箱实验:通过CDM同步数据到MRS Hive:https://lab.huaweicloud.com/testdetail_561本贴将长期保持更新,持续答疑学员在课程实操中遇到的问题。Q:获取华为云帐号的方法?A:登录华为云控制台(https://console.huaweicloud.com),点击右上角帐号进入帐号中心,在基本信息下的帐号名即为你要提供的帐号名Q:进入课程后,页面提示“该课程只能通过邀请选修”,怎么处理?A:需要提供华为云账号给我们在后台给帐号添加白名单。(1)将自己的华为云账号(获取方法见上一条)发到赋能群并@李路平。(2)激活自己的华为云账号:登录华为云学院官网(https://edu.huaweicloud.com),随便选择一门课程进行学习(不需要学完)即可。Q:如何查看本次赋能在线考试题目的答案?A:考试题目来源于视频课程,产品官网,不会有超纲内容。为防止学员之间互传答案、刷题等现象,降低赋能效果,本考试不提供考题的答案。Q: 沙箱实验每个人有几次机会?A:沙箱实验每个账号每天有一次实验机会Q:沙箱实验做完了,验证结果也是正常的,但是实验进度未显示100%,怎么处理?A:在确认手册中的操作内容操作完后,尝试在实验手册页面把滚动条上下多拖动动几次,待页面弹出“恭喜您,您已完成本次实验”提示框后,评论完点击右上角“结束实验”即可。Q:选择VPC和安全组时,没有实验手册中描述的VPC或安全组A:部分云资源是在实验开始前点击预置按钮后自动创建的,可点击实验手册顶部的预置按钮Q:在做沙箱实验时,开始实验按钮是灰色的,无法开始实验A:检查账号是否进行了实名验证;重启下浏览器尝试重新登录。Q:在线课程视频看完后进度显示不为100%A:在线课程包括视频+PPT文档+最佳实践文档,需要将以上都看完进度才会达到100%Q:结束实验以后重新进入实验,剩余时间不为100%A:(1)先确认上一次是否有点击结束实验,如果没有就点击结束实验再重新进入实验。(2)若已经点击过结束实验,则等时间耗完,实验自动结束后重新进入实验,不影响当日的实验名额Q:购买资源时提示没有权限A:(1)检查区域是否在北京四;(2)检查是否选择了按需购买Q:基于IoT平台构建智慧路灯应用的沙箱实验中,3.1步中购买ECS发现t6.small.1规格的服务器售罄怎么办?A:如t6.small.1规格的云服务器已售罄,选择通用入门型的【t6.medium.2】,或通用计算型下的【s6.small.1】/【s6.medium.2】均可Q:基于IoT平台构建智慧路灯应用的沙箱实验中,3.2割接业务命令窗口链接不上A:在实验中命令行窗口登录ECS后,一段时间不进行操作就会退出登录,需要重新登录ECS后再执行相应的命令,登录方法参考2.2步中的登录云服务器操作Q:基于IoT平台构建智慧路灯应用的沙箱实验中,设备注册不成功A:检查输入的参数是否带空格,IAM账号是否正确Q:基于IoT平台构建智慧路灯应用的沙箱实验中,1.3.3执行项目构建失败A:(1)检查步骤1.2.3的②是否选择了gitnore:Java;(2)1.3.1的③节是否选择了master分支,源码源是否选择了DevCloud;(3)1.3.2的模板是否选择了MavenQ:通过CDM同步数据到MRS Hive实验中,3.3步创建目标端连接时,Hive连通性失败A:(1)确认MRS集群和CDM集群是否在同一个VPC,如果不是,需要重新创建CDM集群(2)确认一下MRS和CDM是否在同一个安全组,若不在通一个安全组,进入MRS所在安全组的详情页面(https://console.huaweicloud.com/vpc/?region=cn-north-4#/secGroups,mrs开头的安全组),添加入方向规则>添加CDM实例所在安全组(Sanbox开头的安全组)Q:《使用CDM将CSV文件迁移至RDS》实验中,创建MySQL连接时测试不通A:检查CDM和连接端的云资源实例的VPC和安全组是否和实验手册的要求一致,若不在同一个VPC,需重新购买CDM,不在同一个安全组,按上一个Q&A的方式给CDM所在的安全组添加安全组规则。Q:是否能添加试验点数?A:沙箱实验每天有一次免费机会,如需在当天再次做相同的实验,需要购买实验点数,购买链接:https://marketplace.huaweicloud.com/hidden/contents/21805071-54e1-40c9-8df0-b7957b163773Q:截图上传失败怎么办?A:可以将截图打包发邮件给:liluping8@huawei.com
-
【问题现象】:MRS310版本集群,在ecs侧将所有节点的vpc切换后集群状态异常所有服务不可用,其中Hive beeline报错如下:【问题分析】:MRS不支持切换vpc,切换vpc后,节点的内网ip变化,但是配置文件里面和数据库里面的ip还是原来的,导致集群通信等功能异常,集群状态也会异常,所以要恢复集群,就需要将节点切回到原来的VPC且ip和hosts文件中的ip主机映射一一对应。【解决方案】:1.登录master1节点,ifconfig可以看到切换vpc之后ip是192.x.x.x,cat /etc/hosts文件,里面记录的ip是切换vpc之前的10.x.x.x。MRS控制台节点管理里面,节点的ip是从数据库查询出来的也是10.x.x.x。2.在MRS集群概览页面确认集群的vpc名称3.在ecs控制台,通过mrs集群id搜索集群的所有节点,参考图示步骤,切换节点vpc,每个节点都需要操作4.切换vpc时,虚拟私有云,子网,安全组需要和集群初始的配置一致(可在mrs集群概览页面进行查看),私有IP地址选择现在创建,填写为集群中/etc/hosts文件中对应节点的ip,如下图:5.切换成功后需要在节点的弹性网卡中重启一下“源/目的检查”按钮。6.待节点vpc全部切换成功后,发现manager页面无法访问,公网ip地址也无法ping通,是因为切换vpc后集群的浮动ip被强制解绑,所以公网ip和浮动ip不指向任何ecs,需要在vpc控制台将虚拟ip重新绑定到集群的两个master节点上,步骤如下:① 确认mrs集群浮动ip在mrs manager概览页面,点击前往manager右边的切换访问Manager方式的图标选择专线访问,即可查看集群浮动ip② 在vpc控制台,搜索mrs集群的子网,点击子网名称即可进入详情页面,然后点击IP地址管理,如下图,确认mrs集群浮动ip绑定的实例为空③ 点击绑定实例,分别选择两个master节点,绑定成功后如下图:7.等待集群恢复即可。
-
虚拟私有云(Virtual Private Cloud,以下简称VPC),为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络,进行安全、快捷的网络变更。同时,用户可以自定义安全组内与组间弹性云服务器的访问规则,加强弹性云服务器的安全保护。VPC使用网络虚拟化技术,通过链路冗余,分布式网关集群,多AZ部署等多种技术,保障网络的安全、稳定、高可用。
-
1. VPC简介私有网络Virtual Private Cloud (VPC)是用户构建的专属网络空间,云上的资源可以部署到虚拟网络中,和数据中心中运行的传统网络极其相似。不同私有网络间完全逻辑隔离。用户可以自定义网络环境、包括选择自己的 IP 地址范围、创建子网以及配置路由表和网络网关等,同时私有网络支持多种方式连接 Internet、连接其他 VPC、连接本地数据中心。1.1 VPC相关基本概念VPC CIDR: 无类别域间路由(Classless Inter-Domain Routing、CIDR)是一个用于给用户分配IP地址以及在互联网上有效地路由IP数据包的对IP地址进行归类的方法。云厂商VPC的cidr 一般要求为RFC 1918中指定的私有 (非公有可路由) IP 地址范围。同时云厂商也支持IPV6的网络地址。为了限制私有网络的IP规模,一般是支持16为的地址,例如10.0.0.0/16 或 192.168.0.0/16,为了扩大单个VPC空间的IP数目,部分云厂商支持一个VPC多个CIDR的功能,如下图,VPC从10.0.0.0/16,扩展为10.0.0.0/16和10.0.2.0/16。子网:VPC 内的一个 IP 地址范围,子网一般从VPC CIDR内分配subnet CIDR,例如VPC的CIDR为10.0.0.0/16 ,分配给子网为10.0.0.0/24,10.0.1.0/24.弹性网络接口:IP 地址使 VPC 中的资源能够相互通信以及与 Internet 上的资源进行通信。VPC 中的每个实例都有一个默认网络接口 (主网络接口),系统会为该接口在 VPC 的 IPv4 地址范围内指定一个私有 IPv4 地址。一般情况,用户无法从实例(eg. 子机)断开主网络接口,但可以创建其他网络接口并将其挂载至VPC 中的任何实例,当将一个网络接口从一个实例移动到另一个实例时,网络流量也会重导向到新的实例。在VPC的实例中包括如下的虚拟网络接口,一个主要私有 IPv4 地址一个或多个辅助私有 IPv4 地址每个私有 IPv4 地址一个弹性 IP 地址一个公有 IPv4 地址,可在启动实例时自动分配给 eth0 的网络接口一个或多个 IPv6 地址一个或多个安全组MAC 地址路由表:一组称为“路由”的规则,它们用于确定将网络流量发送到何处。每个子网都必须关联一个路由表,这个路由表可指定允许出站流量离开子网的可用路由,每个子网都会自动关联 VPC 的主路由表。网络网关:连接到 VPC 的网关,用于启用 VPC 中的资源与互联网之间的通信。例如互联网网关、NAT 设备连接VPC和互联网、VPN 连接或 Direct Connect 连接是连接VPC和用户的本地网络。VPC 终端节点(endpoint): 将 VPC 私密地连接到支持的云服务和 VPC 终端节点服务(由 PrivateLink 提供支持),而无需互联网网关、NAT 设备、VPN 连接或 Direct Connect 连接。VPC 中的实例无需公有IP 地址便可与服务中的资源通信。1.2 其他相关基本概念Region:区域或者大区,之间相互隔离,实现最大程度的容错能力和稳定性。Availability Zones:每个区域都有多个相互隔离的位置,称为可用区。当启动实例时,用户可以自己选择一个可用区。如果实例分布在多个可用区且其中的某个实例发生故障,则可对应用程序进行相应设计,以使另一可用区中的实例可代为处理相关请求。Local Zones:目前AWS支持Local Zones。本地区域是在地理上靠近用户的 AWS 区域的扩展。本地区域 拥有自己的 Internet 连接并支持 AWS Direct Connect,因此在 本地区域中创建的资源可以为本地用户提供超低延迟的通信。Wavelength Zones:目前AWS支持 Wavelength Zones。利用 AWS Wavelength,开发人员可以为移动设备和最终用户打造具有超低延迟的应用程序。Wavelength 可以将 AWS 标准计算和存储服务部署到电信运营商的 5G 网络边缘。开发人员可以将 Virtual Private Cloud (VPC) 扩展到一个或多个 Wavelength 区域,然后使用 Amazon EC2 实例等 AWS 资源来运行需要超低延迟并连接到区域中的 AWS 服务的应用程序。2 VPC通信场景本章节主要介绍VPC的通信的场景。2.1 VPC内部互通默认情况下,同VPC下的子网的子机是可以互通。例如VPC的10.0.0.0/16的子网10.0.0.0/24,10.0.1.0/24关联的路由表会有一个目的网段为10.0.0.0/16, Target为Local的路由策略。2.2 VPC间互通2.2.1 对等连接VPC 对等连接是两个 VPC 之间的网络连接,通过此连接,用户可以使用私有 IPv4 地址或 IPv6 地址在两个 VPC 之间路由流量。这两个 VPC 中的实例可以彼此通信,就像它们在同一网络中一样。用户可以在自己的 VPC 之间创建 VPC 对等连接,或者在自己的 VPC 与其他账户中的 VPC 之间创建连接。VPC 可位于不同区域(Region)内。2.2.2 transit gateway或者云联网AWS的 transit gateway是网络中转中心,可用它来互连 Virtual Private Cloud (VPC) 和本地网络。阿里云类似的产品为云企业网,腾讯云类似的产品为云联网。每个 VPC 具有一个路由表,并且Transit Gateway具有一个路由表。vpc路由表每个 VPC 具有一个包含 2 个条目的路由表。第一个条目是 VPC 中本地 IPv4 路由的默认条目;此条目允许此 VPC 中的实例相互通信。第二个条目将所有其他 IPv4 子网流量路由到Transit Gateway。2.3 访问Internet2.3.1 NAT网关公有子网中的实例可直接将出站流量发往 Internet,私有子网中的实例可使用位于公有子网中的网络地址转换 (NAT) 网关访问 Internet。例如,公有子网运行面向公众的 Web 应用程序,数据库服务器则位于私有子网之内和不想暴露后端服务,这样数据库服务器可以使用 NAT 网关连接到 Internet 进行软件更新,但 Internet 不能建立到数据库服务器的连接。2.4 访问本地网络2.4.1 VPN连接站点到站点VPN连接由云端的虚拟私有网关或中转网关与位于数据中心的客户网关设备之间的两条 VPN 隧道组成。客户网关设备是站点到站点VPN连接在用户这一端配置的实体设备或软件设备。2.4.2 专线接入Direct Connect 通过标准的以太网光纤电缆将用户的内部网络链接到 Direct Connect 位置。电缆的一端接到用户的路由器,另一端接到 Direct Connect 路由器。有了此连接以后,用户就可以创建直接连接到云上服务,从而绕过网络路径中的 Internet 服务提供商。目前云厂商一般是支持两种接入,一种是用户直接连接到云厂商的专线接入点,另外一种是用户连接到云厂商的Partner,再由Partner连接到云厂商的专线接入点。2.4.3 SD_WAN接入服务SD-WAN 接入服务(SD-WAN Access Service)助力多分支轻松实现与云、数据中心的任意互联,具有即插即用、全球覆盖、智能管控等特性,为企业多分支提供更简单、可靠、智能的一站式的上云体验。AWS的SD-WAN是把合作伙伴的SD-WAN服务部署在VPC的机器中并且提供transit Gateway和云网络的其他实例互通,阿里云和腾讯云会单独的售卖SD-WAN设备。2.5 将本地网络扩展到云中2.5.1 将 VPC 资源扩展到本地扩展区把VPC的子网分配到local zone中,可以在靠近最终用户的地理位置运行各种云服务。本地区域具有本地 Internet 出入口,以降低延迟。本地区域还支持 Direct Connect,使用户有机会通过专用网络连接路由流量。2.5.2 将 VPC 资源扩展到Outposts中AWS Outposts 是一项完全托管的服务,可提供相同的云基础设施、云服务、API 和工具到几乎任何数据中心、主机托管空间或本地设施,以实现真正一致的混合体验。Outposts提供一套云的硬件和服务,对于私有网络VPC是分配子网到Outposts中,其中有两种互通模型,一种是专线接入,另外一种是提供internel互通。2.5.3 将 VPC 资源扩展到 Wavelength 区域Wavelength 可以将 AWS 标准计算和存储服务部署到电信运营商的 5G 网络边缘。开发人员可以将 Amazon Virtual Private Cloud (VPC) 扩展到一个或多个 Wavelength 区域,然后使用 Amazon Elastic Compute Cloud (EC2) 实例等 AWS 资源来运行需要超低延迟并连接到区域中的 AWS 服务的应用程序。2.6 PrivateLink 和 VPC endponitVPC 终端节点使用户能够将 VPC 私密地连接到支持的云服务和 VPC 终端节点服务(由PrivateLink 提供支持),而无需互联网网关、NAT 设备、VPN 连接或Direct Connect 连接。VPC 中的实例无需公有 IP 地址便可与服务中的资源通信。VPC 和其他服务之间的通信不会离开云网络。例如云服务商提供的DNS服务,可以不需要通过访问Internel的DNS服务,可以在云服务商的内部环境完成DNS服务的访问。2.6.1 VPC Endpoint通过VPC终端节点可在用户的 VPC 与云服务以及由 PrivateLink 支持的 VPC 终端节点服务之间建立私有连接。Interface endpoints:一个弹性网络接口,具有来自子网 IP 地址范围的私有 IP 地址,用作发送到受支持的服务的通信的入口点。2.6.2 PrivateLink服务提供方在 VPC 中创建自己的应用程序并将其配置为 PrivateLink 支持的服务(也称作终端节点服务)。其他用户可以使用接口VPC终端节点,在他们的 VPC 和你的终端节点服务之间创建连接。PrivateLink 服务提供商配置在其 VPC 中运行服务的实例,并以 Network Load Balancer 为前端。将区域内 VPC 对等连接(VPC 在同一区域中)和区域间 VPC 对等连接(VPC 在不同的区域中)与 PrivateLink 结合使用,可允许跨 VPC 对等连接对使用者进行私有访问。3. 云厂商VPC的对比对于VPC,主流的云厂商基本上的功能和实现类似。在VPC的连接方面,云厂商的基本功能也类似,细节有细微的产品,产品的能力有部分差异。3.1 私有网络的差别Google Cloud Platform(GCP)的私有网络和其他云厂商有差别。3.2 专线接入的差别国内的云厂商阿里云和腾讯云等会支持专线接入的静态路由和BGP动态路由,AWS只支持BGP动态路由。而专线接入也有是否支持NAT的差别。3.3 transit gateway或者云联网目前transit gateway是负责本地网络实例的连接和互通,跨地域需要借助transit gateway peering,而腾讯云的云联网,阿里云的云企业网可以支持不同地域的网络实例连接和互通。在路由控制方便,AWS的使用多路由表,控制粒度更细。3.4 SD-WAN接入服务AWS的SD-WAN是把合作伙伴的SD-WAN服务部署在VPC的机器中并且提供transit Gateway和云网络的其他实例互通,阿里云和腾讯云会单独的售卖SD-WAN设备。4. 总结和展望私有网络VPC作为IAAS层基础设施之一,类似高速公里或高铁的在国民经济的作用,一直在不断的追求高速上云,全球互联的愿景,而云上私有网络VPC的发展是云基础设施和服务不断的扩张和完善的真实写照。相信未来私有网络VPC也能继续的扩展新的应用场景和服务,助力云上和云下的服务的高效智能的互联互通。转载路径:https://mp.weixin.qq.com/s/8hAyV5RXRg7YA7YOLjIP0g
-
各位亲爱的华为云er:即日起填写VPC产品调研问卷,反馈您的使用体验及建议,即有机会获得2000码豆,可以兑换海量奖品,赶快行动起来吧!参与方式【步骤一】注册账号(如果已有华为云账号可跳过)1.1 进入VPC产品主页,点击“注册”按钮https://www.huaweicloud.com/product/vpc.html1.2 输入手机号,完成账号注册【步骤二】实名认证(如果已完成认证则可跳过)2.1 进入账号中心,点击实名认证 2.2 选择对应认证类型与认证方式,完成实名认证【步骤三】进入产品页面,试用与体验产品https://console.huaweicloud.com/vpc/?from=bbs#/vpcs 【步骤四】试用完成,反馈体验评价4.1 进入体验反馈入口 4.2 完成评分与评价,点击提交,完成体验反馈【步骤五】坐等码豆入账PS:如果您的建议或反馈提交后,码豆一般会在7个工作日内到账哦
-
Private NAT GW实验:实验目的:利用Private NAT GW来实现相同网段的两个VPC的互通。方法1是官方文档里面提到的方法,我补充了一些实验的截图.方法二是不使用临时VPC的方法。官方文档:https://support.huaweicloud.com/bestpractice-natgateway/privatenat_bestpractice_0003.html 方法1:使用临时VPC做流量转发拓扑图如下 Step1: 创建两个网段一模一样的VPC:创建一个VPC作为中转VPC:在这个VPC里面创建两个subnet来作为中转subnet:Step2:分别为两个VPC创建两个NAT GWStep3:创建两个中转子网,分别给两个NAT GW使用 Step4:设置中转IP,如果既使用SNAT又要使用DNAT,则每个中转subnet里面需要设置两个中转IPStep5:去NAT GW里面设置SNAT以及DNAT规则(请注意:使用非当前VPC的中转子网!) 创建DNAT的时候需要额外创建一个中转IP:同样的,给另一个NAT GW添加SNAT 以及DNAT规则 创建DNAT规则Step6:在NAT GW的VPC里面添加路由第一个vpc里面的路由第二个vpc里面的路由Step7:根据文档,要创建一个临时vnet并且与vpc_trans做peering,vpc_trans这边需要做一条0.0.0.0/0的路由到对端 实验结果:(1)10.0.0.130这台机器可以去ping通172.16.1.6这台机器(2)从10.0.0.130可以去RDP到172.16.1.6上。并且从10.0.0.249可以重新RDP到172.16.0.6上REF:https://support.huaweicloud.com/bestpractice-natgateway/privatenat_bestpractice_0003.html 方法二:不使用临时VPC实验拓扑如下:Step1到step6一样Step7:创建两个VPC Peering 1.vpc-trans和Manson_VPC_Shanghai1 2.vpn-trans和Manson_Shanghai_duplicate Step8:创建两个自定义路由表,这两个路由表分别与中转子网的两个subnet绑定。在这两个路由表里面添加指向10.0.0.0/16的路由,下一跳分别是peering1和peering2。针对peering1的路由添加针对peering2的路由添加 实验结果:(1)10.0.0.130这台机器可以去ping通172.16.1.6这台机器(2)从10.0.0.130可以去RDP到172.16.1.6上。并且从10.0.0.249可以重新RDP到172.16.0.6上
-
1. 管控面版本 : HCS 8.0.3 , 430版本。2. 问题现象: 创建集群失败,后台查询错误步骤为创建资源租户VPC的TASK失败,如下图所示。定位中发现日志报创建subnet失败,提交的创建请求中,dns值为0.0.0.0。3. 原因: DWS安装过程中,工步存在BUG,拿到的租户区dns为0.0.0.0,可在CDK的dns.address参数中查到。4. 解决方法: 去DMK的公共配置中查询g_tenant_dns参数,替换dwscontroller的CDK参数dns.address,升级后重启容器,再发放即可。
-
【功能模块】 atlas200模块中,https://bbs.huaweicloud.com/blogs/155499,dvpp硬件模块中提供了编解码等功能,且VPC模块也提供了色彩空间转换相关功能。但根据cann的使用手册,VPC的相关函数如yuv420sp和rgb转换等接口等还没有实现,给我们的使用带来的很大的困难。现在色彩空间转换我=我们都写代码在ctrl cpu实现,并不能调用dvpp模块。导致ctrl cpu存在性能瓶颈。 所以我想咨询一下,何时能够完成vpc等dvpp相关接口何时能够实现并推广。
上滑加载中
推荐直播
-
全面解析华为云EI-API服务:理论基础与实践应用指南
2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能,应用场景,实践案例,调用流程”四个维度来深入解析“语音交互API,文字识别API,自然语言处理API,图像识别API及图像搜索API”五大场景下API服务,同时结合实验,来加深开发者对API服务理解。
去报名 -
企业员工、应届毕业生、在读研究生共探项目实践
2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧,在线分享如何入门,以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析:理论基础与实践应用指南
2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型,管理全周期AI工作流呢?本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍,同时结合基于ModelArts 的实践性实验,帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签