• [其他] 自动学习生成的模型存储位置和其它支持操作
    模型统一管理针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“AI应用管理 > AI应用”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。注意:自动学习生成的模型,不支持下载使用。图1 自动学习生成的模型自动学习生成的模型,支持哪些其他操作支持部署为在线服务、批量服务或边缘服务。在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“AI应用管理> AI应用 ”页面中直接部署。支持发布至市场将产生的模型发布至AI Gallery,共享给其他用户。支持创建新版本创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。支持删除模型或其模型版本
  • [技术干货] 三大存储业务的不同点及适用场景
    SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景;NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问,利用FTP+TFTP协议进行上传下载,此外,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据、作为后端存储为客户打造的离线存储系统,性价比高…)维度对象存储服务云硬盘弹性文件服务概念提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。存储数据的逻辑存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。访问方式可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。使用场景如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。如高性能计算、企业核心集群应用、企业应用系统和开发测试等。如高性能计算、媒体处理、文件共享和内容管理和Web服务等。容量EB级别TB级别PB级别时延10ms亚毫秒级3~10msIOPS/TPS千万级单盘 128K单文件系统 10K带宽TB/s级别MB/s级别GB/s级别是否支持数据共享是是是是否支持远程访问是否是是否支持在线编辑否是是是否能单独使用是否是
  • [业务动态] 关于《华为云计算服务实践》等3个微认证正式上线的预通知
    尊敬的微认证客户:您好!为帮助您深入了解华为云产品,探索新的技术场景,我们非常高兴地与您分享一个好消息:由华为资深研发团队精心打磨,潜心研发的新微认证《华为云计算服务实践》、《华为云存储服务实践》、《华为云数据库服务实践》将于2021年10月27日正式上线!届时请进入华为云培训中心-微认证-云计算查看产品详情,体验使用,我们非常期待您的宝贵建议。以下为微认证详情,您可提前了解:产品名称: 《华为云计算服务实践》适合人群: 对云技术感兴趣的高校学生、个人及社会大众;培训方案: 通过学习计算服务的概念、发展、技术架构,掌握其日常操作;技术能力: 掌握华为云计算服务的概念、价值及使用能力;认证价值: 培养与认证掌握华为云计算服务最前沿知识技能,能够熟练使用华为云计算服务的能力。产品名称: 《华为云存储服务实践》适合人群: 对云技术感兴趣的高校学生、个人及社会大众;培训方案: 通过学习存储服务的概念、技术架构及生命周期管理,掌握其日常操作;技术能力: 掌握华为云存储服务的概念、技术架构及生命周期管理;认证价值: 培养与认证掌握华为云存储服务最前沿知识技能,能够熟练使用华为云存储服务的能力。产品名称: 《华为云数据库服务实践》适合人群: 对云技术感兴趣的高校学生、个人及社会大众;培训方案: 通过学习数据库服务的概念、场景、关键特性,掌握其日常操作;技术能力: 掌握华为云数据库服务的概念、场景、关键特性及关键操作;认证价值: 培养与认证掌握华为云数据库服务的概念和特性,能够熟练使用华为云数据库服务的能力。届时我们还将开展相关微认证上新活动,详情请关注华为云培训中心论坛-热门活动相关通知。发布日期:2021年10月25日
  • [技术干货] 存储过程
    存储过程是一个预编译的SQL语句,优点是允许模块化的设计,就是说只需创建一次,以后在该程序中就可以调用多次。如果某次操作需要执行多次SQL,使用存储过程比单纯SQL语句执行要快。
  • [产品介绍] 如何选择将数据存储在哪个区域?
    选择区域时,您需要考虑以下几个因素:地理位置一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。在除中国大陆以外的亚太地区有业务的用户,可以选择“香港”、“亚太-曼谷”或“亚太-新加坡”区域。在非洲地区有业务的用户,可以选择“南非-约翰内斯堡”区域。在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。云服务之间的关系如果多个云服务一起搭配使用,需要注意:不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。资源的价格不同区域的资源价格可能有差异,请参见华为云**详情。
  • [典型案例] 【转】HUAWEI CLOUD Stack 6.5.1计算节点的storage_date平面地址与云平台后端存储的业务地址IP冲
    问题描述:HUAWEI CLOUD Stack 6.5.1云平台,规划了storage_date0、storage_date1、storage_date2、storage_date3四个存储平面,后端存储为一台OceanStor 5500SAN存储,A控B控共8个业务口,配了storage_date平面的8个地址。在CPS上扩容计算节点后,eSight和OceanStor 5500的Device Manage界面上出现了存储阵列IP地址冲突的告警,通过fsp账户登陆计算节点,执行ifconfig命令查看计算节点的存储平面IP地址,发现有两个计算节点的地址与存储阵列的业务地址IP相同。告警信息:eSight界面告警:处理过程 :1、登陆CPS界面,点击“配置”>“OpenStack”>“Cinder”>“存储网络平面映射”,查看storage_date平面的“开始地址”和“结束地址”2、确认好旧IP和新IP地址,登陆OpenStack控制节点,执行图中命令进入python脚本,对IP和偏移量进行转换,输入IP,回车后自动显示偏移量字节。记录好偏移量字节,后续要在zookeeper数据库中进行修改。3、登陆OpenStack控制节点,导入环境变量后,执行cps template-instance-list --service zookeeper zookeeper,查询zookeeper所在节点。4、登陆zookeeper所在节点后,cd /usr/bin/upg/tools/,查看zkview文件是否存在。5、执行python zkview,进入zookeeper操作工具,出现如下回显若要修改storage_data偏移量信息,依次键入5 -> 1,进入到偏移量数据存放路径6、键入g是查看偏移量信息7、键入e后指定路径导出偏移量数据8、编辑导出后的偏移量数据,找到对应的主机,将其需要修改的平面IP地址的偏移量修改为新IP地址对应的偏移量,保存文件退出9、键入i后指定文件路径导入新偏移量数据10、等待几分钟,在对应主机上执行ifconfig查看storage_date平面的IP是否变化,在别的主机上尝试ping看是否通信正常。若IP未配置上,尝试执行cps commit后,根据被修改主机的UUID,单独重启该节点的network-client组件,命令如下:cps host-template-instance-operate --service cps network-client --action stop --host HOST-ID cps host-template-instance-operate --service cps network-client --action start --host HOST-ID根因:此原因是在部署平台阶段,FCD导入表里规划storage_date平面的开始地址和结束地址时,未将已分配给后端存储阵列的业务地址排除出去,导致系统在给计算节点分配storage_date平面地址时,误将已分配给后端存储阵列的业务地址分配给了计算节点,最终导致IP冲突。解决方案:在部署平台时,storage_date平面的开始和结束地址规划好,确定未分配给其它设备使用。建议与总结 :云平台网络平面规划尤为重要,一旦出现IP冲突等问题,需要在平台底层修改,操作方法复杂且危险。转自:https://support.huawei.com/enterprise/zh/knowledge/EKB1100052396
  • [问题求助] 新建notebook磁盘存储问题
    据我所知notebook挂载的obs的文件不能直接调用obs中其他的文件,必须用下述操作把obs的数据放到notebook相关目录下,如work下,但是文件系统给我们的访问权限只有50G,超过就会告诉你存储已满,而模型训练需要大量的数据集,几十G甚至上百G,请问这种问题应该怎么办呢
  • [技术干货] 云存储技术
    “云”概念最早诞生于互联网,随着其发展云技术在各行各业得到运用。“云”是一个比喻的说法,一般是后端,难以看见,这让人产生虚无之感,因此被称为“云”。 在2006年谷歌推出的“Google101计划”时,“云”的概念及理论被正式提出,随后亚马逊、微软、IBM等公司宣布了各自的“云计划”,云存储、云安全等相关的云概念相继诞生。 云安防是基于物联网模式并且采用云存储技术来满足现代化安防的需求。具体实现是指通过集群应用、网格技术、分布式文件系统等功能,将视频监控、门禁控制、RFID射频识别、入侵报警、消防报警、短信报警、GPS卫星定位等技术通过云安防集合起来协同工作,进行信息交换和通信,完成智能化识别、定位、跟踪和监控的安防管理。用户可以通过C/S、B/S以及移动设备的客服端进行24小时的无缝远程监管。据相关技术人员介绍,云安防的架构中包括感知层、网络层、处理层和应用层。其中,感知层由各种传感器以及传感器网关构成,包括摄像机、拾音器、指纹仪、入侵探测、烟感探测、震动探测、温度探测等感知终端;网络层由各种私有网络、互联网、电话网和无线通信网组成;处理层则由集中存储服务、报警服务、消息服务、数据服务等部分组成;应用层是物联网和用户的接口,与行业需求结合,实现物联网的智能应用. 由于用户数量众多,存储系统需要存储的文件将呈指数级增长态势,这就要求存储系统的容量扩展能够跟得上数据量的增长,做到无限扩容,同时在扩展过程中最好还要做到简便易行,不能影响到数据中心的整体运行,如果容量的扩展需要复杂的操作,甚至停机,这无疑会极大地降低数据中心的运营效率。 云时代的存储系统需要的不仅仅是容量的提升,对于性能的要求同样迫切,与以往只面向有限的用户不同,在云时代,存储系统将面向更为广阔的用户群体,用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升,只有这样才能对请求作出快速的反应,这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能,这显然是传统的存储架构无法达成的目标。 传统的存储系统由于没有采用分布式的文件系统,无法将所有访问压力平均分配到多个存储节点,因而在存储系统与计算系统之间存在着明显的传输瓶颈,由此而带来单点故障等多种后续问题,而集群存储正是解决这一问题,满足新时代要求的一剂良药。
  • [下午茶时光] 【Day 39--2018/3/20】你的数据你做主,今天我们聊聊中心化数据存储
    12891 【下午茶时光——业界热点陪你喝咖啡】 你的数据你做主,今天我们聊聊中心化数据存储 区块链技术从2017年开始就受到各行各业的关注。2018年,是区块链技术厚积薄发的3.0时代,是区块链技术的各种应用开始落地的时候,也正是利用区块链技术重塑行业市场的大好时机。虽然从客观上讲,区块链技术仍处于发展阶段,还没有真正完全实现落地应用。可也正是在这个时期中,蕴藏着无限的可能与商机:许多业内人士对区块链技术的革命性深信不疑,纷纷开始将区块链技术与自有产业相结合,渴望能借助区块链技术撑起互联网新局面、实现“去中性化”的互联网时代。据预测,到2020年,全球预计的互联网设备保有量为200亿台,照此推算,将会有难以想象的海量的数据产生。与此同时,对这些数据进行分门别类管理、存储等繁冗的工作也会爆发式增长。 我们都知道数据的价值巨大,一个商业的长期发展,需要多种数据的支撑、管理。在我们每天的生活里,享受各种互联网服务之前,都必须先输入一些个人信息,提交给相应的大公司。随着互联网中各种数据的不断积累,我们的个人信息被暴露的风险也不断增加。 12896 在这样一个中心化的数据存储模式中,一旦管理着广大用户数据的大公司服务器遭到黑客入侵,所有用户的资料都会面临着泄露的风险。而且,近年来信息泄露的例子屡见不鲜,造成消费者对中心化的数据存储模式的信任降低。另外,数据存储工作还需要消耗大量的时间和人工成本,非常麻烦。假设我们利用区块链技术进行数据存储相关工作,又会是怎样一番景象呢?利用区块链技术去中心化的特点,可以突破当下海量数据存储所面临的瓶颈。 12898 各数据进行去中心化多节点分布式存储,安全性大大提高。用户完全不必担心自己的某项数据会因遭到黑客攻击或者停电等原因而造成泄露、丢失。基于区块链底层架构的交易量逐步增长,区块链技术也在不断突破,也正在逐步解决可扩展性这一技术难题。 12899 毋庸置疑,未来区块链技术将会让人类社会真正实现“万物互联”。越来越多的参与者会将区块链技术作为一种工具,借助区块链技术解决行业中存在的信任问题。当然,市场瞬息万变,区块链技术在数据存储上的应用需要一段时间的检验。在大数据时代,区块链技术的去中心化存储为人们提供了一种更安全、高效、可扩展的解决方案,更好地服务于未来社会。