• 常用Linux OS iso镜像获取方式汇总
    发行版下载地址历史版本地址openEulerhttps://repo.openeuler.org/ OpenAnolishttps://mirrors.openanolis.cn/anolis/ CentOShttps://www.centos.org/download/https://vault.centos.org/Ubuntuhttps://releases.ubuntu.com/或 https://cdimage.ubuntu.com/ubuntu/releases/http://old-releases.ubuntu.com/releases/Debianhttps://cdimage.debian.org/debian-cd/https://cdimage.debian.org/cdimage/archive/Redhathttps://developers.redhat.com/products/rhel/download Deepinhttps://cdimage.deepin.com/releases/ Oracle Linuxhttps://yum.oracle.com/oracle-linux-isos.html SUSEhttps://www.suse.com/download/sles/ openSUSEhttps://download.opensuse.org/distribution/leap/ Fedorahttps://fedoraproject.org/server/download/https://mirror.sjtu.edu.cn/fedora/linux/releases/https://archives.fedoraproject.org/pub/archive/fedora/linux/releases/Linxhttp://www.linx-info.com/download/os/ UOShttps://www.chinauos.com/resource/download-server Kylinhttps://www.kylinos.cn/scheme/server/1.html 麒麟信安http://www.kylinsec.com.cn/versionDownload Mageiahttps://www.mageia.org/zh-cn/downloads/alternative/ Arch Linuxhttps://archlinux.org/releng/releases/ 红旗http://www.linuxsir.cn/?download.htm  OpenCloudOShttps://mirrors.opencloudos.tech/opencloudos/或 https://www.opencloudos.org/iso 【说明】:华为云镜像仓相对官网地址下载更快,如果华为云镜像仓有可优先从对应镜像仓获取:华为云镜像仓 cid:link_0
  • 存储服务9月干货/资讯合集
    技术干货JAVA编程中常用到的线程和注意点总结https://bbs.huaweicloud.com/forum/thread-0238131381905710013-1-1.html小白学习Linux的学习建议和阶段https://bbs.huaweicloud.com/forum/thread-02122131461434450014-1-1.htmlC语言基本算法的运用笔记https://bbs.huaweicloud.com/forum/thread-0235131461533920014-1-1.htmlMVC 架构笔记分享https://bbs.huaweicloud.com/forum/thread-0235131461730372015-1-1.html项目开发常用乱码解决手段分享https://bbs.huaweicloud.com/forum/thread-0249131462251942017-1-1.htmlNFS文件系统中的RPC协议详解【转】https://bbs.huaweicloud.com/forum/thread-02112131103590878035-1-1.html资讯资讯|新云原生项目Kmesh正式开源,华为云持续创新,加速行业智能化升级https://bbs.huaweicloud.com/forum/thread-02122131376993079008-1-1.html资讯|华为云发布CodeArts Link研发工具集成服务,无缝联接生态释放创新潜力https://bbs.huaweicloud.com/forum/thread-02103131377098392015-1-1.html资讯|盘古大模型for医学,“良医小慧”让智慧诊疗触手可及https://bbs.huaweicloud.com/forum/thread-0238131377217345011-1-1.html资讯|华为云发布CodeArts AppSec移动应用安全服务,守护移动应用开发安全质量https://bbs.huaweicloud.com/forum/thread-0229131377323022007-1-1.html资讯|做好智能世界的“云底座”和“使能器”,成就卓越企业https://bbs.huaweicloud.com/forum/thread-0249131377426594010-1-1.html资讯|华为云:共建繁荣“百模千态”,让AI重塑千行万业https://bbs.huaweicloud.com/forum/thread-02103131377614721018-1-1.html资讯|孟晚舟:支持大模型“百花齐放”,华为做好“百花园”的黑土地https://bbs.huaweicloud.com/forum/thread-0249131377845120011-1-1.html资讯|首个卓越级评分!华为云盘古大模型完成三项标准符合性验证https://bbs.huaweicloud.com/forum/thread-02103131378075153019-1-1.html资讯|华为云ROMA Connect亮相Gartner®全球应用创新及商业解决方案峰会https://bbs.huaweicloud.com/forum/thread-0229131378231271010-1-1.html资讯|华为云张平安:一切皆服务,共绘数字经济新蓝图https://bbs.huaweicloud.com/forum/thread-02103131378361409020-1-1.html资讯|2023世界计算大会产业对接专场举行https://bbs.huaweicloud.com/forum/thread-02122131379648527011-1-1.html
  • 资讯|华为云张平安:一切皆服务,共绘数字经济新蓝图
    9月6日,2023中国国际数字经济博览会(以下简称“数博会”)在石家庄(正定)国际会展中心正式拉开帷幕。大会以“工业互联网赋能千行百业,数字经济引领高质量发展”为主题,汇聚国内数字经济业界代表,共同打造数字经济国家级交流展示平台和国际产业交流盛会。开幕式上,华为常务董事、华为云CEO张平安发表致辞,他表示,作为数字经济的重要底座,云计算已成为行业数字化的先决基础和必经之路,AI大模型正加快重塑千行百业。华为深耕河北16年,持续把最前沿的ICT技术产品、云上海量算力、全栈自主的软硬件创新能力带入河北,助力建设云上河北、数字河北、美丽河北。云成为数字经济重要底座AI加快重塑千行百业2022年,我国数字基础设施迎来快速增长,数字经济规模超过50万亿元,占GDP比重提升至41.5%,已成为经济增长的主引擎之一。作为数字经济的重要底座,云计算正成为行业数字化的先决基础和必经之路。中国信通院研究显示,国内各大城市云服务呈现蓄势、加速、创新领跑的发展势头,云服务发展越快的城市,数字经济增长越为显著。行业上云用云热潮,也正从互联网、IT行业开始向所有行业扩展。同时,AI大模型等关键技术的迅速演进,大大加快了千行百业数字化变革。麦肯锡报告分析,到2040年,生成式AI每年可为全球经济带来约2.6万亿至4.4万亿美元的增长,其价值增量主要集中在产品研发、软件工程、生产供应、市场营销、客户运营,这也意味着几乎对所有行业都将受到AI的影响。张平安表示,云和AI将重塑企业研、产、供、销、服所有业务,在云上的每一块钱投入,都将拉动数倍的数字经济增长。在数智融合的大趋势下,云将深刻影响所有企业的软硬件技术体系,成为行业数字化的云底座和使能器。技术扎根,开放同飞成就云上“百模千态”张平安在演讲中介绍,华为从2019年开始投入AI大模型研发,并在今年7月面向全球发布盘古大模型3.0。盘古大模型聚焦行业价值场景,提供了L0、L1、L2层的全栈大模型能力集,坚持用AI帮助客户解决业务各环节面临的复杂难题。基于盘古大模型,企业可以调用华为云语言大模型、视觉大模型、多模态大模型、科学计算大模型、预测大模型的上百种AI能力,轻松定制大模型体系和企业应用,实现大模型自由。同时,华为云全栈自主的昇腾AI云服务,为企业提供随取随用的海量云上算力,并适配了数十种主流开源大模型技术,让企业可轻松获取所需的训练算力和工具套件。目前,华为云已帮助科大讯飞、清华智谱、美图、思必驰等企业打造了自己的大模型。“我们把一批又一批的博士、专家、科学家派到客户现场,下矿井、进车间、走网点,抓住AI技术创新与业务需求的结合点,为企业解决真正的难题。”张平安介绍,目前华为云已帮助超过1000家企业落地智能化项目,将大模型的创新能力带到生产一线,充分发挥AI的产业应用价值。一切皆服务,助力打造云上河北数字河北、美丽河北作为全球领先的云服务厂商,华为云在全球已服务超过300万客户,在政务、金融、互联网、制造、交通、钢铁、医药等各行业积累了丰富的创新经验,开展创新实践。在政务领域华为云累计在全球打造了超过800个政务云项目,与150多个城市共建“一城一云”。在河北,华为云携手石家庄市、廊坊市、沧州市、邢台市,以及曹妃甸等多个区县,共同加快政务网络、云基础设施、数据平台等智慧城市信息体系建设,打造了多个“城市一朵云”标杆项目。在能源、钢铁等河北优势产业领域新奥集团选择全云化战略,携手华为云打造“集团一朵云”,并基于华为云底座加快新奥燃气大模型创新,赋能行业上下游的全场景业务。天柱钢铁引入盘古大模型技术,打造废钢定级全国样板点,实现废钢的自动识别、智能定级,多项准确率超过90%。同时,华为云还与河北省企业上云公共服务平台合作,面对面服务超过2700家中小企业,帮助近千家企业解决上云用云、数字转型过程的实际困难。在大会现场,河北省人民政府与华为技术有限公司共同签署了数字河北建设战略合作协议,发挥华为在信息通信、算力、信创产业、人工智能、绿色低碳等领域的优势,加快推动数字技术深度赋能河北经济社会转型升级。张平安表示,华为已持续深耕河北16年,持续将最前沿的ICT技术产品、云上海量算力、软硬件创新能力引入河北,未来还将与河北携手合作,助力打造云上河北、数字河北、美丽河北。转自华为云公众号
  • 资讯|做好智能世界的“云底座”和“使能器”,成就卓越企业
    华为全联接大会2023于9月20-22日在上海召开。在“华为云做好智能世界的云底座和使能器,成就卓越企业”主题峰会上,华为云分享了五大客户的卓越实践故事,重磅发布卓越企业PRIME模型,正式发起卓创会PRIME Club;同时,华为云宣布全新的华为云Stack 8.3将于9月30日正式商用,帮助企业一站式建设专属大模型。华为云全球Marketing与销售服务总裁石冀琳发表开场致辞,分享了华为云全球最新业务进展和行业实践,并表达了对全球客户及伙伴实现数字化转型的美好期待。她表示:“在风起云涌的数字化浪潮中,华为云致力于提供最优质的创新技术和解决方案,成为全球各行业客户数字化创新的最佳合作伙伴。华为云也希望成为一个经验分享的平台、知识碰撞的平台,让更多的中国企业走出去,让海外企业在中国获得成长和发展,让所有的客户可以互为客户,所有的伙伴可以互为伙伴,一同开启数智升级新征程。”以系统工程方法论为指南加速千行万业数智升级华为云深耕行业数字化,持续使能千行万业数智升级,全球业务保持快速增长。华为云公有云业务部总裁高江海在“华为云做好智能世界的云底座和使能器,成就卓越企业”主题演讲中表示:“一直以来,我们坚持践行‘一切皆服务’的战略,通过持续压强研发投入,踏踏实实搞技术、勤勤恳恳做实事,用最前沿的技术创新和最深刻的行业理解,去服务好每一个客户,致力于做好智能世界的‘云底座’和‘使能器’,加速行业智能化升级,让千行万业皆可卓越。”云和AI已经进入企业核心生产系统,数字化和智能化无疑是未来十年最大的机会。但企业在数智升级过程中,仍面临着很多共性问题,包括如何衡量IT投入与产出,怎么做应用现代化和全球化业务布局等。对此,高江海认为企业的结构化问题,需要用系统化的思维和架构来解决。 为了帮助客户加速数智升级,基于服务300万客户的经验,复盘500多个客户成功经理的实践,华为云将聚焦做好三件事,提供一支卓越运营与客户成功团队、一套卓越企业PRIME模型和一个共创平台卓创会,帮助更多的企业成就卓越。目前,华为云已在全球21个城市成立了卓越运营与客户成功团队,覆盖全球上千个客户,以精湛技术全心全意为客户提供优质的服务,帮助客户上好云,用好云,管好云。华为云在会上正式发布了卓越企业PRIME模型,通过卓越组织、卓越架构、卓越流程和卓越场景四个方面,成就更多卓越企业。同时,华为云正式发起卓创会PRIME Club,让最卓越的人启发更卓越的人。集众智,聚群力,成卓越。会上,高江海现场分享了运营商、零售、汽车、电商、政务等行业领域的卓越实践故事。在运营商行业,中国铁塔与华为云联合构建两地三中心高可用、高性能、高弹性的架构,通过GaussDB for Redis让原有换电系统性能提升20倍,云原生改造提升弹性能力50倍,帮助中国铁塔用户实现电量精准查、随时有电换、扫码即换电,已驱动轻型电动车行驶超785亿公里。在零售行业,华为云MRS+DWS帮助美宜佳实现门店选址智能推荐,开店时间从2个月缩短到27天,经营数据从隔天查询缩短至15分钟查询;华为云CodeArts缩短了经营宝应用开发周期,交付周期缩短25%。一站式的开店和经营服务,帮助美宜佳3.3万店主“省心省力”,每月新增店主超300位。在汽车行业,基于华为云Hudi+DWS构建的湖仓一体车联网架构,PB级数据秒级查询,以及持续的健康性诊断及云资源全局调度能力,比亚迪选择华为云,保证了车联网服务的高可用性。车主可以随时远程控制车辆,享受秒级响应和无缝使用体验,持续满足车主对汽车软件体验的需求。在电商行业,基于华为云强大算力、云原生能力和AI能力,叮咚买菜实现前置仓备货和订单的全流程智能,让调度更精准、派送更高效,订单整体预测率达90%以上,最快29分完成订单配送,让每个家庭不出门就能享受优惠、新鲜食材。在政务行业,通过华为云ROMA Connect、GaussDB(DWS)、安全云脑等技术能力,帮助西安政务实现了对上亿条法人、信用、政策等库表数据,安全高效的调用和开发,为全市200多万个体工商户精准匹配了超过2200条惠企政策,大幅减少企业申报时间和申报难度,0跑动办好事。践行深度用云引领政企智能升级作为部署在用户数据中心、安全可靠的云基础设施,华为云Stack持续扎根行业,帮助政企迈向深度用云,实现智能升级。华为云Stack总裁尚海峰在“践行深度用云,引领政企智能升级”主题演讲中表示:“我们始终坚持AI for Industries战略,在深耕行业的道路上不断前行。大模型不应是少数企业的专利,希望基于华为云Stack和盘古大模型的强大能力和经验,让AI产业百花齐放,让每个企业都拥有自己的专属大模型。”目前,华为云Stack全球政企客户数累计达到5200多个,业务保持高速增长,在中国的政务、金融和央国企等行业市场份额持续领先。本次华为全联接大会上全新发布的华为云Stack 8.3,将通过盘古大模型、工业互联网、数据要素流通和软件开发生产线等四个方向的创新,让数据彰显价值,让智能加速落地。一站式建设企业专属大模型华为云Stack8.3提供了业界最完整的AI生产链,包括AI算力、计算架构、框架、开发平台、开发套件、基础大模型以及各种专业服务,降低大模型的建设门槛;同时通过软硬协同实现算子融合与混合精度的优化,让训练效率提升45%。目前,盘古大模型已经在10多个行业得到应用。山东能源集团携手华为,基于中心训练、边缘推理的云边架构,部署了全球首个矿山大模型,支撑9大专业21个场景的智能应用。5大核心能力打造工业互联网参考架构基于丰富的行业实践,华为云推出基于华为云Stack的工业互联网参考架构,让工业互联网建设有章可循。参考架构基于工业云边协同、工业数据采集、工业数据融合、工业智能中枢和工业应用开发5大核心能力,可灵活组合以满足复杂场景的差异化需求,提供从数据采集到智能化应用的全链路能力。一汽集团基于工业互联网建设了蔚山数字工厂,实现4大工艺、7个车间的生产过程智能化管理,满足柔性化生产和节能减排需求。数据要素流通方案打造可信数据流通机制基于丰富的数据治理和自身数据流通的实践,华为云推出数据要素流通方案,帮助企业找数据,也为数据找企业。通过华为云Stack 8.3提供的数智融合、区块链和隐私计算能力,企业可以实现算法、模型和数据集等高质量数据产品的开发,让数据可用不可见;通过EDS交换数据空间让数据可信流通与授权运营,确保数据不出域。会上,华为云携手上海数据集团有限公司共同开启城市数据空间联合创新工作,双方将围绕数据要素流通核心课题进行深入研究。软件开发生产线让软件供应值得信赖华为云将公司IPD变革中宝贵的流程、工具和经验沉淀到CodeArts软件开发生产线。华为云Stack 8.3新版本提供协同开发、编码规范、分布式构建、漏洞检查等30多种核心能力,并将持续迭代更新,通过从基础设施、软件依赖到工具全环节的自主化,让软件工具的供应更值得信赖。海舟公司基于华为云Stack提供的 CodeArts构建行业领先的工业软件研发平台,践行IPD研发模式,通过结构化流程和契约化研发确保交付零偏差,实现千人高效协作,打造大型工业领域原创技术“策源地”。在峰会的重磅签约环节,万兴科技与华为云正式签署战略合作协议,双方将在算力、AI技术、数字人支持、品牌营销、生态共建等方面深入合作,共同拥抱智能化新时代。昆仑万维与华为云正式签署战略合作协议,双方将积极在昇腾算力领域展开全面深入合作,致力于打造企业专属模型,支持企业级AI应用。未来,华为云将持续践行“一切皆服务”战略,携手全球企业跨越技术应用和商业成功之间的裂谷,以卓越的技术、架构、团队、经验、生态等,做好智能世界的“云底座”和“使能器”,让千行万业皆可卓越。转自华为云公众号
  • 存储服务8月干货/资讯合集
    技术干货为什么对象存储会取代NAS和SAN?https://bbs.huaweicloud.com/forum/thread-0207127480838998038-1-1.html容器引擎CCE与微服务引擎CSE笔记分享https://bbs.huaweicloud.com/forum/thread-0251127550455442168-1-1.html常见的连接IoT平台的业务场景https://bbs.huaweicloud.com/forum/thread-0297128697152512390-1-1.html数据仓库、数据湖、湖仓一体,究竟有什么区别笔记分享https://bbs.huaweicloud.com/forum/thread-0236128697262885323-1-1.htmlPython爬虫基础笔记https://bbs.huaweicloud.com/forum/thread-0286128697635362297-1-1.html华为AP供电降档笔记分享https://bbs.huaweicloud.com/forum/thread-0286128759195026338-1-1.html路由与交换系列之DHCPv6https://bbs.huaweicloud.com/forum/thread-0286128759250508339-1-1.htmlGO语言类型系统之结构体与初始化笔记分享https://bbs.huaweicloud.com/forum/thread-0297128759340120422-1-1.html资讯资讯|HCDG城市行 · 东莞站 | 松山湖开发者村助力企业释放数字新动能https://bbs.huaweicloud.com/forum/thread-0256128054302740198-1-1.html资讯|中国图数据库,领导者!https://bbs.huaweicloud.com/forum/thread-0299128054435644105-1-1.html资讯|华为云携手上万伙伴推出企业应用一站购平台!https://bbs.huaweicloud.com/forum/thread-0265128571099789182-1-1.html资讯|五项第一!持续领跑中国政务市场https://bbs.huaweicloud.com/forum/thread-0236128571928598243-1-1.html资讯|聚力同行,华为云携手零售伙伴共筑新时代伟大品牌https://bbs.huaweicloud.com/forum/thread-0265128572041840185-1-1.html资讯|华为云张平安:深耕数智融合,使能浙企数字创新https://bbs.huaweicloud.com/forum/thread-0236128759071094364-1-1.html资讯华为安全大咖谈 | 华为终端检测与响应EDR 第01期:小身材如何撬动安全大乾坤https://bbs.huaweicloud.com/forum/thread-0263128698650074305-1-1.html
  • [技术干货] 数据仓库、数据湖、湖仓一体,究竟有什么区别笔记分享
    1.数据仓库数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化的(Time Variant)数据集合,用于支持管理决策和信息的全局共享。其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,作一有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。所谓主题:是指用户使用数据仓库进行决策时所关心的重点方面,如:收入、客户、销售渠道等;所谓面向主题,是指数据仓库内的信息是按主题进行组织的,而不是像业务支撑系统那样是按照业务功能进行组织的。所谓集成:是指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程,因此数据仓库中的信息是关于整个企业的一致的全局信息。所谓随时间变化:是指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。2.数据湖数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。目前,Hadoop是最常用的部署数据湖的技术,所以很多人会觉得数据湖就是Hadoop集群。但其实数据湖是一个概念,而Hadoop是用于实现这个概念的技术。3.湖仓一体近年来,业界开始提出湖仓一体(Data Lakehouse)的概念,旨在为企业提供一个统一的、可共享的数据底座,避免传统的数据湖、数据仓库之间的数据移动,将原始数据、加工清洗数据、模型化数据,共同存储于一体化的“湖仓”中,既能面向业务实现高并发、精准化、高性能的历史数据、实时数据的查询服务,又能承载分析报表、批处理、数据挖掘等分析型业务。湖仓一体方案的出现,帮助企业构建起全新的、融合的数据平台,打破了数据湖与数据仓库割裂的体系,在架构上将数据湖的灵活性、数据多样性以及丰富的生态,与数据仓库的企业级数据分析能力进行融合。通过对机器学习和AI算法的支持,实现数据湖+数据仓库的闭环,极大地提升业务的效率。数据湖和数据仓库的能力充分结合,形成互补,同时对接上层多样化的计算生态。毫无疑问,湖仓一体将会更好地服务于企业,帮助企业实现大数据能力的提升,如降低成本、提升运营效率、业务模式探索等。特点明晰 这三个概念虽然有相同的部分,但更多的部分是有所不同的,所以我们就从它们的特点来看:1、数据仓库特点数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。它具有以下典型的特点:(1)高执行效率:数据仓库处理的数据量巨大,且分析周期一般以天为单位,因此对分析的时效性要求相对较高,这就需要它具有高效率的数据存储和处理能力。(2)高数据质量:进入数据仓库的数据一般会经过数据清洗的环节,因此可能导致数据失真的脏数据会被清除,从而保证数据仓库提供的信息是准确的。(3)高扩展性:数据仓库的设计和建设一般会考虑未来3-5年的情况。(4)面向主题:数据仓库中的数据是按照一定的主题域进行组织的。主题是指在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。2、数据湖特点数据湖是一类存储数据原始格式的系统。它通常是企业中全量数据的单一存储。全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据,各类任务包括报表、可视化、高级分析和机器学习。数据湖中包括来自于关系型数据库中的结构化数据、半结构化数据、非结构化数据和二进制数据等。相比数据仓库,数据湖具有以下特征:(1)保真性:数据湖中必须要保存一份原始数据,无论是数据格式、数据模式、数据内容都不应该被修改。(2)灵活性:在假设没办法预估业务变化的前提下,直接保持数据的原始状态,一旦需要时,再根据需求对数据进行加工处理。(3)可管理:数据湖中的数据会不断的积累、演化。因此,对于数据管理能力要求也很高。它至少应该包含的数据管理能力包括:数据源、数据连接、数据格式、数据模式,数据权限等。(4)可追溯:数据湖是一个企业中全量数据的存储场所,需要对数据的全生命周期进行管理,包括数据的定义、接入、存储、处理、分析、应用的全过程。它需要能做到对其间的任意一条数据的接入、存储、处理、消费过程是可追溯的,能够清楚的重现数据完整的产生过程和流动过程。3、湖仓一体特点湖仓一体指的是结合了数据仓库和数据湖的元素而形成的数据解决方案。它实现了数据仓库的数据结构和数据湖的可管理特性。通常既可以用来做机器学习,也可以用来做BI分析。湖仓一体的特点包括:(1)统一的数据管理:湖仓一体提供完善的数据管理能力。数据湖中会存在两类数据:原始数据和处理后的数据。数据湖中的数据会不断的积累、演化,因此包含以下数据管理能力:数据源、数据连接、数据格式、数据schema(库/表/列/行)。同时,数据湖是单个企业中统一的数据存放场所,因此,还具有一定的权限管理能力。(2)多模态的存储引擎:湖仓一体本身内置多模态的存储引擎,以满足不同的应用对于数据访问需求(综合考虑响应时间/并发/访问频次/成本等因素)。但是,在实际的使用过程中,为了达到可接受的性价比,湖仓一体解决方案提供可插拔式存储框架,支持的类型有HDFS/S3等, 并且在必要时还可以与外置存储引擎协同工作,满足多样化的应用需求。(3)丰富的计算引擎:提供从批处理、流式计算、交互式分析到机器学习等各类计算引擎。一般情况下,数据的加载、转换、处理会使用批处理计算引擎;需要实时计算的部分,会使用流式计算引擎;对于一些探索式的分析场景,可能又需要引入交互式分析引擎。随着大数据技术与人工智能技术的结合越来越紧密,各类机器学习/深度学习算法也被不断引入,可以支持从HDFS/S3上读取样本数据进行训练。因此,湖仓一体解决方案提供计算引擎的可扩展/可插拔。(4)数据全生命周期管理:湖仓一体提供一个企业中全量数据的存储场所,需要对数据的全生命周期进行管理,包括数据的定义、接入、存储、处理、分析、应用的全过程。一个强大的数据湖实现,需要能做到对其间的任意一条数据的接入、存储、处理、消费过程是可追溯的,能够清楚的重现数据完整的产生过程和流动过程。
  • [技术干货] 常见的连接IoT平台的业务场景
    连接IoT平台的业务有四个场景:设备 + IoT平台 + 应用该场景为最通用的场景,设备将数据上报到IoT平台,IoT平台对设备进行管理,同时针对不同的事件类型,会将数据推送到用户应用,同时应用可以将命令下发到IoT平台,平台可以缓存/实时下发命令给设备。设备 + IoT平台 + 第三方云服务该场景为数据流转场景,设备将数据上报到IoT平台后,IoT平台对设备进行管理,同时可以根据自定义规则,将设备数据流转到第三方云服务产品,第三方云服务产品对设备数据进行处理。设备 + IoT平台 + 第三方云服务 + 应用该场景为前两个场景的结合,设备将数据上报到IoT平台后,IoT平台对设备进行管理,用户可以通过应用获取数据/下发命令等,同时也可以通过自定义规则将数据流转到第三方云服务进行处理。设备 + IoT平台该场景比较简单,设备将数据上报到IoT平台后,通过控制台查看设备数据及监控设备状态,用户无需对设备数据进行二次处理。这几个方面主要包括:1. 智能家居:智能家居是物联网的一个重要应用场景,通过连接 IoT 平台,用户可以远程控制家中的各种智能设备,如智能灯泡、智能门锁、智能空调等。 2. 工业自动化:工业自动化是物联网的另一个重要应用场景,通过连接 IoT 平台,工业设备可以实现自动化生产、自动化检测、自动化维护等。 3. 智慧城市:智慧城市是物联网在一个城市范围内的应用,通过连接 IoT 平台,城市中的各种设施和设备可以实现智能化管理,如智能交通、智能路灯、智能垃圾分类等。 4. 智能医疗:智能医疗是物联网在医疗领域的应用,通过连接 IoT 平台,医疗机构可以实现智能化管理,如智能医疗设备、智能医疗服务等。 5. 智能农业:智能农业是物联网在农业领域的应用,通过连接 IoT 平台,农业生产可以实现智能化管理,如智能种植、智能养殖、智能灌溉等。 6. 智能物流:智能物流是物联网在物流领域的应用,通过连接 IoT 平台,物流企业可以实现智能化管理,如智能仓储、智能运输、智能配送等。 7. 智能能源:智能能源是物联网在能源领域的应用,通过连接 IoT 平台,能源企业可以实现智能化管理,如智能电网、智能燃气、智能水务等。
  • [技术干货] 为什么对象存储会取代NAS和SAN?
    一、背景存储是过去、现在和未来电脑、AI、企业信息化和云计算的核心。在存储和管理数据方面,有现代的云原生方式,也有传统的面向设备的方式。不用说,对象存储是更现代的存储。在很多对象存储里面,MinIO无可救药地偏向和选择了对象存储(毕竟这是我们唯一做的事情)。对象存储是是很简单的。但是,这会遗漏一个关键点——即 MinIO 背后的团队构建了 GlusterFS。鉴于 Gluster 曾经是(并且可能仍然是)市场上最优雅和功能最强大的分布式文件系统之一,团队展望未来并创办了一家对象存储公司这一事实应该告诉你这不是 MinIO 的唯一重点,它是关于什么是最具功能性、可扩展性和弹性的数据解决方案。与传统的 SAN 和 NAS 解决方案相比,对象存储具有根本优势。在此篇文章中,我们将深入探讨对象存储的优势以及它为何成为许多组织的首选存储解决方案。二、可扩展性对象存储相对于 SAN/NAS 最明显的优势之一是它的可扩展性。随着数据量的增长,传统的 SAN 和 NAS 解决方案变得非常昂贵(资本支出和运营支出)。它们根本不是为规模而设计的。另一方面,对象存储旨在处理大量数据,并且可以根据需要轻松扩展,而无需对基础架构进行任何重大更改。这种可扩展性是通过使用分布式架构和基于软件的纠删码实现的。对象存储系统通常由许多单独的存储节点组成,这些节点协同工作以存储和管理数据。随着新节点被添加到系统中,系统的整体容量和性能都会增加。大规模性能是当今企业的一个关键概念,这就是像 MinIO 这样的现代高性能对象存储可以提供的。三、成本效益由于对象存储旨在处理大量数据,因此它通常比传统的 SAN 和 NAS 解决方案更具成本效益。对于需要存储大量非结构化数据(如媒体文件、备份和存档)的组织来说尤其如此。应该注意的是,MinIO 的“massive”和传统 SAN/NAS 解决方案的“massive”是完全不同的。SAN/NAS 的“海量”约为 1PB。这在对象存储世界中很小。现在每个人都有一个 PB——甚至是家庭实验室的人。海量对象存储是 EB 级规模并且还在不断增长。在存储利用率方面,对象存储也非常高效。传统的 SAN 和 NAS 系统通常有很高的开销,这意味着很大一部分可用存储空间被系统本身消耗掉了。另一方面,对象存储的设计非常高效,这意味着您可以物有所值。这是你可以自己测试的东西。查看我们的纠删码计算器。它使您能够直接了解您在不同奇偶校验选项下的使用情况。尝试找到愿意提供这种透明度的 SAN/NAS 供应商。你不会因为他们不喜欢谈论它。数据持久性对象存储被设计成高度持久和容错的。这意味着即使个别磁盘或服务器出现故障,您的数据仍然是安全的并且可以访问。此外,MinIO 的内置复制和数据保护功能确保数据始终受到保护和可用。MinIO 的擦除编码方法经过高度优化(针对性能和弹性),纠删码为分布式存储提供数据保护,因为它具有弹性和效率。它将数据文件拆分为数据和奇偶校验块并对其进行编码,以便即使部分编码数据不可用,也可以恢复主要数据。水平可扩展的分布式存储系统依靠擦除编码通过跨多个驱动器和节点保存编码数据来提供数据保护。如果驱动器或节点发生故障或数据损坏,可以从保存在其他驱动器和节点上的块中重建原始数据。四、辅助功能可以随时随地在任何设备上访问对象存储。此外,对象存储设计为 API 驱动,这意味着开发人员可以轻松地将其集成到他们的应用程序和工作流中。大多数 SAN 仅限于遗留数据中心协议并仅限于单个数据中心。这真的很重要!在构建现代 Web 应用程序时,RESTful API 从根本上优于 POSIX。虽然有些人可能会争辩说这些技术有不同的用途,但在我们生活的云原生世界中,RESTful API 占主导地位。人们根本不会使用 POSIX 构建新的应用程序。第一 RESTful API 在数据交换和通信协议方面提供了更大的灵活性。与主要为文件系统访问而设计的 POSIX 不同,RESTful API 可以处理范围广泛的数据类型,从简单的文本字符串到复杂的多媒体文件。这使得它更容易与不同的应用程序、平台和设备集成,并处理不同的用例。第二,RESTful API 被设计成可扩展的可以处理大量的并发请求。通过使用 HTTP 协议,RESTful API 可以轻松利用缓存、负载平衡和其他性能优化技术。POSIX 是为本地文件系统访问而开发的,在分布式或基于云的环境中不能很好地扩展——它太啰嗦了。第三,RESTful API 提供了比 POSIX 更好的安全选项。通过使用 TLS、OAuth 和 JSON Web Tokens 等现代安全协议,RESTful API 可以提供安全的身份验证、授权和数据加密。另一方面,POSIX 依赖于传统的文件系统权限,这对于现代 Web 应用程序来说很少是足够的。第四,RESTful API 被设计为独立于平台,可以从任何具有互联网连接的设备进行访问。这使得开发跨不同平台和操作系统的应用程序变得更加容易。最后,也许最重要的是,RESTful API 比 POSIX 更易于使用和开发。借助 RESTful API,开发人员可以使用 GET、POST、PUT 和 DELETE 等简单的 HTTP 动词与数据进行交互。相比之下,POSIX 要求开发人员使用更复杂的系统调用和文件系统操作,这可能很难处理。随着时间的推移,具有 POSIX 经验的开发人员越来越少。五、元数据驱动与基于文件的传统 SAN 和 NAS 解决方案不同,对象存储是元数据驱动的。这意味着每个对象都伴随着一组描述它的元数据。此元数据可以包括对象的创建日期、文件类型或关键字等信息。MinIO 的元数据原子方法是独一无二的、超可扩展的和超快速的。其他对象存储供应商并没有在这方面投入精力,而是依靠第三方、集中式、元数据数据库来处理工作。这是一个糟糕的选择。元数据驱动的方法可以轻松地根据特定条件搜索和检索对象。它甚至允许像S3 Select这样的谓词下推。例如,您可以轻松搜索某个时间段内创建的所有对象或具有特定关键字的所有对象。要通过 SAN/NAS 实现这一点,您需要一个专用的应用程序层。正如您可能想象的那样,这催生了一个相当健康的公司生态系统,这些公司非常乐意对您的 SAN/NAS 征税,以便让它像 Web 应用程序一样工作。总结对象存储始终是云中的主要存储。随着云操作模型的扩展,对象存储成为本地、托管和边缘的主要存储类型。原因有很多——从可扩展性到安全性。用一家非常大的金融应用程序公司的话来说,“我们将根据需要添加到我们现有的 SAN/NAS 足迹——但所有新事物都将进入对象存储。随着时间的推移,那些遗留应用程序和工作负载将被淘汰,我们甚至不会费心对其进行现代化改造,我们只会编写云原生版本。”转自小甲鱼python:https://baijiahao.baidu.com/s?id=1761678795827251833&wfr=spider&for=pc
  • [问题求助] 华为云对象储存服务,SDK如何不使用绝对路径上传
    华为云对象储存服务,SDK如何不使用绝对路径上传
  • [技术干货] 存储服务7月干货/资讯合集
    干货合集Kafka存储机制笔记分享https://bbs.huaweicloud.com/forum/thread-0284124025967984013-1-1.htmlLinux磁盘管理https://bbs.huaweicloud.com/forum/thread-0218125128960891005-1-1.html计算机存储策略笔记分享https://bbs.huaweicloud.com/forum/thread-0284125129116181003-1-1.html快速上手学习实践RAID5https://bbs.huaweicloud.com/forum/thread-0284125129202038004-1-1.html小白学习Linux的学习建议和阶段https://bbs.huaweicloud.com/forum/thread-0212125568959276019-1-1.html操作系统主要功能 笔记分享https://bbs.huaweicloud.com/forum/thread-0227125651455717015-1-1.htmlK3s vs K8s:轻量级和全功能的对决https://bbs.huaweicloud.com/forum/thread-0218125651867283016-1-1.htmldocker笔记分享https://bbs.huaweicloud.com/forum/thread-0249125910764388041-1-1.html态势感知知识点https://bbs.huaweicloud.com/forum/thread-0212125911603450046-1-1.html资讯合集资讯|打造新一代云架构CAD,共建工业智造生态链 https://bbs.huaweicloud.com/forum/thread-0283125560021658010-1-1.html华为认证存储专家HCIE-Storage V3.0 (中文版)正式发布!https://bbs.huaweicloud.com/forum/thread-0283125651994348015-1-1.html资讯|领跑中国大数据平台市场,华为云再获第一https://bbs.huaweicloud.com/forum/thread-0284125821655585033-1-1.html全域Serverless化,华为云引领下一代云计算新范式https://bbs.huaweicloud.com/forum/thread-0212125911119248045-1-1.html邂逅华为云数字工厂,看艾普工华如何将行业经验SaaS化https://bbs.huaweicloud.com/forum/thread-0205125911244117035-1-1.html资源成本降低70%!华为MetaERP资产核算的Serverless架构实践https://bbs.huaweicloud.com/forum/thread-0227125911333211032-1-1.html
  • [公告] 华为认证存储专家HCIE-Storage V3.0 (中文版)正式发布!
    华为认证存储专家HCIE-Storage V3.0(中文版)自2023年7月13日起,正式在中国区发布。  发布概述   基于“平台+生态”战略,围绕“云-管-端”协同的新ICT技术架构,华为公司打造了覆盖ICT领域的认证体系,包含ICT基础设施认证、基础软硬件认证、云平台及云服务认证三类认证。根据ICT从业者的学习和进阶需求,华为认证分为工程师级别、高级工程师级别和专家级别三个认证等级。华为认证覆盖ICT全领域,符合ICT融合的技术趋势,致力于提供领先的人才培养体系和认证标准,培养数字化时代的新型ICT人才,构建良性的ICT人才生态。HCIE-Storage V3.0认证定位于培训与认证具备华为存储解决方案的需求分析、规划设计、部署实施、高级运维管理和故障处理等能力的存储解决方案专家。通过HCIE-Storage V3.0认证,将证明您系统掌握了存储数据保护、存储数据迁移等典型存储解决方案的关键技术原理、规划设计流程、部署实施方法和工具、高级运维管理和故障处理等知识,具备设计、管理、构建与开发高可用存储解决方案的能力,使您可以胜任存储解决方案专家、存储架构师等岗位。产品介绍华为认证HCIE-Storage V3.0产品清单如下:《HCIE-Storage V3.0 培训建议书》《HCIE-Storage V3.0 模拟试题》《HCIE-Storage V3.0 考试大纲》《HCIE-Storage V3.0 培训教材》《HCIE-Storage V3.0 实验手册》《HCIE-Storage V3.0 版本说明》《HCIE-Storage V3.0 课程表》《HCIE-Storage V3.0 设备清单》《HCIE-Storage V3.0 实验环境搭建指南》《HCIE-Storage V3.0 在线课程》(预计2023年12月发布)培训说明培训教材HCIE-Storage V3.0培训教材包括:实验手册HCIE-Storage V3.0实验手册包含:培训时长HCIE-Storage V3.0课程培训时长为15个工作日(包含理论和实验)。实验环境请参考产品清单中的《HCIE-Storage V3.0 设备清单》及《HCIE-Storage V3.0 实验环境搭建及恢复指南》进行设备准备及实验环境搭建。讲师赋能及认证考试说明HCIE-Storage V3.0认证考试于2023年7月13日正式上线,考生可以在华为官方网站预约考试,考试报名流程https://e.huawei.com/cn/talent/#/cert/rules。HCIE-Storage V2.5认证考试预计将于2024年1月12日下线,已预约的考生按预约版本参加考试。请广大考生提前做好学习、培训和考试安排。CIE-Storage V3.0于2023年7月13日正式对中国区发布。主要面向希望成为存储行业专家的人员、希望获得HCIE-Storage认证的人员,如:数据中心存储系统架构师、ICT从业人员、华为渠道工程师等。转自华为认证发布区域
  • [技术干货] ​操作系统主要功能 笔记分享
    (1)内存管理主要功能: 内存分配,内存保护,地址映射和内存扩充等.主要任务:   内存分配的主要任务是为每道程序分配内存空间,提高存储器利用率,以减少不可用的内存空间,允许正在运行的程序申请附加的内存空间,以适应程序和数据动态增长的需要. 内存保护的主要任务是确保每道用户程序都在自己的内存空间中运行,互不干扰. 地址映射的主要任务是将地址空间中的逻辑地址转换为内存空间中与之对应的物理地址. 内存扩充的主要任务是借助虚拟存储技术,从逻辑上去扩充内存容量. (2)处理机管理主要功能: 进程控制,进程同步,进程通信和调度. 主要任务: 进程控制:为作业创建进程,撤销已结束的进程,以及控制进程在运行过程中的状态转换. 进程同步:对诸进程的运行进行调节. 进程通信:实现在相互合作进程之间的信息交换. 调度分为作业调度和进程调度.  作业调度基本任务:从后备队列中按照一定的算法,选择出若干个作业,为它们分配必要的资源;   进程调度的任务:从进程的就绪队列中,按照一定的算法选出一新进程,把处理机分配给它,并为它设置运行现场,是进程投入运行. (3)设备管理主要功能:缓冲管理,设备分配和设备处理,以及虚拟设备等.主要任务:完成用户提出的I/O请求,为用户分配I/O设备;提高CPU和I/O设备的利用率;提高I/O速度;以及方便用户使用I/O设备. 缓冲管理:提高CPU的利用率进而提高系统的吞吐量   设备分配:根据用户进程的I/O请求、系统的现有资源以及按照某种设备的分配策略,为之      分配其所需的设备 设备处理:用于实现CPU和设备控制器之间的通信(4)文件管理主要功能:对文件存储空间的管理,目录管理,文件的读,写管理以及文件的共享和保护.主要任务:对用户文件和系统文件进行管理,以方便用户使用,并保证文件的安全性.
  • [技术干货] 快速上手学习实践RAID5
    RAID概念与实现方式      RAID(Redundant Array of Independent Disks):独立冗余磁盘阵列,简称磁盘阵列。RAID是按照一定的形式和方案组织起来的存储设备,它比单个存储设备在速度、稳定性和存储能力上都有很大提高,并且具备一定的数据安全保护能力。RAID 的主要实现方式分为硬件RAID 方式和软件RAID 方式:硬件RAID:利用集成了处理器的硬件RAID适配卡来对RAID任务进行处理,无须占用主机CPU资源。软RAID:通过软件技术实现,需要操作系统支持,一般不能对系统磁盘实现RAID功能。RAID数据保护机制---热备与重构热备(Hot Spare):当冗余的RAID阵列中某个磁盘失效时,在不干扰当前RAID系统正常使用的情况下,用RAID系统中另外一个正常的备用磁盘顶替失效磁盘。热备通过配置热备盘实现,热备盘分为全局热备盘和局部热备盘RAID5:分布式奇偶校验的独立磁盘结构      从它的示意图上可以看到,它的奇偶校验码存在于所有磁盘上,其中的p0代表第0带区的奇偶校验值,其它的意思也相同。RAID5的读出效率很高,写入效率一般,块式的集体访问效率不错。因为奇偶校验码在不同的磁盘上,所以提高了可靠性。但是它对数据传输的并行性解决不好,而且控制器的设计也相当困难。RAID 3 与RAID 5相比,重要的区别在于RAID 3每进行一次数据传输,需涉及到所有的阵列盘。而对于RAID 5来说,大部分数据传输只对一块磁盘操作,可进行并行操作。在RAID 5中有“写损失”,即每一次写操作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。1.在VM中新建了三块200M的硬盘.用于实验.如下图所示:2.查看当前系统识别到的磁盘设备#查看当前系统识别到的磁盘设备cat /proc/partitions 3.用fdisk命令初始化三块新硬盘,设置如下图所示:fdisk /dev/sdc4.RAID5磁盘阵列的硬盘使用情况.如下图所示:fdisk -l5、开始创建磁盘阵列mdadm --creat /dev/md0 --level=5 --raid-devices=3 /dev/sd{c,d,e}16、为新建的/dev/md0建立类型为ext3的文件系统mkfs –t ext3 –c /dev/md07、查看创建效果mdadm --detail /dev/md08、新建目录mkdir /mnt/raid5xmount /dev/md0 /mnt/raid5x9、拷贝文件到磁盘阵列cp 任意文件 /mnt/raid5xll /mnt/raid5x10、实现服务器启动自动挂载磁盘阵列vi /etc/fstab重启之后md0自动变为md127,需要重新进入VI修改为md127重启后最终验证
  • [技术干货] 计算机存储策略笔记分享
    一、高速缓存处理器从寄存器文件中读数据比从主存中读取几乎要快100倍。并且随着半导体技术的进步,这种处理器与主存之间的差距还在持续增大。加快处理器的运行速度比加快主存的运行速度要容易和便宜得多。针对这种处理器与主存之间的差异,系统设计者采用了更小更快的存储设备,称为高速缓存存储器(Cache memory,简称为Cache或高速缓存),作为暂时的集结区域,存放处理器近期可能会需要的信息。    1.根据机械原理,较大的存储设备比较小的存储设备运行得慢,而快速设备的造价远高于同类的低速设备。比如说,一个典型系统上的磁盘驱动器可能比主存大1000倍,但对处理器而言,从磁盘驱动器上读取一个字的时间开销要比从主存中读取的开销大1000万倍。    2.类似地,一个典型的寄存器文件只存储几百字节的信息,而主存里可存放几十亿字节。然而,处理器从寄存器文件中读数据比从主存中读取几乎要快100倍。并且随着这些年半导体技术的进步,这种处理器与主存之间的差距还在持续增大。加快处理器的运行速度比加快主存的运行速度要容易和便宜得多。    3.针对这种处理器与主存之间的差异,系统设计者采用了更小更快的存储设备,称为高速缓存存储器( Cache memory,简称为Cache或高速缓存),作为暂时的集结区域,存放处理器近期可能会需要的信息。    4.如图展示了一个典型系统中的高速缓存存储器。位于处理器芯片上的L1高速缓存的容量可以达到数万字节,访问速度几乎和访问寄存器文件一样快。一个容量为数十万到数百万字节的更大的L2高速缓存通过一条特殊的总线连接到处理器。进程访问L2高速缓存的时间要比访问L1高速缓存的时间长5倍,但是这仍然比访问主存的时间快5~10倍。L1和L2高速缓存是用一种叫做静态随机访问存储器(SRAM)的硬件技术实现的。      5.比较新的、处理能力更强大的系统甚至有三级高速缓存:L1、L2和L3。系统可以获得一个很大的存储器,同时访问速度也很快,原因是利用了高速缓存的局部性原理,即程序具有访问局部区域里的数据和代码的趋势。通过让高速缓存里存放可能经常访问的数据,大部分的内存操作都能在快速的高速缓存中完成二、存储设备层次结构      每个计算机系统中的存储设备都被组织成了一个存储器层次结构。在这个层次结构中,从上至下,设备的访问速度越来越慢、容量越来越大,并且每字节的造价也越来越便宜。寄存器文件在层次结构中位于最顶部,也就是第o级或记为LO。      在处理器和一个较大较慢的设备(例如主存)之间插入一个更小更快的存储设备(例如高速缓存)的想法已经成为一个普遍的观念。实际上,每个计算机系统中的存储设备都被组织成了一个存储器层次结构,如图所示。在这个层次结构中,从上至下,设备的访问速度越来越慢、容量越来越大,并且每字节的造价也越来越便宜。寄存器文件在层次结构中位于最顶部,也就是第O级或记为L0。这里我们展示的是三层高速缓存L1到L3,占据存储器层次结构的第1层到第3层。主存在第4层,以此类推。存储器层次结构的主要思想是上一层的存储器作为低一层存储器的高速缓存。因此,寄存器文件就是L1的高速缓存,L1是L2的高速缓存,L2是L3的高速缓存,L3是主存的高速缓存,而主存又是磁盘的高速缓存。在某些具有分布式文件系统的网络系统中,本地磁盘就是存储在其他系统中磁盘上的数据的高速缓存正如可以运用不同的高速缓存的知识来提高程序性能一样,程序员同样可以利用对整个存储器层次结构的理解来提高程序性能。三、多核处理器内存层次结构      多核处理器可以将多个CPu集成到一个集成电路芯片上。对于多核处理器,每个核都有自己的L1和L2高速缓存,其中的L1高速缓存分为两个部分,一部分保存最近取到的指令,另一部分存放数据。      多核处理器是将多个CPU(称为“核")集成到一个集成电路芯片上。图中描述的是一个典型多核处理器的组织结构,其中微处理器芯片有4个CPu核,每个核都有自己的L1和L2高速缓存,其中的L1高速缓存分为两个部分一个保仔最近取到的指令,力一个存放数据。这些核共享更高层次的高速缓存,以及到主存的接口。工业界的专家预言他们能够将几十个、最终会是上百个核做到一个芯片上。
  • [技术干货] Linux磁盘管理
    fdisk命令用途:在交互式的操作环境中管理磁盘分区格式:fdisk  [磁盘设备]磁盘管理-->块设备文件 b开头-->/dev/ 对于linux系统磁盘命名: IDE接口的硬盘为 hda hdb SAS,SATA,SCSI接口的硬盘 sda  分区sda1 sda2  sdb主引导记录(MBR):位于磁盘的第一个扇区 521字节=446字节  引导程序 记录4个分区表,每个16字节,64字节 还有2个校验字节fdisk磁盘管理工具-l查看所有磁盘信息n创建新分区d删除分区p列出分区表w把分区表写入硬盘并退出e扩展分区Blocks:分区的大小,以Blocks(块)为单位,默认的块大小为1024字节。Id:分区类型的ID标记号,对于EXT3分区为83,LVM分区为8eMBR中只可以划分4个主分区,或者时3个主分区+1个扩展分区 扩展分区后,可以划分逻辑分区1.fdisk划分分区2.创建文件系统 mkfs.xfs /dev/sdb1(划分)   文件系统:组织和管理文件的   FAT16 FAT32 exFAT u盘使用-->不支持单个超过4G   NTFS -->windows使用  ext4/ext3/ext2 -->centos6默认  XFS -->centos7默认  centos6和centos7的区别:默认系统不同mkfs 创建文件系统 -f 强制覆盖,因为系统中主分区加扩展分区占用1-4的分区号,所以第一个逻辑分区为5partprobe刷新分区表df查看系统挂载信息-T显示文件系统类型-h以人类可读方式显示-i查看inode情况Logical Volume Manager,逻辑卷管理作用:动态调整磁盘容量,从而提高磁盘管理的灵活性需要注意:•/boot分区用于存放引导文件,不能基于LVM创建图形界面管理工具•system-config-lvmLVM机制的基本概念PV(Physical Volume,物理卷)• 整个硬盘,或使用fdisk等工具建立的普通分区• 包括许多默认4MB大小的PE(Physical Extent,基本单元)VG(Volume Group,卷组)• 一个或多个物理卷组合而成的整体LV(Logical Volume,逻辑卷)• 从卷组中分割出的一块空间,用于建立文件系统主要命令的语法pvcreate  设备名vgcreate  卷组名  物理卷名1 物理卷名2lvcreate   -L  大小  -n  逻辑卷名  卷组名lvextend  -L  +大小  /dev/卷组名/逻辑卷名
总条数:222 到第
上滑加载中