- 解难题做难事,重塑干行万业 解难题做难事,重塑干行万业
- 推进代码大模型的发展,共创产业价值 推进代码大模型的发展,共创产业价值
- 扫码报名CANN训练营24年第一季,限时领取免费学习资源,完成认证考核赢华为手机、开发板等重磅大奖! 扫码报名CANN训练营24年第一季,限时领取免费学习资源,完成认证考核赢华为手机、开发板等重磅大奖!
- 随着语言模型参数量和所需训练数据量的急速增长,单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练(Distributed Training)系统来解决海量的计算和内存资源要求问题。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务,并将子任务分发给多个计算设备,从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群,训练模型参数量千亿甚至是万亿的大... 随着语言模型参数量和所需训练数据量的急速增长,单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练(Distributed Training)系统来解决海量的计算和内存资源要求问题。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务,并将子任务分发给多个计算设备,从而解决资源瓶颈。但是如何才能利用包括数万计算加速芯片的集群,训练模型参数量千亿甚至是万亿的大...
- 在技术革新的浪潮中,「开源」正成为一股不可小觑的力量!Meta,作为开源领域的佼佼者,其最新推出的Llama 3模型无疑再次证明了其在这一领域的领导地位。近日,Meta(原 Facebook)开源了他们公司的新一代大模型 Llama 3,虽然目前只放出了 8B 和 70B 两个版本,但是在评估结果上已经优于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 等... 在技术革新的浪潮中,「开源」正成为一股不可小觑的力量!Meta,作为开源领域的佼佼者,其最新推出的Llama 3模型无疑再次证明了其在这一领域的领导地位。近日,Meta(原 Facebook)开源了他们公司的新一代大模型 Llama 3,虽然目前只放出了 8B 和 70B 两个版本,但是在评估结果上已经优于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 等...
- 3月21日,在巴黎举办的云原生顶级峰会KubeCon EU 2024上 ,华为云首席架构师顾炯炯在“Cloud Native x AI:以持续开源创新开启智能时代”的主题演讲中指出,云原生和AI技术的融合,是推动产业深刻变革的关键所在。华为云将持续进行开源创新,与开发者共启智能时代。▲华为云首席架构师顾炯炯发表演讲▶AI对于云原生范式提出关键挑战在过去的几年里,云原生彻底改变了传统的IT系统... 3月21日,在巴黎举办的云原生顶级峰会KubeCon EU 2024上 ,华为云首席架构师顾炯炯在“Cloud Native x AI:以持续开源创新开启智能时代”的主题演讲中指出,云原生和AI技术的融合,是推动产业深刻变革的关键所在。华为云将持续进行开源创新,与开发者共启智能时代。▲华为云首席架构师顾炯炯发表演讲▶AI对于云原生范式提出关键挑战在过去的几年里,云原生彻底改变了传统的IT系统...
- 今天世界气象日“气候行动最前线”主题活动上华为云&深圳市气象局发布首个人工智能区域预报模型“智霁”1.0模型现已正式上线华为云联合深圳气象局率先开展人工智能区域预报模型联创研发。“智霁”区域模型以华为云盘古气象大模型为基础,融合区域高质量气象数据集,可快速得到未来5天深圳及周边地区空间分辨率为3公里,包含气温、降雨、风速等气象要素的预报。在历时半年的深度联创过程中,华为云投入大量AI算力支撑... 今天世界气象日“气候行动最前线”主题活动上华为云&深圳市气象局发布首个人工智能区域预报模型“智霁”1.0模型现已正式上线华为云联合深圳气象局率先开展人工智能区域预报模型联创研发。“智霁”区域模型以华为云盘古气象大模型为基础,融合区域高质量气象数据集,可快速得到未来5天深圳及周边地区空间分辨率为3公里,包含气温、降雨、风速等气象要素的预报。在历时半年的深度联创过程中,华为云投入大量AI算力支撑...
- Sora这几天的爆炸性新闻,让所有人工智能相关从业者及对应用感兴趣的人群都感到沸腾,震撼到央视也在进行相关的讨论,简直可以和2023年初ChatGPT讨论带来的热潮一般。所以它到底为什么这么火? 一、什么是SORA?Sora 是OpenAI最新发布的文本生成视频模型,不仅可以生成长达一分钟的视频,且能完全遵照用户的 Prompt 并保持视觉质量。OpenAI 这个公司的格局非常大,他想要做... Sora这几天的爆炸性新闻,让所有人工智能相关从业者及对应用感兴趣的人群都感到沸腾,震撼到央视也在进行相关的讨论,简直可以和2023年初ChatGPT讨论带来的热潮一般。所以它到底为什么这么火? 一、什么是SORA?Sora 是OpenAI最新发布的文本生成视频模型,不仅可以生成长达一分钟的视频,且能完全遵照用户的 Prompt 并保持视觉质量。OpenAI 这个公司的格局非常大,他想要做...
- 除夕是中国人一年中最热闹喜庆的节日可有些人却被困在寂静里根据第二次全国残疾人抽样调查结果,我国现有2780万听障人士。因为听觉的缺失,他们日常生活面临许多问题,更难以在像今天这样重要的日子里,亲口说出新春的祝愿。我们可以做些什么帮助他们打破跟世界对话的屏障呢?历时数月,华为云的工程师们升级了盘古数字人大模型,只为帮助一个女孩在这个除夕,对世界说一句,“愿你在新的一年里,万事顺遂,身体健康”。... 除夕是中国人一年中最热闹喜庆的节日可有些人却被困在寂静里根据第二次全国残疾人抽样调查结果,我国现有2780万听障人士。因为听觉的缺失,他们日常生活面临许多问题,更难以在像今天这样重要的日子里,亲口说出新春的祝愿。我们可以做些什么帮助他们打破跟世界对话的屏障呢?历时数月,华为云的工程师们升级了盘古数字人大模型,只为帮助一个女孩在这个除夕,对世界说一句,“愿你在新的一年里,万事顺遂,身体健康”。...
- 随着最近这些年来基于统计机器学习的自然语言处理的算法的发展,以及信息检索研究的需求,特别是近年来深度学习和预训练语言模型的研究以及国内国外许多大模型的开源,研究人员们构建了多种大规模开源数据集,涵盖了网页、图片、论文、百科等多个领域。在构建大语言模型时,数据的质量和多样性对于提高模型的性能至关重要‘同时,为了推动大模型的语言的研究和应用,学术界和工业界也开放了多个针对大语言模型的开源... 随着最近这些年来基于统计机器学习的自然语言处理的算法的发展,以及信息检索研究的需求,特别是近年来深度学习和预训练语言模型的研究以及国内国外许多大模型的开源,研究人员们构建了多种大规模开源数据集,涵盖了网页、图片、论文、百科等多个领域。在构建大语言模型时,数据的质量和多样性对于提高模型的性能至关重要‘同时,为了推动大模型的语言的研究和应用,学术界和工业界也开放了多个针对大语言模型的开源...
- 华为云数据库创新Lab在论文《Efficient Cardinality and Cost Estimation with Bidirectional Compressor-based Ensemble Learning》中提出了基于集成学习的基数和代价估计模型。本文发表在ICDM'23上, ICDM会议是由电气与电子工程师协会组织的、数据挖掘领域的顶级国际学术会议。 华为云数据库创新Lab在论文《Efficient Cardinality and Cost Estimation with Bidirectional Compressor-based Ensemble Learning》中提出了基于集成学习的基数和代价估计模型。本文发表在ICDM'23上, ICDM会议是由电气与电子工程师协会组织的、数据挖掘领域的顶级国际学术会议。
- 大语言模型训练需要数万亿的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。虽然,截止到2023 年9 月为止,还没有非常好的大模型的理论分析和解释,也缺乏对语言模型训练数据的严格说明和定义。但是,大多数研究人员都普遍认为训练数据是影响大语言模型效果以及样本泛化能力的关键因素之一。从此前的研究来看,预训练数据需要涵盖各种类型,包括网络数据、图书、论文、百科和社... 大语言模型训练需要数万亿的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。虽然,截止到2023 年9 月为止,还没有非常好的大模型的理论分析和解释,也缺乏对语言模型训练数据的严格说明和定义。但是,大多数研究人员都普遍认为训练数据是影响大语言模型效果以及样本泛化能力的关键因素之一。从此前的研究来看,预训练数据需要涵盖各种类型,包括网络数据、图书、论文、百科和社...
- 近日,开发者群体正热议一款基于开源模型更换张量(Tensor)名字的话题。研究者认为零一万物近期发布的Yi-34B 模型基本上采用了 LLaMA 的架构,只是重命名了两个张量。LlaMA(羊驼)这个大模型再次冲上热搜!LLaMA(Large Language Model Meta AI),由 Meta AI 发布的一个开放且高效的大型基础语言模型,共有 7B、13B、33B、65B(650 ... 近日,开发者群体正热议一款基于开源模型更换张量(Tensor)名字的话题。研究者认为零一万物近期发布的Yi-34B 模型基本上采用了 LLaMA 的架构,只是重命名了两个张量。LlaMA(羊驼)这个大模型再次冲上热搜!LLaMA(Large Language Model Meta AI),由 Meta AI 发布的一个开放且高效的大型基础语言模型,共有 7B、13B、33B、65B(650 ...
- 语言模型目标是建模自然语言的概率分布,在自然语言处理研究中具有重要的作用,是自然语言处理基础任务之一。大量的研究从n 元语言模型(n-gram Language Models)、神经语言模型(Neural Language Models,NLM)以及预训练语言模型(Pre-trained Language Models,PLM)等不同角度开展了系列工作。这些研究在不同阶段都对自然语... 语言模型目标是建模自然语言的概率分布,在自然语言处理研究中具有重要的作用,是自然语言处理基础任务之一。大量的研究从n 元语言模型(n-gram Language Models)、神经语言模型(Neural Language Models,NLM)以及预训练语言模型(Pre-trained Language Models,PLM)等不同角度开展了系列工作。这些研究在不同阶段都对自然语...
- 深度学习(DL)虽然在日志异常检测中得到了不少应用,但在实际轻量级运维模型选择中,必须仔细考虑异常检测方法与计算成本的关系。具体来说,尽管深度学习方法在日志异常检测方面取得了出色的性能,但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断,从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究... 深度学习(DL)虽然在日志异常检测中得到了不少应用,但在实际轻量级运维模型选择中,必须仔细考虑异常检测方法与计算成本的关系。具体来说,尽管深度学习方法在日志异常检测方面取得了出色的性能,但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断,从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究...
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用
2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用?本期直播将聚焦华为云设备接入平台,结合AI、鸿蒙(OpenHarmony)、大数据等技术,实现物联网端云协同创新场景,教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅:基础入门篇
2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述,以及Ascend C快速入门,夯实Ascend C算子编程基础
即将直播 -
深入解析:华为全栈AI解决方案与云智能开放能力
2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案,并能够更加熟练地运用这些技术。通过洞悉华为解决方案,了解人工智能完整生态链条的构造。
去报名
热门标签