AGI（Artificial General Intelligence，通用人工智能）和AIGC（Artificial Intelligence Generated Content，人工智能生成内容）是两个不同的概念，它们在人工智能领域中有着各自的定义和应用。AGI（通用人工智能）AGI指的是一种具有与人类相当或更高的认知能力的智能系统，能够理解、学习、计划和解决问题。 AGI的目标是实现类似于人类的广泛智能，使其能够在各种不同领域和任务中表现出色。 这种智能系统不仅能够学习和适应新的任务，还能够像人类一样进行推理、解决问题和创造新的想法。 AGI是人工智能研究的最终目标之一，也是科幻小说和未来研究的一个共同主题。AIGC（人工智能生成内容）AIG指的是利用AI技术，尤其是机器学习和深度学习模型，自动生成内容，如文本、图像、音乐或视频。 AIGC通常专注于特定的创作任务，而不具备AGI的广泛智能和通用学习能力。 它通过从大量数据中学习，模仿人类行为，生成各种新的内容，包括文字、图像、音视频、游戏、代码等多种内容形态。 AIGC的高速发展减少了人类创作内容的时间和成本，也降低了内容创作门槛，激发了全民的使用热情。共同点AGI和AIGC都属于人工智能的范畴，但它们的侧重点、技术和应用领域有很大的区别。AGI的核心在于其通用性和自我学习的能力，而AIGC则更多地体现AI在特定任务上的生成能力。 两者的共同发展，合力推动着人工智能产业实现更大程度的成长。

MATH-500MATH-500是一个专门用于评估数学问题解决能力的评测集，它包含500个测试样本，覆盖了广泛的数学领域，包括代数、几何、数论等多个数学主题。这个数据集的构建旨在为数学问题的自动解答提供一个标准化的测试平台，通过从原始MATH基准中筛选出具有代表性的问题，确保数据集的多样性和挑战性。MATH-500的主要特点在于其专注于数学问题的生成与解答，每个问题都经过精心挑选，以确保其复杂性和实际应用价值。数据集中的问题语言为英语，适合于全球范围内的研究和应用。MATH-500数据集适用于文本生成任务，特别是数学问题的自动解答。研究者和开发者可以利用该数据集训练和评估模型在数学问题生成和解答方面的性能。在MATH-500评测集中，模型的表现可以通过分析其在数据集上的表现来深入理解其在处理复杂数学问题时的优势与不足，从而推动相关领域的技术进步。HumanEval 测试介绍HumanEval是由OpenAI编写发布的代码生成评测数据集，它包含了164个人工编写的Python编程问题。这个数据集用于评估大语言模型生成代码的能力，特别是模型在解决实际编程问题时的性能。HumanEval要求模型针对每个单元测试问题生成k个代码样本（k可以是1, 10, 100等），然后评估这些样本中至少有一个能够通过测试的概率。这个测试集不仅考察模型的代码生成能力，还考察其逻辑推理能力，是一个挑战性的任务集，用于测试模型在真实世界适用性方面的表现。HumanEval的评估原理包括执行代码并验证结果、多线程并行评估以及计算pass@k指标，其中pass@k衡量模型在不同k值下的平均表现。

MoE LLM（Mixture of Experts Large Language Model）模型是一种先进的神经网络架构，它通过动态选择专门的子模型或“专家”来处理输入的不同部分，以提高模型的效率和可扩展性。以下是MoE LLM模型的一些关键点：MoE的定义及核心概念：MoE，即混合专家模型，是一种利用多个不同的子模型（或称为“专家”）来提升大型语言模型（LLM）质量的技术。它的核心思想是将复杂的任务分解为更小、更易于管理的子任务，每个子任务都由专门的迷你模型处理。MoE的主要组成部分：专家（Experts）：这些是专门针对特定任务的子模型。例如，在图像分类任务中，一个专家可能专门识别纹理，而另一个专家可能识别边缘或形状。门控网络（Gating Network）：门控网络是一个选择器，它决定将哪些输入数据发送给哪些专家。它类似于一个路由器，为每个输入选择最佳的一个或两个专家。稀疏激活（Sparse Activation）：只有少数专家针对每个输入被激活的方法，优化了计算效率。MoE的优势：提升模型效率：通过专家分工和动态选择机制，MoE能够显著降低计算成本和推理时间。增强模型性能：每个专家模型都专注于处理特定类型的输入数据，从而提高了模型的表征能力和泛化能力。适应多模态数据：MoE模型可以自然地处理多模态数据，每个专家模型可以学习处理特定的模态信息。MoE的应用：MoE已经被广泛应用于各种大模型LLM中，如GPT-4、Gemini 1.5等。它们通过引入MoE架构，不仅提升了模型的性能，还降低了训练难度和推理成本。MoE不仅限于NLP领域，它也被应用于计算机视觉和多模态应用中，如谷歌的V-MoE架构。MoE的挑战与机遇：尽管MoE在训练复杂性和通信成本方面存在挑战，但它在可扩展性、灵活性和效率方面的优势使其成为现代AI应用中越来越受欢迎的选择。MoE LLM模型通过这种分工合作的方式，使得大型语言模型能够更高效地处理复杂的任务，同时保持较低的计算成本，这在处理大规模数据集和复杂任务时尤为重要。

 举例来说，以手写数字识别为例，  输入层是28*28的图片，展开是784个像素，每个像素的灰度值，即是输入层的神经元。 假设中间选择了两个隐藏层，每层有16个神经元，  网络大约有13,000个权重和偏置可以调整，正是这些值决定了网络实际上做了什么。  换句话说，神经网络，要学习到的目标就是这13,002个权重和偏置。 （解释：因为网络层的每个神经元，都是和前一层的每个神经元连接的，所以权重是 784*16+...。简单的看，可以将weights理解为连线，biases理解为倾向性） 图片来源：Gradient descent, how neural networks learn | DL2  (3Blue1Brown)

Stochastic Gradient Descent (SGD) 是一种用于优化具有适当平滑性质（例如可微或次可微）的目标函数的迭代方法。它被视为梯度下降优化的随机近似，因为它用从整个数据集中计算出的真实梯度的估计值（从数据的随机选择子集计算得出）替换了实际梯度。特别是在高维优化问题中，这减少了非常高的计算负担，以较低的收敛速度换取更快的迭代。SGD 的基本思想可以追溯到20世纪50年代的Robbins-Monro算法。如今，SGD已成为机器学习中重要的优化方法。SGD 考虑的问题是最小化具有求和形式的目标函数。在经典统计学中，求和最小化问题出现在最小二乘法和最大似然估计（针对独立观测）中。作为求和最小化器出现的一般估计器类别被称为M-估计器。然而，在统计学中，人们早已认识到，对于一些最大似然估计问题，要求即使是局部最小化也过于严格。因此，当代统计理论家经常考虑似然函数的稳定点（或其导数，得分函数，以及其他估计方程的零点）。SGD 是训练各种机器学习模型的流行算法，包括（线性）支持向量机、逻辑回归和图形模型。当与反向传播算法结合时，它成为训练人工神经网络的事实上的标准算法。SGD 与 L-BFGS算法竞争，后者也被广泛使用。SGD 自20世纪60年代以来一直用于训练线性回归模型，最初名为ADALINE。SGD的另一个算法是最小均方（LMS）自适应滤波器。SGD 有许多改进和变体。特别是，在机器学习中，设置学习率（步长）被认为是有问题的。设置这个参数太高可能导致算法发散；设置太低则使算法收敛缓慢。

这个项目名为 "Gradient Descent Visualization"，是一个桌面应用程序，旨在可视化展示机器学习中几种流行的梯度下降方法。这些方法包括普通的梯度下降（vanilla gradient descent）、动量（momentum）、AdaGrad、RMSProp 和 Adam。项目的目标是让无论是初学者还是专家，都可以通过调整不同的设置，直观地理解这些方法的工作原理。特点：多种曲面选择：用户可以选择不同的曲面进行可视化，例如，通过屏幕录像可以看到 Adam 和 RMSProp 在处理鞍点时比简单的梯度下降或动量方法表现得更好。参数调整：用户可以调整参数，比如学习率等，来观察不同参数设置对梯度下降方法的影响。逐步动画：提供了一个逐步动画，用于可视化每种方法的计算过程，例如动量下降的内部工作机制。视觉元素追踪：使用视觉元素来追踪梯度、动量、梯度平方和（通过大小与项的大小相对应的正方形来可视化）、调整后的梯度（根据方法不同，可能是除以梯度平方和或加上动量）以及路径。路径绘制：可以看到不同方法如何以不同的方式达到目的地。构建：这个应用程序是用 C++ 编写的，使用 Qt 框架，并且是跨平台的。提供了 MacOS 和 Windows 的预构建应用程序下载链接，也可以从源代码构建，需要下载并安装 Qt 5.10 或更高版本，并确保安装了 Qt Data Visualization 包。代码结构：窗口类：负责 UI 布局，包括所有侧边栏上的控件（如自旋框、输入文本框等）。绘图区域类：负责绘图区域内的动作，包括响应用户输入的方法。动画类：控制动画逻辑，每种下降方法都有自己的派生动画类，负责创建和销毁动画对象以及它们的位置和属性。项目类及其派生类：继承自 QtCustom3DItem，实现自定义项目，如箭头、正方形、路径等。梯度下降类及其派生类：是每种下降方法的数学实现。地址是：https://github.com/lilipads/gradient_descent_viz建议访问国内地址：https://gitee.com/lu_xiang_jiang/gradient_descent_viz/

角色描述：A time-traveling historian: A bespectacled man in a vintage suit, holding an antique pocket watch and a map of the historical sites.A mischievous time-traveling cat: A cat wearing a tiny pilot's cap and goggles, perched on the historian's shoulder, with a playful expression.中文翻译：时空旅行的历史学家：一个戴着眼镜、穿着复古西装的男士，手持一只古董怀表和一张历史遗址地图。淘气的时空旅行猫：一只戴着小飞行员帽和护目镜的猫，蹲在历史学家的肩膀上，表情顽皮。漫画描述：Frame 1: The historian stands in front of a grand library, the time-traveling cat on his shoulder, as they prepare for their journey. Frame 2: With a twist of the pocket watch, they vanish in a burst of light, transported back in time. Frame 3: They arrive in ancient Egypt, the historian taking notes while the cat explores the pyramids. Frame 4: The historian chases after the cat as it darts towards a group of sphinxes, causing a minor commotion. Frame 5: They find themselves in medieval Europe, the cat playfully ringing a town bell, attracting the attention of villagers. Frame 6: The historian and the cat are seen sneaking into a castle, the cat's eyes gleaming with excitement. Frame 7: They return to the present, the historian with a stack of new historical findings, the cat with a feather in its mouth.中文翻译：第一帧：历史学家站在宏伟的图书馆前，时空旅行猫蹲在他的肩膀上，他们准备开始旅程。 第二帧：随着怀表的一扭，他们在一束光中消失，被传送回过去。 第三帧：他们到达古埃及，历史学家在做笔记，而猫在探索金字塔。 第四帧：历史学家追着猫，因为猫突然冲向一群狮身人面像，引起了一阵小骚动。 第五帧：他们发现自己在中世纪的欧洲，猫顽皮地敲响了城镇的钟，吸引了村民的注意。 第六帧：历史学家和猫被看到偷偷溜进一座城堡，猫的眼睛闪烁着兴奋的光芒。 第七帧：他们回到了现在，历史学家手里拿着一堆新的历史发现，猫嘴里叼着一根羽毛。生成图：

剧本故事：角色描述：A time-traveling historian: A bespectacled man in a vintage suit, holding an antique pocket watch and a map of the historical sites.A mischievous time-traveling cat: A cat wearing a tiny pilot's cap and goggles, perched on the historian's shoulder, with a playful expression.中文翻译：时空旅行的历史学家：一个戴着眼镜、穿着复古西装的男士，手持一只古董怀表和一张历史遗址地图。淘气的时空旅行猫：一只戴着小飞行员帽和护目镜的猫，蹲在历史学家的肩膀上，表情顽皮。漫画描述：Frame 1: The historian stands in front of a grand library, the time-traveling cat on his shoulder, as they prepare for their journey. Frame 2: With a twist of the pocket watch, they vanish in a burst of light, transported back in time. Frame 3: They arrive in ancient Egypt, the historian taking notes while the cat explores the pyramids. Frame 4: The historian chases after the cat as it darts towards a group of sphinxes, causing a minor commotion. Frame 5: They find themselves in medieval Europe, the cat playfully ringing a town bell, attracting the attention of villagers. Frame 6: The historian and the cat are seen sneaking into a castle, the cat's eyes gleaming with excitement. Frame 7: They return to the present, the historian with a stack of new historical findings, the cat with a feather in its mouth.中文翻译：第一帧：历史学家站在宏伟的图书馆前，时空旅行猫蹲在他的肩膀上，他们准备开始旅程。 第二帧：随着怀表的一扭，他们在一束光中消失，被传送回过去。 第三帧：他们到达古埃及，历史学家在做笔记，而猫在探索金字塔。 第四帧：历史学家追着猫，因为猫突然冲向一群狮身人面像，引起了一阵小骚动。 第五帧：他们发现自己在中世纪的欧洲，猫顽皮地敲响了城镇的钟，吸引了村民的注意。 第六帧：历史学家和猫被看到偷偷溜进一座城堡，猫的眼睛闪烁着兴奋的光芒。 第七帧：他们回到了现在，历史学家手里拿着一堆新的历史发现，猫嘴里叼着一根羽毛。生成图：

剧本故事： 角色描述：  1. A young inventor: A girl with curly hair, wearing round glasses and a lab coat, holding a blueprint in one hand and a screwdriver in the other. 2. A robot companion: A sleek, futuristic robot with a friendly face, standing beside the girl, holding a toolbox with both mechanical arms.  中文翻译：  1. 年轻发明家：一个卷发女孩，戴着圆框眼镜，穿着实验室白大褂，一手拿着蓝图，另一手握着螺丝刀。 2. 机器人伙伴：一个时尚、未来感十足的机器人，面带友好的表情，站在女孩旁边，用两只机械手臂拿着工具箱。  漫画描述：  Frame 1: The young inventor is hunched over a workbench, intently working on a new gadget. Frame 2: The robot companion hands her a tool from the toolbox, and she nods in appreciation. Frame 3: They both step back as their newly built machine comes to life, sparks flying. Frame 4: The girl high-fives the robot, their eyes gleaming with excitement over their creation. Frame 5: Together, they test the machine outside, as it soars into the sky, leaving a trail of colorful lights. Frame 6: The duo celebrates their success, surrounded by a crowd of people cheering and taking photos.  中文翻译：  第一帧：年轻发明家弯腰在工作台上，专注地制作一个新的小装置。 第二帧：机器人伙伴从工具箱中递给她一个工具，她点头表示感谢。 第三帧：他们俩退后一步，他们新造的机器启动了，火花四溅。 第四帧：女孩和机器人击掌庆祝，他们对自己的创造感到兴奋，眼睛闪烁着光芒。 第五帧：他们一起在外面测试机器，机器飞向天空，留下一道彩色的光迹。 第六帧：这对搭档庆祝他们的成功，周围是一群欢呼和拍照的人群。 生成的漫画：

在这次技术咨询项目中，AI架构的设计，让台风预测模型这项人工智能技术首次在地质领域应用。引入大模型，可不是简单的上层模型添加进来，而是一项系统工程。     台风模型是小模型，在需求分析阶段，就要先搜集台风模型采用的算法和了解模型预训练的数据集，这是模型的大脑和成长养分。台风模型的算法，主要是知识图谱的关联算法。在以往的台风路径中，把一张张图片打上标识并分析两张图之间的相似量。比如在浪高10米的台风图片中，有几张台风的轨迹坐标都非常相似，符合这些要素的台风就是相似台风，把共性路径坐标抽取出来，形成一条路径。新的台风来临，如果要素跟这条路径相似，那预测这个台风下一步的轨迹也会大致沿着路径前进。   为了让算法能顺利发挥作用，它需要训练，为此我们把院内以往积累的台风预警报告文件都发给了模型，但这是非结构化数据，模型还不能完全读懂，因此模型外还做了一个应用服务，跟院内每天台风预测信息系统对接，获取当天的人工数据。    此系统是院内早些年搭建的应用系统，国内所有省份每天都会进行气象会商，通过原始却有效的方法，人们进行着年复一年，日复一日的协同交流工作。这就像没有发明对讲机以前，村里通讯基本靠大喇叭；没有大喇叭以前，基本靠跑动交流......     然而，人会疲惫，机器不会。这些结构化数据读取后，模型就会慢慢累积历史上本地经过的台风活动的轨迹、风力、浪高、风向.......这是自我学习的过程。除了这模型本身，下层依赖的Model Art平台，下回我们接着聊它是如何支撑台风模型实战。欢迎点赞原文和关注公众号“科技江河”，如果喜欢，欢迎打赏呗，感谢。

上次跟客户单位讨论台风模型的工作流程，客户是地质专家，对业务非常熟悉，可是一直认为我们的台风模型不符合业务流，对模型在训练阶段前稍微做了些定制，发现对模型应用非常有帮助。    模型在投入新应用前，有三个阶段：微调、预训练和训练。    客户对模型微调有一些改动，提出用全参调试。他指定了要用的关键参数，风力、浪高、有效波高、路径......在地质院每天会商会议上，各省市主要核对的也是这些参数。客户对参数做了一些阈值预设。    指定了参数后，还有预训练，这里涉及训练数据集和算子。 台风的训练数据是以往历史台风记录，而验证数据集则选定最近会商发布的台风记录。算子是一种逻辑算法，也就是教会计算机认识这些数据集，训练数据集之间有什么关联。算子也分为几种台风，例如海上产生的台风、大陆产生的台风等，每一种类型都有不同的算子。     进入训练阶段，就要开始跟云平台关联了。云平台是一种能力平台，上面有各种各样的OBS桶，有大的，有小的，有适合装文件数据的，有适合装图片数据的......台风记录通常是文件文档，因此选择大的适合装文件数据的OBS桶。这个桶就是在存储台风模型训练过程中产生的数据，以及训练后模型输出的结果数据。      台风模型后，就是具备一定分析推理能力的智能体，但上面说过，还要配置一定的业务流程才能让智能体更适合业务使用。业务流程在Model Art的studio中调试，这个平台可以进行流程改造，让台风模型输出相似路径后可以直接嵌入各种场景中使用，Model Art studio就像一个工作间，可以在这里创造和定制模型。

     在这次技术咨询项目中，AI架构的设计，让台风预测模型这项人工智能技术首次在地质领域应用。引入大模型，可不是简单的上层模型添加进来，而是一项系统工程。     台风模型是小模型，在需求分析阶段，就要先搜集台风模型采用的算法和了解模型预训练的数据集，这是模型的大脑和成长养分。台风模型的算法，主要是知识图谱的关联算法。在以往的台风路径中，把一张张图片打上标识并分析两张图之间的相似量。比如在浪高10米的台风图片中，有几张台风的轨迹坐标都非常相似，符合这些要素的台风就是相似台风，把共性路径坐标抽取出来，形成一条路径。新的台风来临，如果要素跟这条路径相似，那预测这个台风下一步的轨迹也会大致沿着路径前进。   为了让算法能顺利发挥作用，它需要训练，为此我们把院内以往积累的台风预警报告文件都发给了模型，但这是非结构化数据，模型还不能完全读懂，因此模型外还做了一个应用服务，跟院内每天台风预测信息系统对接，获取当天的人工数据。    此系统是院内早些年搭建的应用系统，国内所有省份每天都会进行气象会商，通过原始却有效的方法，人们进行着年复一年，日复一日的协同交流工作。这就像没有发明对讲机以前，村里通讯基本靠大喇叭；没有大喇叭以前，基本靠跑动交流......     然而，人会疲惫，机器不会。这些结构化数据读取后，模型就会慢慢累积历史上本地经过的台风活动的轨迹、风力、浪高、风向.......这是自我学习的过程。除了这模型本身，下层依赖的Model Art平台，下回我们接着聊它是如何支撑台风模型实战。欢迎点赞原文和关注公众号“科技江河”，如果喜欢，欢迎打赏呗，感谢。

活动链接：https://pangu.huaweicloud.com/gallery/asset-detail.html?id=c1cf0774-59ce-44fc-a4a8-8fcf026d2fec实验注意步骤：1. 需要切换规格为8核，64G2. python版本需要切换为python-3.10.10完成后会生成一个URL：优点：一键式体验，非常容易上手，灵活性很强建议：1. 增加更多实际案例和详细的操作步骤，特别是对于复杂功能和高级应用场景的教程，帮助用户更好地理解和掌握平台的使用方法2. 进一步多语言版本，满足各种语言背景用户的需求，不应只适配英文传入

华为云开发者日·北京站来啦！参加“ModelArts 一站式AI开发平台:一键玩转丑萌黏土风滤镜”体验项目提出你的建议或使用体验有机会获得开发者盲盒礼包惊喜不容错过，快叫上小伙伴一起来参加吧~【体验项目】ModelArts 一站式AI开发平台:一键玩转丑萌黏土风滤镜【活动时间】2024年12月23日-12月31日【参与方式】直接在此活动帖下方回帖提建议/提建议即可比如对产品功能的改进建议、对活动流程的感想、对现场活动的感悟等等PS：不要少于30字哦~【获奖规则】奖项设置有效回复楼层评选条件获奖名额激励礼品优质建议奖20对产品功能有改进价值的建议1名开发者盲盒礼品价值50-100元积极反馈奖20优质建议奖轮空的情况下进行抽取每满20层抽取1名开发者盲盒礼品价值50元【活动规则】1、本帖的回帖建议不少于30字，仅限于对“ModelArts 一站式AI开发平台:一键玩转丑萌黏土风滤镜”体验项目，其他项目建议不参与此次活动，否则将视为无效内容。2、本次活动将根据实际参与情况发放奖励，包括但不限于用户百分之百中奖或奖项轮空的情况；以上奖品均为实物奖品，具体发放视出库情况而定；3、活动预计于结束后七天内完成奖项公示，并于结束后15个工作日内完成邮寄。【温馨提示】1、请务必使用个人实名账号参与活动（IAM、企业账号等账号参与无效）。如一个实名认证对应多个账号，只有一个账号可领取奖励，若同一账号填写多个不同收件人或不同账号填写同一收件人，均不予发放奖励。2、所有获得奖品的获奖用户，请于获奖后3日内完成实名认证，否则视为放弃奖励。

恭喜以下获奖用户，获奖名单公示如下：本期（华为云AI系列直播第七期）直播获奖公示时间为：2024.12.18-2024.12.25，请以上未反馈获奖信息的伙伴，尽快前往填写“用户获奖信息收集问卷”进行反馈。如过了公示期还未反馈信息的，将视为自动放弃获取资格。①请务必使用本人实名账号参与活动（IAM、企业账号等账号参与无效）。为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为，黑产用户不计入活动统计），利用资源从事违法违规行为的用户收回奖励资格，参与活动账号需和得奖收件人为同一人，否则不予发放奖励。 ②为确保活动公平，给予每一位云学堂用户激励，由华为云学堂发起的所有直播活动中，同一华为云账号限对应一个兑奖人信息（包括但不限于姓名、联系电话、地址等），如遇不同华为云账号参与抽奖，但使用相同兑奖人信息，则中奖机会作废，不予兑奖，请知悉。 注：同一华为云账号在不同直播活动中不限制参与抽奖。同一场直播中，同一个IP/电话，只可中奖一次（优先发高价值礼品）。在同一系列直播活动中，同一个兑奖人信息（包括但不限于姓名、联系电话、地址等），每种奖项类型只可中一次。 ③本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效，用户应当主动查阅本活动规则的最新内容。  感谢各位伙伴参与本次活动，欢迎关注华为云学堂的直播活动。