LangChain 的核心思想是，你可以把不同的组件"链接"起来，形成一个链。每个组件都有自己的功能，比如调用一个LLM、处理文本、存储数据等。通过链接不同的组件，可以实现更复杂和更灵活的功能。在目前的LLM社区，LangChain己经是流行的开发框架，多数应用都使用它作为开发基础。举个例子。利用LangCham实现一个简单的问答机器人，这个机器人可以根据我们准备的语料回答问题。在动手之前，我们要先了解一下语料训练用到的一个核心技术：Embeddings。这种技术可以将原始数据表示为向量空间中的点，这样相似的数据点就可以在向量空间中靠近，而不相似的点则远离，从而更容易地进行计算和比较，因此Embeddings向量通常具有许多有用的功能，如可以使用它们进行词汇语义相似性计算、词性分类、情感分析等。举例中的问答机器人，就会用到向量相关性计算，这是Embeddings技术的一种经典应用场景。除了LangChain，还需要中文分词工具、向量数据库。可以分别使用jieba, chromadb。进行分词之后，在对数据进行切块处理，将文本数据按照一定的大小进行切割，便于后续处理。向量化处理是问答机器人的核心，将切块处理后的数据用OpenAI的Embeddings方法进行向量化处理。有了向量数据，就可以创建问答Chain了。这个Chain是一个由多个模型和处理步骤组成的自然语言处理管道，它可以对用户输入的问题进行解析和分析，然后生成相应的答案。在创建问答Chain时，我们可以根据具体的需求选择合适的语言训练模型。如，OpenAI的gpt-3.5-turbo模型是一种基于Transformer结构的大型预训练语模型，具有非常强大的自然语生成和理解能力，可以用于各种自然语言处理任务，如文本生成、翻译、对话系统等。通过加载这个模型，我们可以使问答系统更加智能和灵活，为用户提供更加准确和全面的答案。接下来就可以向机器人提问了。需要注意的是，如果我们把每次聊天的答案记录下来，在提问的时候传回到Chain方法中，那机器人就会结合上下文进行推断；如果我们每次传空，则机器人只会根据当前问题进行回答。可以通过引入更加先进的自然语言处理技术，来进一步提高问答机器人的性能和效率，如使用预训练模型进行语义匹配、采用知识图谱进行答案生成等。

二月问题总结如下：【1】在ECS windows部署Llama2 尝试使用MLC运行，但出现以下报错，求助cid:link_0【2】atlas300P3 在容器中访问rtsp流地址报错No route to host cid:link_1【3】ECS上面，我看机器学习推荐的只有N卡，想问下华为自己的显卡在ModelArts那边不是能用，为啥还没上ECS cid:link_2【4】昇腾310（Ascend 310）能不能用来搭建stable diffusecid:link_3【5】 acl init failed, errorCode = 100039cid:link_4

你一定用过Transformers库，下面是它的一些介绍，相信可以让你对它有更多的了解。Hugging Face是一家在自然语言处理和人工智能领域的公司，以开发开源的软件库和工其为主，其中最受欢迎的是Transformers库，广泛应用于诸如语言翻译、情感分析和问答等多种自然语言处理任务。在NLP领域，Hugging Face因其提供了基于Transformer的模型而闻名。为了方便用户使用，Hugging Face还提供了以下几个项目：Transformers Transformers库是Hugging Face的核心，我们学习Hugging Face其实就是为了学习怎么使用这个库。这个库提供了API和很多工具及方法，方便我们下载和训练最先进的预训练模型。这些模型支持不同模态下的常见任务，例如自然语言处理、计算机视觉、音频、多模态等。Datasets 使用该框架，只需要少量代码即可轻松下载和预处理常见公开数据集。同时还提供了强大的数据预处理方法，可帮助我们快速地准备数据，以用于训练机器学习模型。Space 在线体验很多有趣的应用，比如根据文字生成图片，根据我们的照片制作合成音视频等。如何使用Transformers进行推理呢？首先我们先要安装Transformers：pip insta11 transformers如果任务比较简单，Transformers的pipline（）函数本身就提供了很丰富的功能，比如下面的代码，就进行了一个简单的情感分析：from transformers import pipeline classifier = pipeline("text-classification") classifier("This book is awesome.")运行上面的代码，会先下载默认的模型，在加载模型的时候，可能会因为缺少库而报错，我们只需要安装对应的库即可，模型下载好以后就会对我们输入的句子进行情感分析，结果如下：[{'label':'POSITIVE'，'score':0.9998772144317627}]

GPT3.5系列：该系列的模型可以理解并生成自然语言或代码。这其中最强大且最具成本效益的GPT3.5模型是gpt-3.5-turbo,这个模型不但针对聊天进行了优化，也适用于传统的文本补全等任务。除此之外，Davinci系列模型擅长理解复杂的意图，总结、解决各种逻辑问题和动机问题。Curie系列模型擅长回答问题和理解情感总结摘要。Babbage系列可以执行简单的任务，进行语义搜索。而Ada系列通常是最快的模型，可以执行解析文本、地址更正和不需要太多细微差别的某些分类任务等。面对如此多的模型，我们该如何选择呢？我们可以使用GPT比较工具，同时运行不同的模型来比较输出、设置和响应时间等，从而找到最适合的模型。

有时候觉得人工智能很厉害，比如华为的自动驾驶，确认让人眼前一亮。并且随着智驾 的推广，越来越多的人可以享受到AI在生活中给自己带来的方便。但是有时候觉得AI又很弱，弱的比几岁的小孩还弱。虽然说智驾AI的能力可能都超越了百万公里的老司机。举个例子。小明很苦恼，在制作PPT时觉得大模型只能提供内容建议，不能帮助格式优化。而他又很难把格式优化的需求通过纯文本的方式描述清楚。小明更想直接手指着屏幕说：“这个地方和这个地方怎么对不齐啊？”这其实就是一个多模态的内容理解和生成。我们把过程拆解一下：要从截图中识别出来这是一个PPT,并且其中有若干个挂件。要从问题文本中理解出来问的是两个挂件和对齐。要把两个模态的信息关联起来：问的是截图里PPT的哪两个挂件的对齐。从PPT知识中推理出最终回答。这里的第一步是CV的图像识别能力，第二步是NLP的语义分析能力，第四步是LLM的对话能力，只要第三步能合理地生成LLM的prompt，就可以构建出完整的多模态能力。理论上是这样。但是实际中呢？没看见AI能干这活。还是得靠自己，自己动动手就把这2个表单对齐了。

AI必然是趋势，那么作为IT从业者，应该是近水楼台先得月，先把AI用起来帮助自己改善工作生活和学习，只有在平时用起来，有帮助，才会觉得它有用，它也才能在使用中发展起来。下面就介绍使用华为云的AI编程助手CodeArts Snap，来辅助我们的代码编写。首先，IDE是用的VSCODE，因为它很轻量，当然同时它又可以通过上插件赋能。CodeArts Snap在这里，就是作为一个插件出现。在Vs Code的extension里搜索huawei，找到CodeArts Snap可以看到它是2023年的1月份首次发布了，这1年多来也一直在迭代，目前的版本是v3.0.0，也祝它在龙年里更加的发展。找到后，安装。安装好后，在左边的侧边栏出现了它的图标。现在我们可以先不直接点击它使用。而是先建一个java源码文件，在编码的过程中来触发并使用它。在第一次触发和使用时，会提示签署一个协议，会说这个是测试阶段，不保证服务质量等等，同意就可以了。

1. AI开发平台ModelArts新功能1月份新增一个新功能：Notebook的OBS，PFS，SFS增加扩展存储在创建Notebook实例页面，如果有多个数据存储路径，可以单击“增加扩展存储配置”，增加用户指定的存储挂载目录。2. 人工智能相关直播合集超融合数据中心生态方案分享--基于网络数字地图&Runbook+AOCcid:link_2iMaster NCE-Fabric网络数字地图&Runbook+AOC生态方案宣讲。值得一看，从PPT里看，是能够解决数据中心网络地图掌控和运维的一些难点。2023上海国际计算生物学创新大赛线上训练营cid:link_1药物筛选AI算法“凌越”挑战赛，等你来战！非常有潜在的实用价值和市场价值的比赛。感兴趣的朋友可以来看。DTSE Tech Talk 技术直播 NO.51 华为云DTT年度收官盛典：AI创造无限可能cid:link_6AI的发展为我们带来了前所未有的可能性，它正在改变我们的工作方式、生活方式，甚至是我们对世界的理解。DTT年度收官盛典将与大家一起探讨AI的应用领域与技术发展，企业及个人如何在智能化时代下完成技术飞跃。一共有5位嘉宾，就不多截图了。不是对着PPT讲，而是脱稿进行圆桌讨论，所以比较通俗易懂，形式比较活泼。关于应用场景、数字人等等。建议观看，可能会让你改进自己的工作方式。 昇思MindSpore技术公开课·大模型专题（第二期）cid:link_3介绍鹏城·脑海模型的训练过程。鹏城·脑海200B模型是具有2千亿参数的自回归式语言模型，在中国算力网枢纽节点‘鹏城云脑Ⅱ’3456卡上基于昇思MindSpore的多维分布式并行技术进行长期大规模训练，目前完成了1.8T token量的训练。AI算力建设。关于算力底座、配置、使用的详细介绍。看了这个，我很放心。美国对我国AI算力的封锁是不会得逞的。昇思MindSpore技术公开课·大模型专题（第二期）cid:link_4OpenBMB开源社区负责人、CPM-Bee开源大模型项目主要维护者龚柏涛老师主讲，分别从模型结构、数据格式、微调及推理演示三个方面带你全方位了解CPM-Bee大模型。欢迎大家来体验这个大模型。基于LangChain＋ChatGLM3的本地知识库问答 玩转华为云ModelArts，实现大模型AI应用开发cid:link_5这个直播是延续之前的大模型体验官活动的直播。有版主对直播内容进行了总结，可以查看。 基于LangChain+ChatGLM3的 本地知识库问答（一） cid:link_0 作者：福州司马懿

如何让大模型变成很好的工作帮手，并且在这其中得到良好的互动和获得感呢？可以参考一下别人的经验，如下：我并不经常把大语言模型 (LLM) 当作搜索工具或知识库来使用。我不会用它们来完整地自动处理一个任务，它们也不是我生活中的自动化工具。我不依赖生成式 AI 来取代我的创造力。我更喜欢与它们进行互动，我的决策和专注始终贯穿于这个过程。大语言模型并没有让我一夜之间成为超级程序员。那些认为大语言模型和自动化可以替代员工的 CEO 和 AI 界的意见领袖，我认为他们的想法很短视。但是。大语言模型给了我极大的快乐，我非常享受与它们的互动。它们激发了我对所参与的每件事情的兴趣和热情 - 对我来说，它们不仅仅是一个工具或自动化的替代品，而是一个充满乐趣的助手，帮助我学习和进步。至少在过去十年中，没有任何技术能像现在这样让我感到这么多快乐和敬畏。虚拟现实？让人不适和恶心。增强现实？让你时刻被工作、通知和广告所困扰。加密货币？无用，滋生犯罪，充斥着欺诈。Web3？只不过是资本家的小把戏，试图将我们的生活完全商品化。过去的十年，我们见证了太多被过分吹噜的平庸技术。但是，在我看来，AI 才是真正的下一个（或者说已经是当前的）重大飞跃大语言模型和生成式 AI 的魅力不仅仅在于商业或生产力，也在于它们的趣味性和愉悦感 - 是的，技术应该是有趣的，令人享受的。我想重温我七岁时的那种兴奋，当时我正在探索 DOS、Windows 3.11，学习 Turbo Pascal 编程，并且开始接触 Web 1.0，制作我的第一个“无用”HTML 主页。我们的价值不应该只是在于提高生产力和为资本增值。这也是为什么我坚信，应该发展和推广开源大语言模型，让每个人都能平等地接触这些技术。尽管对大语言模型存在一些技术上和社会上的担忧和批评，我仍然保持乐观态度。这些问题看起来是可以解决的，而且这样做是值得的。大语言模型会继续进步，但即便它们不再有太大的变化，我也会满足于现有的模型，因为它们已经在很大程度上丰富了我的生活。我希望这篇文章能展示给你大语言模型的这些乐趣，并鼓励你以新的方式去体验和享受它们。

一名开发者列举了他日常使用 ChatGPT 的用法，如下应用案例 - 编程和控制台工具编写 ffmpeg/ImageMagick 命令行写小段脚本（Python、Javascript）编写正则表达式用不同的语言/框架重写代码片段制作 LaTeX 图表与表格数据转换与可视化呈现从图像和图表中提取数据应用案例 - 语言、图像和知识英语语法纠错精简和重塑段落将想法转化为文字总结文章总结 YouTube 视频解释学习过程中遇到的错误翻译私人导师生成图像 - 音乐封面生成图像 - 灵感集和参考资料创意头脑风暴 - 挑选标题和主题知识库其中有个别的我也用过，比如生成代码片段，语法纠错等。其他的则没有。感觉很有必要去尝试一下，一定能找到新的价值。

大模型在BI分析的应用，可以大大缩短了BI分析的报表设计、数据建模等交付周期，更可以穷尽企业有限域的全量指标、模型和报表，用户输入问题后，大模型识别问题意图，解析决策变量，生成SQL数据查询语句，匹配企业实时数据，自动生成最佳决策方案，满足用户更灵活智能的数据需求，实现“问答即洞察”，带来基于动态因子、实时数据的决策革命。例如，当问到“为什么某车型产量不及预期？”时，未来大模型可先将预期产量和实际产量对比，得出差值后，不仅仅是对显性变量的分析（例如：生产因设备等原因的异常停产20分钟、某型号配件质量异常等），而是分析涉及的所有变量（例如：原材料供应波动、能源消耗及供应稳定性）。通过对数据排查，最终找出关联性最大的原因并生成可视化报表。我觉得，如果能落地，那对于企业决策真的是太有帮助了。比BI分析师来的快多了。

OpenAI 在研发 GPT 系列模型过程中,主要探索了 GPT-1(1.1亿参数)、GPT-2(15 亿参数)、以及 GPT-3(1750 亿参数)三个不同参数规模的模型，谷歌也推出了参数规模高达 5400亿参数的 PaLM 模型。当模型参数规模达到千亿量级,语言大模型能够展现出多方面的能力跃升。例如，GPT-3 在没有微调的情况下，可以仅通过提示词或少数样例 (In-context learning,上下文学习)完成多种任务，甚至在某些任务上超过当时最好的专用模型。也因此，学术界引入了“语言大模型”(Large language models)来特指这种超大规模的预训练语言模型，以突出与早期预训练语言模型的不同。

提供素材生成提纲按提纲生成多页PPT单页PPT按内容结构生成段落层级按内容生成匹配图像调整风格和整体结构要是AI能这样帮助生成PPT，那能提高多少的工作效率啊。所有要写PPT的人都开心了不知道现在有没有能实际用的上的生成PPT的AI工具？

增加了更多的数据，并针对工具链进行了优化。此次正式开源的拥有130亿参数的iFlytekSpark-13B模型（讯飞星火开源-13B），也是首个基于全国产化算力平台“飞星一号”的大模型。地址：cid:link_0iFlytekSpark-13B不仅具备通用任务处理能力如聊天、问答、文本提取和分类等，还具备数据分析和代码生成等生产力功能。特别在学习辅助、数学、推理等领域进行了深度优化，大幅提升模型的实用性和易用性。本次开源包含基础模型iFlytekSpark-13B-base、精调模型iFlytekSpark-13B-chat，微调工具iFlytekSpark-13B-Lora、人设定制工具iFlytekSpark-13B-Charater。模型结构：iFlytekSpark-13B使用Rotary Embedding作为位置编码方法，GELU作为激活函数，其中layer_num为40，head_num为40，hidden_size为5120，ffn_hidden_size为28672。效果评测：在八个具有挑战性的中英文测试集上对模型进行性能评估。其中chat模型采用0-shot进行测试，base模型在C-EVAL，MMLU，CMMLU，FinanceIQ测试集上采用5-shot进行测试，其余测试集采用0-shot进行测试。数据集介绍：C-EVAL：C-Eval 是一个全面的中文基础模型评估套件，涵盖了52个不同的学科和四个难度级别，验证集包括1346个选择题，测试集包含12342个选择题MMLU：MMLU 是一个庞大的多任务数据集，由各种学科的多项选择题组成。其中包括57个任务，涵盖了人文学科、社会科学、自然科学和其他对某些人学习很重要的领域。CMMLU：CMMLU 是一个综合性的中文评估基准，涵盖了从基础学科到高级专业水平的67个主题。涵盖了自然科学、人文科学和社会科学等领域。AGIEVAL：AGIEval 是一个专门为评估基础模型在以人类为中心的标准化考试（如大学入学考试、法学院入学考试、数学竞赛和律师资格考试）的语境中而设计的基准测试。ARC：包含了ARC-E和ARC-C，它们分别是ARC数据集中的简单集和挑战集，分别有5197 和2590 个问题。这些问题是仅文本的英语语言考试问题，跨越了多个年级水平。GaoKao：GaoKao收集了从 2010 年到 2022 年的高考试题，包括 1781 道客观题和 1030 道主观题。本项目报告结果为GaoKao中客观题结果。FinanceIQ：FinanceIQ 是一个专注于金融领域的中文评估数据集，涵盖了10个金融大类及36个金融小类，总计7173个单项选择题。

小白开发者，如何上手语言大模型应用，一张思维导图帮助你，请看：从1到7，一步步来：如何调用大模型 API，本节介绍了国内外知名大模型产品 API 的多种调用方式，包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装；大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析；数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建；Prompt 设计，如何设计 Prompt 来让大模型完成特定任务，Prompt Engineering 的原则和技巧有哪些；验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么；前后端开发，如何使用 Gradio、FastAPI 等框架快速开发大模型 Demo，展示应用能力。参考：datawhalechina.github.io/llm-universe/

目前看好像不是特别好。但这个是一个会有很大应用场景的能力。大模型文档对话的核心功能就是让模型能够理解和解释文档中的信息，并根据用户的问题和需求提供准确的回答和解释。通过训练，大模型可以学习到如何从文档中提取关键信息，并根据上下文生成适当的语言回应，从而帮助用户更好地理解文档内容。因此，大模型文档对话可以被视为一种智能化的文档阅读和理解系统。如果大语言模型在这个方面能够做好，我觉得对于人的知识学习会有一个很大的提升。比如，让大语言模型读懂《红楼梦》，成为一个红学家，然后，你有什么问题，可以随时的去问他。如果这个可以实现的话，想想还是挺让人兴奋的。然而遗憾的是，即便是ChatGPT，这方面的能力也是差强人意。以下是具体分析：与 PDF 对话之难，及 ChatGPT 在此领域的不足 - 原因分析目前最普遍的 GPT-4 应用之一是“文档/PDF 对话”功能。这被认为是 AI 聊天机器人的一项杀手级应用，因为要读懂内容繁多的文件是很烦人的事 —— 相比之下，直接让大语言模型帮你解析并总结内容显得更加简便。然而，遗憾的是，当处理超过 10 页的 PDF 文件时，ChatGPT 的表现并不尽如人意。它所提供的总结往往过于简略且笼统，甚至在被要求提供更多细节时会直接拒绝。造成这一问题的原因之一是，这不是一个简单的应用场景。OCR - 有效的 OCR 技术是必需的，它需要能够精确解析表格和图像。但目前无论是免费的还是商业的 OCR 技术都难以做到这一点。大量商业和研究用的 PDF 文件中含有众多表格和图像。上下文 - 尽管我们现在有 128K 上下文长度的大语言模型，但目前尚不清楚 ChatGPT 实际部署了哪种模型。如果你对一篇论文进行 OCR 处理后再输入其文本给 ChatGPT，它经常会出现错误。我怀疑 ChatGPT 服务的是一个上下文长度更小的模型。快速 RAG - 实施一个简单的 RAG 处理流程，即将文档分块、嵌入、检索结果后再传递给大语言模型，可能是一个有效的解决方法。但目前的聊天机器人尚未具备这样的功能。突出文档关键部分 - 理想的解决方案应当能够明确展示出答案来源于文档的哪些部分。这将极大地简化验证过程。理想情况下，与 PDF 对话的功能应包含以上所有特点。似乎，如果一款独立的应用程序能够很好地实现这些功能，即使在应用商店中也能获得可观的收入。不过，我认为这并不适合作为一个获得风险投资支持的创业项目，更像是一个一两人小团队可以经营的小本生意，足以成为一种舒适的生活方式。简言之，实现一个看似简单的“与 PDF 对话”功能，其实是一个复杂且难以做到极致的任务。