基于企业内部独有的知识库，进行智能的客服问答，毫无疑问是ChatGPT出圈以后，所有公司想要融入ChatGPT技术时的第一反应。可惜ChatGPT实际上是一个基于大语模型实现的、包括很多其他功能的、完整的聊天产品，并没有直接的接口让用户导入完整的知识库。此外，OpenAI提供的GPT3接口服务，也必须一直联网才能使用。对部分传统的toB服务产品依然不太友好。有趣的是，业界似乎也都不推荐使用GPT3的fine-tuning方式，甚至据说fine-tuning方式加入新训练数据后反而会导致通用文本的生成能力下降。所以，针对这种情况，DocsGPT开源项目采用GPT3接口，配合faiss向量搜索引擎和langchain模型库，快速实现一个针对技术文档的智能客服，可以作为这类产品的基础原型，可供参照。

LangChain 的核心思想是，你可以把不同的组件"链接"起来，形成一个链。每个组件都有自己的功能，比如调用一个LLM、处理文本、存储数据等。通过链接不同的组件，可以实现更复杂和更灵活的功能。在目前的LLM社区，LangChain己经是流行的开发框架，多数应用都使用它作为开发基础。举个例子。利用LangCham实现一个简单的问答机器人，这个机器人可以根据我们准备的语料回答问题。在动手之前，我们要先了解一下语料训练用到的一个核心技术：Embeddings。这种技术可以将原始数据表示为向量空间中的点，这样相似的数据点就可以在向量空间中靠近，而不相似的点则远离，从而更容易地进行计算和比较，因此Embeddings向量通常具有许多有用的功能，如可以使用它们进行词汇语义相似性计算、词性分类、情感分析等。举例中的问答机器人，就会用到向量相关性计算，这是Embeddings技术的一种经典应用场景。除了LangChain，还需要中文分词工具、向量数据库。可以分别使用jieba, chromadb。进行分词之后，在对数据进行切块处理，将文本数据按照一定的大小进行切割，便于后续处理。向量化处理是问答机器人的核心，将切块处理后的数据用OpenAI的Embeddings方法进行向量化处理。有了向量数据，就可以创建问答Chain了。这个Chain是一个由多个模型和处理步骤组成的自然语言处理管道，它可以对用户输入的问题进行解析和分析，然后生成相应的答案。在创建问答Chain时，我们可以根据具体的需求选择合适的语言训练模型。如，OpenAI的gpt-3.5-turbo模型是一种基于Transformer结构的大型预训练语模型，具有非常强大的自然语生成和理解能力，可以用于各种自然语言处理任务，如文本生成、翻译、对话系统等。通过加载这个模型，我们可以使问答系统更加智能和灵活，为用户提供更加准确和全面的答案。接下来就可以向机器人提问了。需要注意的是，如果我们把每次聊天的答案记录下来，在提问的时候传回到Chain方法中，那机器人就会结合上下文进行推断；如果我们每次传空，则机器人只会根据当前问题进行回答。可以通过引入更加先进的自然语言处理技术，来进一步提高问答机器人的性能和效率，如使用预训练模型进行语义匹配、采用知识图谱进行答案生成等。

软件开发的历史，就是一部降低开发者成本，提升开发体验的历史。在AI开发阶段，ModelArts也致力于提升AI开发体验，降低开发门槛。ModelArts开发环境，以云原生的资源使用和开发工具链的集成，目标为不同类型AI开发、探索、教学用户，提供更好云化AI开发体验。ModelArts Notebook云上云下，无缝协同代码开发与调测。云化JupyterLab使用，本地IDE+ModelArts插件远程开发能力，贴近开发人员使用习惯云上开发环境，包含AI计算资源，云上存储，预置AI引擎运行环境自定义，将开发环境直接保存成为镜像，供训练、推理使用ModelArts CodeLab（JupyterLab），让AI探索&教学更简单云原生Notebook，案例内容秒级接入与分享Serverless化实例管理，资源自动回收免费算力，规格按需切换亮点特性1：远程开发 - 支持本地IDE远程访问Notebook新版Notebook提供了远程开发功能，通过开启SSH连接，用户本地IDE可以远程连接到ModelArts的Notebook开发环境中，调试和运行代码。对于使用本地IDE的开发者，由于本地资源限制，运行和调试环境大多使用团队公共搭建的CPU或GPU服务器，并且是多人共用，这带来一定的环境搭建和维护成本。而ModelArts的Notebook的优势是即开即用，它预先装好了不同的AI引擎，并且提供了非常多的可选规格，用户可以独占一个容器环境，不受其他人的干扰。只需简单配置，用户即可通过本地IDE连接到该环境进行运行和调试。图1 本地IDE远程访问Notebook开发环境​ModelArts的Notebook可以视作是本地PC的延伸，均视作本地开发环境，其读取数据、训练、保存文件等操作与常规的本地训练一致。对于习惯使用本地IDE的开发者，使用远程开发方式，不影响用户的编码习惯，并且可以方便快捷的使用云上的Notebook开发环境。本地IDE当前支持VS Code、PyCharm、SSH工具。还有专门的插件PyCharm Toolkit和VS Code Toolkit，方便将云上资源作为本地的一个扩展。亮点特性2：开发环境保存 - 支持一键镜像保存ModelArts的新版Notebook提供了镜像保存功能。支持一键将运行中的Notebook实例保存为镜像，将准备好的环境保存下来，可以作为自定义镜像，方便后续使用，并且方便进行分享。保存镜像时，安装的依赖包（pip包）不丢失，VS Code远程开发场景下，在Server端安装的插件不丢失。亮点特性3：预置镜像 - 即开即用，优化配置，支持主流AI引擎每个镜像预置的AI引擎和版本是固定的，在创建Notebook实例时明确AI引擎和版本，包括适配的芯片。ModelArts开发环境给用户提供了一组预置镜像，主要包括PyTorch、TensorFlow、MindSpore系列。用户可以直接使用预置镜像启动Notebook实例，在实例中开发完成后，直接提交到ModelArts训练作业进行训练，而不需要做适配。ModelArts开发环境提供的预置镜像版本是依据用户反馈和版本稳定性决定的。当用户的功能开发基于ModelArts提供的版本能够满足的时候，建议用户使用预置镜像，这些镜像经过充分的功能验证，并且已经预置了很多常用的安装包，用户无需花费过多的时间来配置环境即可使用。ModelArts开发环境提供的预置镜像主要包含：常用预置包，基于标准的Conda环境，预置了常用的AI引擎，例如PyTorch、MindSpore；常用的数据分析软件包，例如Pandas、Numpy等；常用的工具软件，例如cuda、cudnn等，满足AI开发常用需求。预置Conda环境：每个预置镜像都会创建一个相对应的Conda环境和一个基础Conda环境python（不包含任何AI引擎），如预置MindSpore所对应的Conda环境如下：​用户可以根据是否使用AI引擎参与功能调试，选择不同的Conda环境。Notebook：是一款Web应用，能够使用户在界面编写代码，并且将代码、数学方程和可视化内容组合到一个文档中。JupyterLab插件：插件包括规格切换，分享案例到AI Gallery进行交流，停止实例等，提升用户体验。支持SSH远程连接功能，通过SSH连接启动实例，在本地调试就可以操作实例，方便调试。ModelArts开发环境提供的预置镜像支持功能开发后，直接提到ModelArts训练作业中进行训练。说明：为了简化操作，ModelArts的新版Notebook，同一个Notebook实例中支持不同引擎之间的切换。不同Region支持的AI引擎不一样，请以控制台实际界面为准。亮点特性4：提供在线的交互式开发调试工具JupyterLabModelArts集成了基于开源的JupyterLab，可为您提供在线的交互式开发调试。您无需关注安装配置，在ModelArts管理控制台直接使用Notebook，编写和调测模型训练代码，然后基于该代码进行模型的训练。JupyterLab是一个交互式的开发环境，是Jupyter Notebook的下一代产品，可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。

小白求各位大佬救救。。我是从昇腾rightcloud平台进入的modelarts控制台，这个控制台页面在左上角显示的是“HCSonline”。在创建notebook实例的时候就和教程上的不一样，我这个创建notebook的时候打开SSH，都没有设置白名单的地方。启动notebook后进入JupyterLab页面，点击Launch VScode，提示我“请到管理控制台配置实例SSH访问，并重启以启用远程开发模式。”点击链接进入了华为云的页面，左上角是“华为云”，直接提示报错“ModelArts.6404: Notebook实例不存在”。我有尝试按教程手动设计vscode插件去链接，但是在modelart插件登录AK/SK的位置出错了。我在HCSonline里只找到生成临时访问密钥，而且用这个去输入会提示“用户登录失败：错误状态: 401， 错误信息: {"error_msg":"Incorrect IAM authentication information: ak not exist","error_code":"APIGW.0301","request_id":"caa945b30da3d8c52d25bb6968181c92"} ”。我还特意去换了正确的yaml地区文件，还是登不上去。求大佬们救一下，这是什么原因？是我这个账号没有这个服务内容还是我那一步搞错了？

二月问题总结如下：【1】在ECS windows部署Llama2 尝试使用MLC运行，但出现以下报错，求助cid:link_0【2】atlas300P3 在容器中访问rtsp流地址报错No route to host cid:link_1【3】ECS上面，我看机器学习推荐的只有N卡，想问下华为自己的显卡在ModelArts那边不是能用，为啥还没上ECS cid:link_2【4】昇腾310（Ascend 310）能不能用来搭建stable diffusecid:link_3【5】 acl init failed, errorCode = 100039cid:link_4

我在modelarts中的AI gallery中订阅了如下算法：根据对应算法提供的训练说明进行训练，并最后部署为在线服务（期间遇到的各种问题都通过工单方式解决👍🏻），但输出的结果始终不对，如下所示（算法为：Llama-7B-预训练-全参微调）：想问各位大佬，这种情况我应该如何解决？AI gallery提供的算法准确性如何？我目前只想跑通一个开源大模型算法的训练流程并输出对应正确的结果，有推荐的算法么？

算法实现像素级的图像分割不仅需要精确，有时还需要高效以便应用到real-time application比如自动驾驶汽车等。现有的方法可能精度较高但往往参数量巨大，为了解决这个问题，我们使用LinkNet作为主干网络[Fig. 1]，中间层[Fig. 2]使用LeakyRelu进行激活，最后一层使用Sigmoid做归一化，并在Encoder Block 4后增添目标检测分支，训练过程中进行梯度裁剪防止梯度爆炸。详情可以运行我发布的Notebook，并下载转换好的模型文件：ONNXRuntime推理：下载yolo_tf_seg.zip并解压到本地，之后安装opencv、numpy、onnxruntime即可一键运行。

使用ModelArts 创建两节点的训练作业，其中一个节点在运行一段时间后中止，下图为日志记录终止后的信息以及资源使用率参考日志中展现的内容是ModelArts 执行了什么操作？该操作具体会影响什么？如何规避引起程序终止的情况？

你一定用过Transformers库，下面是它的一些介绍，相信可以让你对它有更多的了解。Hugging Face是一家在自然语言处理和人工智能领域的公司，以开发开源的软件库和工其为主，其中最受欢迎的是Transformers库，广泛应用于诸如语言翻译、情感分析和问答等多种自然语言处理任务。在NLP领域，Hugging Face因其提供了基于Transformer的模型而闻名。为了方便用户使用，Hugging Face还提供了以下几个项目：Transformers Transformers库是Hugging Face的核心，我们学习Hugging Face其实就是为了学习怎么使用这个库。这个库提供了API和很多工具及方法，方便我们下载和训练最先进的预训练模型。这些模型支持不同模态下的常见任务，例如自然语言处理、计算机视觉、音频、多模态等。Datasets 使用该框架，只需要少量代码即可轻松下载和预处理常见公开数据集。同时还提供了强大的数据预处理方法，可帮助我们快速地准备数据，以用于训练机器学习模型。Space 在线体验很多有趣的应用，比如根据文字生成图片，根据我们的照片制作合成音视频等。如何使用Transformers进行推理呢？首先我们先要安装Transformers：pip insta11 transformers如果任务比较简单，Transformers的pipline（）函数本身就提供了很丰富的功能，比如下面的代码，就进行了一个简单的情感分析：from transformers import pipeline classifier = pipeline("text-classification") classifier("This book is awesome.")运行上面的代码，会先下载默认的模型，在加载模型的时候，可能会因为缺少库而报错，我们只需要安装对应的库即可，模型下载好以后就会对我们输入的句子进行情感分析，结果如下：[{'label':'POSITIVE'，'score':0.9998772144317627}]

GPT3.5系列：该系列的模型可以理解并生成自然语言或代码。这其中最强大且最具成本效益的GPT3.5模型是gpt-3.5-turbo,这个模型不但针对聊天进行了优化，也适用于传统的文本补全等任务。除此之外，Davinci系列模型擅长理解复杂的意图，总结、解决各种逻辑问题和动机问题。Curie系列模型擅长回答问题和理解情感总结摘要。Babbage系列可以执行简单的任务，进行语义搜索。而Ada系列通常是最快的模型，可以执行解析文本、地址更正和不需要太多细微差别的某些分类任务等。面对如此多的模型，我们该如何选择呢？我们可以使用GPT比较工具，同时运行不同的模型来比较输出、设置和响应时间等，从而找到最适合的模型。

有时候觉得人工智能很厉害，比如华为的自动驾驶，确认让人眼前一亮。并且随着智驾 的推广，越来越多的人可以享受到AI在生活中给自己带来的方便。但是有时候觉得AI又很弱，弱的比几岁的小孩还弱。虽然说智驾AI的能力可能都超越了百万公里的老司机。举个例子。小明很苦恼，在制作PPT时觉得大模型只能提供内容建议，不能帮助格式优化。而他又很难把格式优化的需求通过纯文本的方式描述清楚。小明更想直接手指着屏幕说：“这个地方和这个地方怎么对不齐啊？”这其实就是一个多模态的内容理解和生成。我们把过程拆解一下：要从截图中识别出来这是一个PPT,并且其中有若干个挂件。要从问题文本中理解出来问的是两个挂件和对齐。要把两个模态的信息关联起来：问的是截图里PPT的哪两个挂件的对齐。从PPT知识中推理出最终回答。这里的第一步是CV的图像识别能力，第二步是NLP的语义分析能力，第四步是LLM的对话能力，只要第三步能合理地生成LLM的prompt，就可以构建出完整的多模态能力。理论上是这样。但是实际中呢？没看见AI能干这活。还是得靠自己，自己动动手就把这2个表单对齐了。

AI必然是趋势，那么作为IT从业者，应该是近水楼台先得月，先把AI用起来帮助自己改善工作生活和学习，只有在平时用起来，有帮助，才会觉得它有用，它也才能在使用中发展起来。下面就介绍使用华为云的AI编程助手CodeArts Snap，来辅助我们的代码编写。首先，IDE是用的VSCODE，因为它很轻量，当然同时它又可以通过上插件赋能。CodeArts Snap在这里，就是作为一个插件出现。在Vs Code的extension里搜索huawei，找到CodeArts Snap可以看到它是2023年的1月份首次发布了，这1年多来也一直在迭代，目前的版本是v3.0.0，也祝它在龙年里更加的发展。找到后，安装。安装好后，在左边的侧边栏出现了它的图标。现在我们可以先不直接点击它使用。而是先建一个java源码文件，在编码的过程中来触发并使用它。在第一次触发和使用时，会提示签署一个协议，会说这个是测试阶段，不保证服务质量等等，同意就可以了。

以下是我平时使用，或是收集的一些提问。可以供参考。提问是很重要的。如何提问，如何提好问，很重要。因为它是和大模型沟通的管道。Prompt:识别这段文本中的命名实体和词性分类参照上面数据，仿写一批类似数据请使用python语言的Flask框架实现一个API服务，用户可以通过GET请求发送城市名称，获取到该城市当天的天气情况。为上述xx函数生成一个docstring格式的注释。帮我将下面的python代码转换成javascript实现方式，可用nodejs运行将下面这段xml数据转换为json格式请你以三元组的形式生成红楼梦中的知识图谱。 --慢慢开始胡说抽取下面这段文本中的知识图谱。切记格式为（头实体、关系、尾实体）将上述红楼梦知识图谱转换为Neo4j的写入语句请你生成一部分红楼梦中的知识图谱，并转换成Neo4j格式的数据插入语句。let's think step by step.编写一份PRD文档，包括目标、背景和策略、需求清单表格等。.... 按照confluence产品需求模板的格式输出。 需求清单表格里去掉需求类型列，增加说明列。说明中扩展需求描述细节。 对频率分布类需求，根据具体关键字，列举一些可能的统计内容，补充到说明里。比如日志类型会有哪些，常见的日志冷热周期是多久等等。作为一个资深产品经理，你收到了下面这些用户反馈，根据这些反馈情况，规划一次版本迭代，写成confluence式的PRD文档，包括目标、背景和策略、需求清单表格。目标和背景不用说太多。 ...一个Excel表格的前几列分别是学生姓名和第1题到第10题是否正确，正确为1，错误为0。现在希望再添加一列，根据前面每题是否正确生成修改建议，为了方便阅读，每道错题的建议之间要换行显示。请给出Excel函数的写法安全运营人员看什么日志，以及当日志里出现什么文本内容时，可以确认是这个漏洞？

1. AI开发平台ModelArts新功能1月份新增一个新功能：Notebook的OBS，PFS，SFS增加扩展存储在创建Notebook实例页面，如果有多个数据存储路径，可以单击“增加扩展存储配置”，增加用户指定的存储挂载目录。2. 人工智能相关直播合集超融合数据中心生态方案分享--基于网络数字地图&Runbook+AOCcid:link_2iMaster NCE-Fabric网络数字地图&Runbook+AOC生态方案宣讲。值得一看，从PPT里看，是能够解决数据中心网络地图掌控和运维的一些难点。2023上海国际计算生物学创新大赛线上训练营cid:link_1药物筛选AI算法“凌越”挑战赛，等你来战！非常有潜在的实用价值和市场价值的比赛。感兴趣的朋友可以来看。DTSE Tech Talk 技术直播 NO.51 华为云DTT年度收官盛典：AI创造无限可能cid:link_6AI的发展为我们带来了前所未有的可能性，它正在改变我们的工作方式、生活方式，甚至是我们对世界的理解。DTT年度收官盛典将与大家一起探讨AI的应用领域与技术发展，企业及个人如何在智能化时代下完成技术飞跃。一共有5位嘉宾，就不多截图了。不是对着PPT讲，而是脱稿进行圆桌讨论，所以比较通俗易懂，形式比较活泼。关于应用场景、数字人等等。建议观看，可能会让你改进自己的工作方式。 昇思MindSpore技术公开课·大模型专题（第二期）cid:link_3介绍鹏城·脑海模型的训练过程。鹏城·脑海200B模型是具有2千亿参数的自回归式语言模型，在中国算力网枢纽节点‘鹏城云脑Ⅱ’3456卡上基于昇思MindSpore的多维分布式并行技术进行长期大规模训练，目前完成了1.8T token量的训练。AI算力建设。关于算力底座、配置、使用的详细介绍。看了这个，我很放心。美国对我国AI算力的封锁是不会得逞的。昇思MindSpore技术公开课·大模型专题（第二期）cid:link_4OpenBMB开源社区负责人、CPM-Bee开源大模型项目主要维护者龚柏涛老师主讲，分别从模型结构、数据格式、微调及推理演示三个方面带你全方位了解CPM-Bee大模型。欢迎大家来体验这个大模型。基于LangChain＋ChatGLM3的本地知识库问答 玩转华为云ModelArts，实现大模型AI应用开发cid:link_5这个直播是延续之前的大模型体验官活动的直播。有版主对直播内容进行了总结，可以查看。 基于LangChain+ChatGLM3的 本地知识库问答（一） cid:link_0 作者：福州司马懿

如何让大模型变成很好的工作帮手，并且在这其中得到良好的互动和获得感呢？可以参考一下别人的经验，如下：我并不经常把大语言模型 (LLM) 当作搜索工具或知识库来使用。我不会用它们来完整地自动处理一个任务，它们也不是我生活中的自动化工具。我不依赖生成式 AI 来取代我的创造力。我更喜欢与它们进行互动，我的决策和专注始终贯穿于这个过程。大语言模型并没有让我一夜之间成为超级程序员。那些认为大语言模型和自动化可以替代员工的 CEO 和 AI 界的意见领袖，我认为他们的想法很短视。但是。大语言模型给了我极大的快乐，我非常享受与它们的互动。它们激发了我对所参与的每件事情的兴趣和热情 - 对我来说，它们不仅仅是一个工具或自动化的替代品，而是一个充满乐趣的助手，帮助我学习和进步。至少在过去十年中，没有任何技术能像现在这样让我感到这么多快乐和敬畏。虚拟现实？让人不适和恶心。增强现实？让你时刻被工作、通知和广告所困扰。加密货币？无用，滋生犯罪，充斥着欺诈。Web3？只不过是资本家的小把戏，试图将我们的生活完全商品化。过去的十年，我们见证了太多被过分吹噜的平庸技术。但是，在我看来，AI 才是真正的下一个（或者说已经是当前的）重大飞跃大语言模型和生成式 AI 的魅力不仅仅在于商业或生产力，也在于它们的趣味性和愉悦感 - 是的，技术应该是有趣的，令人享受的。我想重温我七岁时的那种兴奋，当时我正在探索 DOS、Windows 3.11，学习 Turbo Pascal 编程，并且开始接触 Web 1.0，制作我的第一个“无用”HTML 主页。我们的价值不应该只是在于提高生产力和为资本增值。这也是为什么我坚信，应该发展和推广开源大语言模型，让每个人都能平等地接触这些技术。尽管对大语言模型存在一些技术上和社会上的担忧和批评，我仍然保持乐观态度。这些问题看起来是可以解决的，而且这样做是值得的。大语言模型会继续进步，但即便它们不再有太大的变化，我也会满足于现有的模型，因为它们已经在很大程度上丰富了我的生活。我希望这篇文章能展示给你大语言模型的这些乐趣，并鼓励你以新的方式去体验和享受它们。