各位大佬好：打算将算法上架好望商城   于是便开始测试demo   aarch64-himix100-linux-gcc编译环境正常   按照文档进行make clean    但是报如下错误：这个如何修改

概率论和统计学是AI的基础，它们用来分析数据的特征，识别趋势和差异，以及理解这些差异如何影响未来的数据样本。线性代数是AI的关键技术，它用于对数据进行分类、推理和预测。微积分是AI学习过程中一个非常重要的基础。微积分涉及概率相关分布及其变化情况，还定义了函数最小化和极大化等技术，而这些技术都是AI中用到的重要方法。所以，总结来说，大学里基本上都学过概率论和统计学原理、高数（微积分）、线性代数， 所以读了大学的人要学习AI是没有太多技术门槛的。当然还有其他特定知识，比如信号处理、图像处理等，这些就按需学习吧

我觉得有。理由是，人类是AI的父母，因为人类中是有好的部分，和坏的部分，简单的说有好人和坏人对于通用性AI，（比如现在很火的chatGPT这种）好人训练出的AI，就是好的AI坏人训练出的AI，就是坏的AIAI不仅仅是一个工具，它的使用结果不再是依赖于使用它的人，而是这个工具本身就有好坏的属性了...偶买噶~

神经网络的结构从普通的全连接神经网络，发展到卷积神经网络、循环神经网络、自编码器、生成式对抗网络和图神经网络等各种结构， 但BP算法一直是神经网络的一个经典和高效的寻优工具。附神经网络早期一些发展历程1943年，WarrenMcCulloch和WalterPitts于《神经元与行为》中首次引入网络术语来模拟人类大脑。1956年，FrankRosenblatt发明了最早的神经网络-权重加权感知机Perceptron，它可以通过权值调整输出，模拟人类学习过程。1960年，MinskyandPapert的“Perceptrons”认为此类神经网络有许多限制（如无法解决复杂分类任务和把线性不可分问题拆分成更小的部分）1970年，BryonYurke等人成功提出了多层感知机(MLP)，他们构建了一台含有多层神经元的“Digital Computer Model”，扩展了单层感知机的特性，使能够解决更复杂的问题。

我看到一个观点是： 神经网络模型的隐藏层的工作原理是非常复杂的，会有一定程度的不可解释性，因此可以说它是黑箱。另一个观点是： 隐藏层的参数或权重是可以用很多方法调试和理解的，所以它其实不是真正的黑箱。中庸的观点是： 理解神经网络模型的隐藏层，可能需要复杂的数学原理，同时使用具体的测试例子去验证。因此，很难说它是一个完全打开的系统，但它也不是一个完全封闭的黑盒子。只能说，我们可以通过深入地研究它来理解神经网络模型的隐藏层，并使用一些实验数据来证明我们的结论。你怎么看？我的观点是： 这个问题我也没有明确的答案，当一个模型参数达到几百亿的数量级，想要像打开白盒一样打开它看明白它，很难了。 所以这个问题很重要吗？是不是黑箱无所谓了，只要AI能够提高生产力，促进人类发展就可以了。

最近在看这本书，记一下笔记。感知机模型（perceptron model）的计算执行方向如下。感觉和线性回归很像呀。 但据说感知机模型不能用于线性回归问题，因为它只关注分类问题，而线性回归问题涉及到回归问题？对于线性不可分的情况，在感知机基础上一般有两个解决方向。 线性不可分是指一组线性数据点，这些数据点上无法划分一条直线来分开类别内的所有数据点。一个是著名的支持向量机(SVM)，旨在通过核函数映射来处理非线性的情况。 使用核技巧，将特征空间映射到一个维度更高的空间，然后在该空间中构建特征决策边界，从而解决线性不可分问题。另一种就是神经网络模型，也叫作多层感知机(MultiLayer Perceptron, MLP)。与单层感知机在结构上的区别主要在于MLP多了若干隐藏层。利用线性组合对多维输入信号进行加权、叠加并采用非线性激活函数处理，由于实现多层结构，所以能够处理非线性问题。隐藏层，在训练过程中看不见，难以对其效果进行合理解释，所以是“黑箱”

早在 2018 年，OpenAI 就发布了最初版本的 GPT 模型，从 OpenAI 公开的论文（Improving Language Understanding by Generative Pre-Training）可以了解到，这个模型采用了 12 层的 Transformer Decoder 结构，用了大约 5GB 的无监督文本数据进行语言模型任务的训练。虽然初代 GPT 模型采用的就已经是生成式的预训练（这也是 GPT 名字的由来，Generative Pre-Training，即生成式预训练），但使用的是无监督预训练 + 下游任务微调的范式。这一范式其实并不是什么新的发明，它在 CV（计算机视觉）领域已经有比较广泛的应用，只是由于当年 ELMo 模型的出色表现，把它重新介绍到了 NLP 领域。GPT 模型的出现在那一年确实引来了一些业内的关注，但它并不是那一年的 C 位主角。因为就在同年，Google 的 BERT 模型横空出世，以优异的效果吸引了几乎全部的目光（这个景象有点像现在的 ChatGPT，不禁感叹 Google 和 OpenAI 之间的。图片来自 BERT 论文，从图示中可以一窥当年 BERT 对标的就是 GPT，并引以为傲地指出双向编码能力。BERT 模型虽然也是采用和 GPT 一样的 Transformer 模型结构，但它几乎就是为无监督预训练 + 下游任务微调的范式量身定制的模型。和 GPT 相比，BERT 所使用的掩码语言模型任务（Masked Language Model）虽然让它失去了直接生成文本的能力，但换来的是双向编码的能力，这让模型拥有了更强的文本编码性能，直接的体现则是下游任务效果的大幅提升。而 GPT 为了保留生成文本的能力，只能采用单向编码。以当年的眼光来看，BERT 绝对是一个更加优秀的模型。因为既然 BERT 和 GPT 两者都是采用「预训练 + 微调」的范式，并且下游任务依然是分类、匹配、序列标注等等经典的 NLP 任务形式，那么像 BERT 模型这种更注重特征编码的质量，下游任务选一个合适的损失函数去配合任务做微调，显然比 GPT 这种以文本生成方式去迂回地完成这些任务更加直接。从 BERT 模型出来以后， 无监督训练 + 下游任务微调 的范式便奠定了它的霸主地位，各类沿着 BERT 的思路，琢磨如何获得更好的文本特征编码的方法大量涌现，以至于 GPT 这个以生成式任务为目标的模型显得像一个异类。

PyCharm ToolKit介绍由于AI开发者会使用PyCharm工具开发算法或模型，为方便快速将本地代码提交到ModelArts的训练环境，ModelArts提供了一个PyCharm插件工具PyCharm ToolKit插件下载请参见下载并安装ToolKit工具），协助用户完成代码上传、提交训练作业、将训练日志获取到本地展示等，用户只需要专注于本地的代码开发即可。使用限制    当前仅支持PyCharm 2019.2及以上版本，包括社区版和专业版。    使用PyCharm ToolKit远程连接Notebook开发环境，仅限PyCharm专业版。    使用PyCharm ToolKit提交训练作业，社区版和专业版都支持，PyCharm ToolKit 2.x版本仅限于提交旧版训练作业，PyCharm ToolKit latest版本仅限提交新版训练作业。    PyCharm ToolKit工具支持Windows、Linux或Mac版本的PyCharm。支持的功能表1 ToolKit（latest）功能列表 支持的功能说明对应操作指导SSH远程连接支持SSH远程连接ModelArts的Notebook开发环境。配置PyCharm ToolKit远程连接Notebook训练模型支持将本地开发的代码，快速提交至ModelArts并自动创建新版训练作业，在训练作业运行期间获取训练日志并展示到本地。提交训练作业（新版训练）停止训练作业查看训练日志OBS上传下载上传本地文件或文件夹至OBS，从OBS下载文件或文件夹到本地。OBS上传下载表2 ToolKit（2.x版本）功能列表 支持的功能说明对应操作指导SSH远程连接支持SSH远程连接ModelArts的Notebook开发环境。配置PyCharm ToolKit远程连接Notebook训练模型支持将本地开发的代码，快速提交至ModelArts并自动创建旧版训练作业，在训练作业运行期间获取训练日志并展示到本地。提交训练作业（旧版训练）查看训练作业详情启动或停止训练作业查看训练日志提交不同名称的训练作业部署上线支持将训练好的模型快速部署上线为在线服务。部署上线OBS上传下载上传本地文件或文件夹至OBS，从OBS下载文件或文件夹到本地。OBS上传下载Pycharm远程插件Toolkit

AI产品和服务智能输入一个字便可作一首诗。

2017年，谷歌大脑团队（Google Brain）在神经信息处理系统大会（NeurIPS，该会议为机器学习与人工智能领域的顶级学术会议）发表了一篇名为“Attention is all you need”自我注意力是你所需要的全部，的论文。作者在文中首次提出了基于自我注意力机制（self-attention）的变换器（transformer）模型，并首次将其用于理解人类的语言，即自然语言处理。在这篇文章面世之前，自然语言处理领域的主流模型是循环神经网络（RNN，recurrent neural network）。循环神经网络模型的优点是，能更好地处理有先后顺序的数据，比如语言，但也因为如此，这种模型在处理较长序列，例如长文章、书籍时，存在模型不稳定或者模型过早停止有效训练的问题（这是由于模型训练时的梯度消失或梯度爆炸现象而导致，在此不具体展开），以及训练模型时间过长的问题。最初的变换器（Transformer）模型的架构2017年提出的Transformer模型，则能够同时并行进行数据计算和模型训练，训练时长更短，并且训练得出的模型可用语法解释，也就是模型具有可解释性。这个最初的Transformer模型，一共有6500万个可调参数。谷歌大脑团队使用了多种公开的语言数据集来训练这个最初的Transformer模型。这些数据集包括2014年英语-德语机器翻译研讨班（WMT）数据集（有450万组英德对应句组），2014年英语-法语机器翻译研讨班数据集（3600万英法对应句组），以及宾夕法尼亚大学树库语言数据集中的部分句组（分别取了其中来自《华尔街日报》的4万个句子，以及另外在该库中选取1700万个句子）。而且，谷歌大脑团队在文中提供了模型的架构，任何人都可以用其搭建类似架构的模型来并结合自己手上的数据进行训练。经过训练后，这个最初的Transformer模型在包括翻译准确度、英语成分句法分析等各项评分上都达到了业内第一，成为当时最先进的大型语言模型Large Language Model, LLM。大型语言模型（LLM）主要大事记Transformer模型自诞生的那一刻起，就深刻地影响了接下来几年人工智能领域的发展轨迹。短短的几年里，该模型的影响已经遍布人工智能的各个领域——从各种各样的自然语言模型、到预测蛋白质结构的AlphaFold2模型，用的是它。

作者：关耳山石目录前言一、ChatGPT是什么？ChatGPT背后的公司ChatGPT背后的技术从GPT-3.5到ChatGPT的意义二、ChatGPT会对我们产生什么影响？三、ChatGPT并非万能四、我们如何利用ChatGPT五、写在最后前言年前到现在，一直被ChatGPT的新闻轰炸，现在还越来越热闹了，关于ChatGPT技术，关于人与ChatGPT未来发展的讨论，网络上众说纷纭。我就让同事从海外注册账号，直接问了ChatGPT这个问题，最后用Stable Diffusion生成了ChatGPT眼中未来的图像，如下图：关于，这幅景象，它是这么描述的：于是，作为一位严谨的“民科”和积极的开发者，立即开始跟随潮流，了解新技术 ！希望能与大家一起交流看法，欢迎大家留言讨论~一、ChatGPT是什么？1、ChatGPT背后的公司们·OpenAI&微软要聊ChatGPT，必须得先聊OpenAI。这本来是一家搞全栈AI创新的非盈利组织，重点研究物理机器人，背后甚至还有钢铁侠、彼得·蒂尔、YC总裁Sam（任CEO）等一众硅谷大佬身影，而GPT系列模型只是众多研究方向之一。因为非盈利组织无法进行融资，就搞了个商业的壳子，吸引了微软投资，最后达成的结果是：OpenAI要优先使用微软的技术（主要是Azure），微软得到了OpenAI技术的使用权，这也是ChatGPT与微软之间的联系。2、ChatGPT背后技术·GPT-3.5GPT这模型已经发展四代了，目前开放了GPT-3的API（收费的），ChatGPT用的是GPT-3.5，还有一代GPT-4没见过（据说Bing融合的就是这个）。这个东西到底是干啥的，如果感兴趣，建议去看李宏毅老师的视频，省流版就是： 文字接龙机器人，一个学了2/3的互联网知识，整个Wikipedia，多个书籍库，以及一套“自动补齐”能力的文字接龙机器人。（引至李宏毅老师的视频）但是平时咱们用的输入法基本也会一些文字接龙，但是接起来的感觉前言不搭后语的，为啥ChatGPT就行了呢？网上还找不着GPT-3.5相关的材料，只能研究研究GPT-3的创新点去推断了：模型相当大1750亿参数，这个参数大概意思是表示每个字/词出现的可能性。到底有多大，看下图就有个直观的感受。当然，训练数据量也极其的大，大约是4990亿个Token（简单理解为字/词），号称学了2/3个互联网、整个Wikipedia和几个书籍库。按照这个信息量，一定是高度冗余的，也是绝对充分了。（图片源于网络）“加钱”效果相当好这玩意还有个很神奇的地方，就是有钱能使它推磨，“加价”的效果立竿见影：从趋势来看，模型越大，效果越好。想必将来还会有更大的模型出来，毕竟有多大钱，GPT能创造多少奇迹嘛！（DeepMind还做了个推导，算出来一个模型参数与数据量的最优线性关系）通用性相当好这也算个特别牛的事情，不用进行额外的“调教”，已经学会了干很多事，简直是AI工程师的福音。举个例子，我们有个相似需求推荐的场景，是基于BERT的基础模型，加上一堆（上千条）人工标注的训练数据集，再调优一把，才能使用在我们的场景里。有了这个大力仔，就不需要这一套了，直接拿来即用。而且还有个比较有意思的，哪怕要教模型做点事，也不需要工程师了，直接在输入里写上寥寥几个例子（In Context Learning），模型就学会了。“意识”涌现相当惊人学名叫Chain-of-Thought，思维链，这是最让人惊讶和细思极恐的了。就是当模型足够大，层数足够多的时候，居然还就从量变到质变了，产生了一些类人的逻辑思维能力。这玩意我没看到更深刻的解释，但是从表象上看，确实会做一些逻辑题了。比如算算数、做一些逻辑推理。PS：我从网上看到一个数据，列在这里做个备注 - OpenAI的GPT 3的规模为175B，Google的LaMDA规模为137B，PaLM的规模为540B，DeepMind的Gogher规模为280B等，不一而足。国内也有中文巨型模型，比如清华&智谱GLM规模130B，华为“盘古”规模200B，百度“文心”规模260B，浪潮“源1.0”规模245B。（规模 = 模型的参数规模，单位是Billion）（图片源于网络）3、从GPT-3.5到ChatGPT的意义如果说GPT-3是理论或底层能力的创新，那么ChatGPT的创新就是工程和商业层面的，甚至是一个里程碑式的。这是一个“现象级”的产品首先，我认为，将一个大众无法理解的技术，变成“现象级”产品，是ChatGPT的最牛创新，使得“AI使能”落入寻常百姓家，与每个人产生了化学反应，所以这绝对是划时代的。Google 2022年I/O大会的时候，我也做了一波洞察，看到LaMDA、PaLM的展示，能够体验的人极少，感知到其魅力的也是极少的。而ChatGPT做了个简陋的Playground就迅速抢占了大众的心智，看到有数据说，从0~100万用户只用了5天，过亿只用了2个月，基本没有额外的获客成本。甚至还让竞争对手意识到，再不搞起早起五更都赶不上晚集了。以至于前几天Google不仅召回了两位创始人，快速规划对话式搜索的上线，还大笔投资了OpenAI的“港湾”组织 – Anthropic）。从工程上，我理解ChatGPT是GPT-3.5的一个优化应用。简单说，就是先人肉标注一些GPT-3.5返回数据，以教GPT-3.5说话，然后用强化学习的算法来持续评价，最终实现了这么个神奇的模型。（号称用到了40+的人力来持续教AI做事，据说还有肯尼亚的低价劳工。）可惜不开源ChatGPT不开源，GPT-3.5模型也不开源。两者都不支持在中国使用（包括HK），所以网络上开始有二道贩子开始倒卖，或直接接到微信上付费使用。两者目前都有商业化的手段，GPT模型是直接卖API，ChatGPT出了Plus版，20美刀一个月，优先使用。（GPT-1模型和GPT-2的部分小规模模型是开源的，OpenAI的理由是，大规模模型能力太强大，怕被坏人利用）二、ChatGPT会对我们产生什么影响？首先，我们得先认识到，ChatGPT只是众多LLM中比较会秀的一个。GPT系列属于大规模语言模型（LLM）前沿中的一支，DeepMind（搞AlphaGo下围棋的那公司）、Google、FB，都有自己的优秀实践。从技术能力上，我觉得还远没有到比哪个更好的程度，倒是ChatGPT这一波秀出圈以后，大家找金主爸爸要钱会更容易了，这是个大家都开心的事儿。关于替代人类工作的讨论，用微软CEO纳德拉的话说：“信息的整合、转译和流通，变得廉价”。因此对于所有与信息整合、转译和流通相关的工作，还是会有影响。侵入“创造性”工作GPT模型已经离谱到，直接把图案转成向量喂给它，就能帮我们补齐图片（image-gpt）的地步，或许我们曾以为的文案、绘图，甚至是编码这些曾经被认为无法被AI替代的工作都将被入侵。取代“搜索和问答”人类在已有知识的搜索和输出上，可能永远无法超过AI。Google已经开始加快LaMDA的速度，然后是微软继续加注OpenAI并开始在Bing中融入，再然后StackOverflow（技术类知识问答界的明珠）用户量降了3200万，所以我觉得，大模型是靠谱的，替代也是迟早的事儿。让AI应用更简单ChatGPT的Zero-shot效果显著（LLM有三种学习方式，Few-shot、One-shot、Zero-shot，讲人话就是举多反一、举一反一、无中生有），这个能力在语言模型中，影响极其深远。简单来说，就是我们如果想在项目中引入AI能力，GPT很好的通用性、极少的“调教”量会使得工程上更简单。ChatGPT背后基础模型能力成熟且强，更多此类大模型被打造出来后，使得千千万万的AI加持变成可能，实现“AI使能”落入寻常百姓家。而且，OpenAI卖通用AI的API的生意还是可以赚钱的（见下图，1k token大约等于750个字，看着不算贵，默认还有18刀的体验费用），这里不得不开个玩笑：AI工程师们，你们把AI的道拓宽了，把自己的道都走窄了啊！三、ChatGPT并非万能从根子上理解，GPT算法在做的其实是“补齐”工作：即通过学习人类说话的方式，基于上下文，推测后面你打算说啥。具体要回答啥，则完全靠概率计算，靠“违和感”。如此一来，当下的GPT算法势必就有几个特点：需要海量的数据、算力和钱搞个这种算法，总共烧了多少钱呢？22年是5个亿刀，前七年40亿刀，最近微软新加注100亿刀。（我看网上说，ChatGPT训练下来大约1200多万美金，这样看来，微软的投资，还是打好算盘的，钱要花在自己身上才算值）。而且，搜索引擎和信息入口企业已占先机，想要再进入，都需要更多的数据、钱和算力。当然，还需要很多标注人力来调教模型，让其有人的习惯和三观。真实版“人云亦云”：类比鹦鹉学舌，有响应不代表有思考，响应够用也不代表足够 优美。虽然它对通识类的知识理解，效果非常好（何谓通识？就是搜索引擎能搜出一堆来的知识，互联网本身信息已经高度冗余了，只是作为个体的人类不太清楚罢了），但其实AI也并不知道自己说的对不对，它只是知道，大家一般都这么说，然后做一些看起来不错的回答。（思维链除外，这个东西细思极恐，只是欺负它目前还没有那么成熟）时效性问题即目前ChatGPT学的是2021年前的知识，所以不知道2022年世界杯谁赢了，不过对于这个问题是可解的。OpenAI的WebGPT算法，已经与Bing结合，把最新的信息投喂给模型，如此一来，它也就知道最新消息了。（我不清楚具体是如何实现，猜测应该不是去实时训练基础模型，而是在上层叠加了什么）四、我们如何利用ChatGPT这个问题我想再扩大一点，扩大到AIGC这个话题上，AIGC已经被Science列为2022年TOP10科学突破，2022年是当之无愧的AIGC元年，结合我们的日常工作，我认为以下方面是可以快速尝试和引入的：信息摘要和初级创作：主要用于日常办公效率提升的场景从信息摘要的角度，这就是信息爆炸时代的良药，简要描述为用魔法打败魔法：直接让AI从繁杂的信息中摘取需要的重点内容，节约人力；从初级创作性工作替代上来看， AIGC可以快速帮我们做完早期的工作，更多精力投入“微雕”。从OpenAI的Codex来看（支撑Github Copilot），对于常用算法、业务逻辑代码、重构（包括跨语言的重构，比如从java改成go）、代码注释（福音啊！）等的代码生成能力已经逐渐成型， 我试着面向GPT编程，效果相当好：语法工整、注释清晰、变量准确（除了逻辑错了一丢丢 – 返回是月末周日，而不是周六）通识类问题解答：主要用于通识类知识搜索和问答场景，在公开域搜索信息，以减少人力搜索和辨别的过程。IT系统拟人化：主要用于人机交互场景，这个用途好像很少有人提，可能太偏门了。我觉得其实AIGC特别合适帮我们IT系统的输出更“丝滑”、更“拟人”、更“准确”，优化机器输出更加的“人性化”，符合普遍大众的习惯。五、写在最后“吾生也有涯，而知也无涯。以有涯随无涯，殆已！”，我觉得古人的智慧足以回答关于人类与ChatGPT未来发展的问题，在我看来，对于ChatGPT，甚至是更宽广的技术发展来说，科技是为了解放人类的双手，让我们用更充足的精力去进行思考、探索和创造，AI应该成为我们的辅助能力，而不是竞争者。想要了解华为盘古大模型的，回复“盘古大模型”，文末领取丰厚资料包~

智能制作诗词，AI应用语言开发

XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。它在 Gradient Boosting 框架下实现机器学习算法。XGBoost提供并行树提升（也称为GBDT，GBM），可以快速准确地解决许多数据科学问题。相同的代码在主要的分布式环境（Hadoop，SGE，MPI）上运行，并且可以解决数十亿个示例之外的问题。XGBoost 是对梯度提升算法的改进，求解损失函数极值时使用了牛顿法，将损失函数泰勒展开到二阶，另外损失函数中加入了正则化项。训练时的目标函数由两部分构成，第一部分为梯度提升算法损失，第二部分为正则化项。损失函数定义为其中n为训练函数样本数，l是对单个样本的损失，假设它为凸函数，为模型对训练样本的预测值，为训练样本的真实标签值。正则化项定义了模型的复杂程度：其中，和为人工设置的参数，w为决策树所有叶子节点值形成的向量，T为叶子节点数。Boost核心算法1.不断地添加树,不断地进行特征分裂来生长一棵树,每次添加一个树,其实是学习一个新函数f(x),去拟合上次预测的残2.当我们训陈练完成得到棵树,我们要预湨一个样本的分数,其实就是根据这个样本的特征,在每棵树中会落到对应的一个叶子节点,每个叶子节点就对应一个分数3.最后只需要将每棵树对应的分数加起来就是该样本的预湨值。需要带入的包from sklearn.metrics import precision_scorefrom sklearn.model_selection import train_test_splitfrom matplotlib.colors import ListedColormapfrom sklearn.preprocessing import LabelEncoderfrom sklearn.metrics import classification_reportfrom sklearn.model_selection import GridSearchCVimport matplotlib.pyplot as pltimport seaborn as snsimport warningsimport xgboost as xgbimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltwarnings.filterwarnings("ignore")