嘿嘿嘿我的诗不错吧，

生命有裂缝，阳光才能照进来

AI文字成图识别语言理解，yu'yan'chu'li

少女的征途是星辰大海

不朽银河洒下银辉，使此人世熠熠生辉。

Whenever the day according to the mountains, the sunset will be through the clouds, like the golden light, such as Xiagang Wanzhang, the sky Baiyun dyed red, the earth mountains and rivers reflected in gold, as if the whole world at that moment have become resplendent, enthusiastic put up.

已完成AI写诗实践要求

云原生的通俗解释+画图示意微服务 CICD devops 容器化的关系+四个各自的功能作用云原生：云原生既包含技术（微服务、敏捷基础设施），也包含组织和管理（DevOps，CI/CD等），是一系列Cloud技术、企业管理方法的集合。一套新的技术体系、一种新的工作方法论、云计算发生的必然导向。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式 API。来自华为的解释：Cloud Native是指在云环境下构建、运行、管理软件的新的系统实践范式，充分利用云基础设施与平台服务（IaaS/PaaS），适应云环境，具备（微）服务化、弹性伸缩、分布式、高可用、多租户、自动化等关键特征的架构实践；建立全功能团队、发展全栈工程师并高度协作的组织，采用Devops研发模式、自动化工具，实现微服务持续交付，是支撑Cloud Native架构的最佳组织和工程实践。云原生的四大核心要素便是微服务技术、DevOps、持续交付、容器化。微服务技术：独立开发、发布、交付、部署，使得应用拆分，所有的应用都可以独立的部署、迭代。DevOps开发、测试、交付、运维一体，微服务的最佳组织阵型，使得应用可以快速编译、自动化测试、部署、发布、回滚，让开发和运维一体化。持续交付持续开发、交付、部署、扩容/快速反馈，响应业务需求，让应用可以频繁发布、快速交付、快速反馈、降低发布风险。容器化：容器及其编排，敏捷的基础设施、按需即用，容器化是微服务最佳载体，应用整体开发以容器为基础，实现代码组件复用、资源隔离。四要素的关系：基于云原生的相关技术，设计运行在云上的，充分发挥云优势的应用。一般采用容器的打包、分发、部署的形式，应用内（间）采用微服务的架构，充分利用云提供的组件服务，采用DevOps的组织架构和方法，通过CI/CD工具链，实现产品和服务的持续交付。容器及其编排是底层，微服务的最佳载体。CI/CD是工具，Devops是微服务的最佳组织阵型。

完成了

长期以来，评价机器生成的文本比较困难。近日，CMU邢波（Eric Xing）教授和UCSD胡志挺（Zhiting Hu）教授的团队提出用一种运算符，统一各类生成任务的评价方式，为未来各种新任务、新要求提供了更加统一的指导。实验表明，基于统一框架设计的评价指标，在多个任务上超过了现有指标与人工评分的相似度，现在通过PyPI和GitHub可以直接调用。自然语言生成（NLG）包括机器翻译、摘要生成、机器对话等自然语言处理 （NLP）任务。这些任务虽然都要求生成通顺的文本，但是最终的表达目标往往有很大的区别。比如说，翻译任务需要完整、精确地表达原文的含义；摘要生成需要简洁、准确地体现原文最重要的信息；对话系统则需要与用户进行生动、有用的对答。过去几年间，研究人员在这些任务的建模方面，取得了很大的进步。然而，评价语言生成的结果，却依旧比较困难。人工评价最准确，但是非常昂贵耗时。自动评价则反过来，规模化比较容易，但在如何评价方面比较模糊。传统上的评价方法是比较模型生成的文本与人写的参考文本，但近年的研究表明，随着模型的进步，这样的方法已经越来越难以区分文本的好坏。事实上，在AAAI 2021会议上的DSTC9对话系统比赛中，人工评分已经不再考虑参考文本，而是依靠评分员综合对话历史、知识情景和模型回答，作出评判。同时，实际应用中的部署，也要求对生成模型作出多维度的评价，而这些是传统的单一指标做不到的。比如，2021年百度主办的「千言：面向事实一致性的生成评测比赛」中，除了传统的信息选择指标外，还考察了事实性指标，并为之设计了独立的评价流程。之前提到的DSTC9比赛的各个分赛也分别考察了3-8个不同的维度指标。为了解决如上所述的新需求，相关工作提出了各种各样的评价方法和新指标，但是这些方法往往是针对具体的任务和目标而设计。对于日新月异的各类任务，要评价什么？如何评价？目前还缺乏系统的指导。在这个方向上，CMU（卡耐基梅隆大学）、Petuum Inc.、MBZUAI（穆罕默德·本·扎耶德人工智能大学）和UCSD（加州大学圣迭戈分校）的研究团队提出了一个自然语言生成评价的理论框架，为未来各种新任务和新要求，设计评估流程时，都提供了更加统一的指导。首先，研究人员根据信息从输入到输出的变化方式，把语言生成任务分为三大类，每类任务对输出提出不同的评价需求。通过给新任务归类，就可以对「评价什么」有所启发。其次，他们用一种称为「信息对齐」的运算符统一了所有任务类别的评价方式，从信息对齐的角度出发设计评价指标，可以解决大量的「如何评价」问题。论文中基于信息对齐，统一设计了一系列评价指标，在评价多种任务（摘要生成、风格转换和知识对话）中与人类评分的相似度最高超过现有指标57.30%。论文中设计的评价指标已经上传到Python库，用pip install就可以直接安装。研究人员在GitHub上也公开了代码，并提供了数种训练好的信息对齐模型，欢迎各位同学在研究中调用。论文链接：https://arxiv.org/pdf/2109.06379.pdf代码和API链接：https://github.com/tanyuqian/ctc-gen-evalPython 安装：pip install ctc_score评价什么：语言生成任务的分类根据任务输入（X）和输出（Y）文本中，信息量的关系，研究者认为可以把语言生成任务分为三大类：压缩、转换和创建，分别对应输入大于、等于和小于输出。每一类任务的目标都有区别，也对输出文本提出了各自的要求。我们可以通过对新任务对分类，对「评价什么」有所启发。压缩类任务（Compression）目标：把输入信息中重要的部分，呈现在输出中举例：摘要生成（Summarization）、图像描述（Image Captioning）、结构文本生成（Data-to-Text）和问题生成（Question Generation）评价重点：1）输出信息要完全来自输入；2）输出信息应该是输入中的重要信息转换类任务（Transduction）目标：把输入信息中的某一方面转换，其他保持不变举例：机器翻译（Translation）、文本复述（Paraphrasing）、文本风格迁移（Style Transfer）和文本简化（Language Simplification）评价重点：输出要尽量完整地保留输入的信息创建类任务（Creation）目标：基于输入和外部信息，输出新的信息举例：机器对话（Dialog）、建议生成（Advice Generation）、故事生成（Story Generation）和诗歌生成（Poetry Generation）评价重点：1）输出要充分回应输入；2）输出要正确地使用外部信息这里可以看到，评估的重点取决于任务中输入输出的信息量变化，因此，如果能够测量输入输出信息重合度，就可以评估所有类别的生成任务。如何评价：信息对齐为了测量如上所述的重合度，研究者引入了「信息对齐」这个运算符，这样就统一了所有生成任务的评价方式。信息对齐是说，对于文字A和任何数据B，可以对于A的每个词都算出一个置信度，这个词的信息有没有在B中反映出来。具体的数学形式为如下所示的向量：在实际中，这个数据B不一定要是文字，也可以是任何模态的数据，只要有一个模型（Alignment Model）能算出这个对齐的置信度。A、B、模型和对齐向量的关系如下图所示：下面，研究者展示了如何统一地用信息对齐这个算符，来定义各种语言生成任务的评价指标。用信息对齐统一设计评价指标压缩类任务对于压缩类任务，研究者以摘要生成作为一个例子：转换类任务对于转换类任务，研究者以文本风格迁移为例：创建类任务对于创建类任务，研究者以知识对话为例：现在已经用信息对齐运算符定义了这么多评估指标，下一步来看这个运算符是怎样实现的。信息对齐的三种实现方法研究者把信息对齐当作一个预测问题建模，提出了三种基于预训练模型（Pretrained Language Models）的实现方法，普遍采用自监督学习。模型准确度可以通过与人工标注比较来评价。词向量召回（Embedding Matching）判别模型（Discriminative Model）回归模型（Aggregated Regression）实验结果实验结果表明，研究者的统一设计的评价指标，与人工评分的相似度，超过之前的针对任务特别设计的指标，最高超过现有指标57.30%。另外，研究者发现，对齐模型预测准确度越好，他们的指标就越接近人的评价。超过现有指标最多57.30%对齐模型准确度与人工评分相似度有直接关系研究者的对齐模型普遍使用自监督学习，但使用人工标注训练可以有效提升准确度和以此实现的评价指标。与人工评分的相似度如下图所示：这说明了：只要能够改善对齐预测模型，就能改善一大批评价指标。我们可以把对齐预测作为一个单独的任务，这个任务的进步直接提升评价语言生成的准确度。这项工作开启了可组合（Composable）的文本评价流程。像软件工程一样，研究者表示可以把这个系统分为若干模块，这些模块可以独立地改进、规模化、和诊断，未来期待有更多的探索。

事实上，加入预训练的语言模型并将一些示例输入给它确实是有效的。Chen 等人在论文「Few-Shot NLG with Pre-Trained Language Model」（https://www.aclweb.org/anthology/2020.acl-main.18.pdf）中，使用一些表中的信息以及 GPT-2 解码器说明了这一现象。他们首次将表单元输入给了一个可学习的 LSTM 编码器，从而得到拷贝机制的隐藏状态。另一方面，输入 GPT-2 的文本使用了冻结的权重。这种拷贝机制有助于保留表单元中的稀有词例。作者在 WikiBio 上进行的实验表明，仅仅使用 200 个训练示例就足以生成比复杂的强对比基线更好的文本。同样是使用表数据，Chen 等人在论文「Logical Natural Language Generation from Open-Domain Tables」（https://www.aclweb.org/anthology/2020.acl-main.708.pdf）中构建了一个新的数据集 LogicNLG，它需要在标准的文本生成方法的基础上使用额外的逻辑。例如，我们需要使用一些比较和计数操作来纳入「1 more gold medal」或「most gold medals」等部分，这些部分会使得生成的文本更加自然和生动。用于实验数据集的对比基线使用了预训练的 GPT-2 和 BERT，但似乎在这个任务上的语言模型仍然还有很大的提升空间。Song 等人在论文「Structural Information Preserving for Graph-to-Text Generation」（https://www.aclweb.org/anthology/2020.acl-main.712.pdf）中，应用了一个稍加修改的 Transformer 编码器，它显式地处理了表面形式的关系。模型的输入就是一个线性化的图（你可以通过深度优先搜索 DFS 等方式构建）。解码器并没有对 Transformer 做任何修改。该方法关键的部分在于向标准的语言模型损失中添加了两种自编码损失，它们是专门为了捕获与语言化图的结构而设计的。第一个损失重建了三元关系，另一个损失则重建了线性化输入图的节点和连边的标签。在 AMR 和 RDF 图（WebNLG）上进行的实验说明，仅仅加入这两种损失就可以在 BLEU 指标上提升 2 个点。

随着知识图谱（更广义地说是结构化数据）在 2020 年被广泛应用于 NLP 领域，我们可以看到大量利用一系列 RDF 三元组/AMR 图/一系列表单元的自然语言生成（NLG）方法，它们可以生成说明或问题等连贯的人类可读的文本。此外，当前的各种 RDF-to-text 方法仅仅在 WebNLG 2017 上进行了评价，然而新一轮的条挑战——WebNLG 2020（https://webnlg-challenge.loria.fr/challenge_2020/）已经到来，如果你是一名自然语言生成研究人员，请参与到这项新的挑战中。下面这条 Dmitry Lepikhin 的推特很好地概括了今年 NLG 领域的发展趋势。我们需要设计复杂的规划器和执行器吗？需要使用结构化的对齐技术吗？实际上，使用优秀的预训练语言模型就可以得到不错的效果。事实上，加入预训练的语言模型并将一些示例输入给它确实是有效的。Chen 等人在论文「Few-Shot NLG with Pre-Trained Language Model」（https://www.aclweb.org/anthology/2020.acl-main.18.pdf）中，使用一些表中的信息以及 GPT-2 解码器说明了这一现象。他们首次将表单元输入给了一个可学习的 LSTM 编码器，从而得到拷贝机制的隐藏状态。另一方面，输入 GPT-2 的文本使用了冻结的权重。这种拷贝机制有助于保留表单元中的稀有词例。作者在 WikiBio 上进行的实验表明，仅仅使用 200 个训练示例就足以生成比复杂的强对比基线更好的文本。同样是使用表数据，Chen 等人在论文「Logical Natural Language Generation from Open-Domain Tables」（https://www.aclweb.org/anthology/2020.acl-main.708.pdf）中构建了一个新的数据集 LogicNLG，它需要在标准的文本生成方法的基础上使用额外的逻辑。例如，我们需要使用一些比较和计数操作来纳入「1 more gold medal」或「most gold medals」等部分，这些部分会使得生成的文本更加自然和生动。用于实验数据集的对比基线使用了预训练的 GPT-2 和 BERT，但似乎在这个任务上的语言模型仍然还有很大的提升空间。Song 等人在论文「Structural Information Preserving for Graph-to-Text Generation」（https://www.aclweb.org/anthology/2020.acl-main.712.pdf）中，应用了一个稍加修改的 Transformer 编码器，它显式地处理了表面形式的关系。模型的输入就是一个线性化的图（你可以通过深度优先搜索 DFS 等方式构建）。解码器并没有对 Transformer 做任何修改。该方法关键的部分在于向标准的语言模型损失中添加了两种自编码损失，它们是专门为了捕获与语言化图的结构而设计的。第一个损失重建了三元关系，另一个损失则重建了线性化输入图的节点和连边的标签。在 AMR 和 RDF 图（WebNLG）上进行的实验说明，仅仅加入这两种损失就可以在 BLEU 指标上提升 2 个点。在这里，我想劝大家：每个人都应该停止使用 BLEU 评价 NLG 的质量

实验结果表明：（1）DualEnc 在构建内容规划时，在未见过的测试集上有很好的泛化效果（2）文本生成质量比直接使用 Transformer 更高（3）规划阶段的速度提升很大，2019 年最佳的模型需要 250 秒才能处理一个「7-三元组」实例，而 DualEnc 在 10 秒中就可以处理 4,928 个示例。最后，在摘要生成领域中，Huang 等人在论文「Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward」（https://www.aclweb.org/anthology/2020.acl-main.457.pdf）中提出了 ASGARD，利用根据某个文档构建的知识图谱改进了文本生成过程。具体而言，编码器由两部分组成。步骤 1：他们使用 RoBERTa 对输入段落进行编码。最后一层嵌入会被输入给一个双向 LSTM，从而获得隐藏状态。步骤 2：他们使用 OpenIE 提取三元组，从输入文档中导出一张图。他们将关系词例变换为与 DualEnc 相似的显式节点，然后使用前面的双向 LSTM 的隐藏状态对节点的状态进行初始化。他们使用图注意力网络（GAT）更新节点状态，并使用一个读出函数获取图的上下文向量。步骤 3：他们将前两步获得的向量作为条件，从而生成文本。训练时出现了一些神奇的现象：ASGARD 使用了强化学习算法，其中奖励函数是基于 ROUGE 和完形填空得分构建的。完形填空的部分包括根据人类编写的摘要提取 OpenIE 图，并基于它们生成完形填空风格的问题，以便系统更好地了解摘要文档的含义。所以从某种程度上说，这里面也包含了一个问答系统模型。作者为 CNN 和 NYT 数据集生成了一百万多个完形填空问题。实验结果表明，该方法超越了以前的对比基线。然而，预训练好的 BART 在目标数据集上进行调优后成为了最终的最佳模型。

实验结果表明：（1）DualEnc 在构建内容规划时，在未见过的测试集上有很好的泛化效果（2）文本生成质量比直接使用 Transformer 更高（3）规划阶段的速度提升很大，2019 年最佳的模型需要 250 秒才能处理一个「7-三元组」实例，而 DualEnc 在 10 秒中就可以处理 4,928 个示例。最后，在摘要生成领域中，Huang 等人在论文「Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward」（https://www.aclweb.org/anthology/2020.acl-main.457.pdf）中提出了 ASGARD，利用根据某个文档构建的知识图谱改进了文本生成过程。具体而言，编码器由两部分组成。步骤 1：他们使用 RoBERTa 对输入段落进行编码。最后一层嵌入会被输入给一个双向 LSTM，从而获得隐藏状态。步骤 2：他们使用 OpenIE 提取三元组，从输入文档中导出一张图。他们将关系词例变换为与 DualEnc 相似的显式节点，然后使用前面的双向 LSTM 的隐藏状态对节点的状态进行初始化。他们使用图注意力网络（GAT）更新节点状态，并使用一个读出函数获取图的上下文向量。步骤 3：他们将前两步获得的向量作为条件，从而生成文本。训练时出现了一些神奇的现象：ASGARD 使用了强化学习算法，其中奖励函数是基于 ROUGE 和完形填空得分构建的。完形填空的部分包括根据人类编写的摘要提取 OpenIE 图，并基于它们生成完形填空风格的问题，以便系统更好地了解摘要文档的含义。所以从某种程度上说，这里面也包含了一个问答系统模型。作者为 CNN 和 NYT 数据集生成了一百万多个完形填空问题。实验结果表明，该方法超越了以前的对比基线。然而，预训练好的 BART 在目标数据集上进行调优后成为了最终的最佳模型。转自，MrBear，https://www.leiphone.com/category/academic/n3WcOtLYehqcrpXv.html