- 10.语言模型训练准备训练参数及数据def language_model_hparams(): params = HParams( num_heads = 8, num_blocks = 6, input_vocab_size = 50, label_vocab_size = 50, max_length = 10... 10.语言模型训练准备训练参数及数据def language_model_hparams(): params = HParams( num_heads = 8, num_blocks = 6, input_vocab_size = 50, label_vocab_size = 50, max_length = 10...
- 7.声学模型训练准备训练参数及数据为了本示例演示效果，参数batch_size在此仅设置为1，参数data_length在此仅设置为20。若进行完整训练，则应注释data_args.data_length = 20，并调高batch_size。def data_hparams(): params = HParams( data_path = './speech_reco... 7.声学模型训练准备训练参数及数据为了本示例演示效果，参数batch_size在此仅设置为1，参数data_length在此仅设置为20。若进行完整训练，则应注释data_args.data_length = 20，并调高batch_size。def data_hparams(): params = HParams( data_path = './speech_reco...
- DFCNN + Transformer模型完成中文语音识别语音识别，通常称为自动语音识别，（Automatic Speech Recognition，ASR），主要是将人类语音中的词汇内容转换为计算机可读的输入，一般都是可以理解的文本内容，也有可能是二进制编码或者字符序列。但是，我们一般理解的语音识别其实都是狭义的语音转文字的过程，简称语音转文本识别（ Speech To Text, ST... DFCNN + Transformer模型完成中文语音识别语音识别，通常称为自动语音识别，（Automatic Speech Recognition，ASR），主要是将人类语音中的词汇内容转换为计算机可读的输入，一般都是可以理解的文本内容，也有可能是二进制编码或者字符序列。但是，我们一般理解的语音识别其实都是狭义的语音转文字的过程，简称语音转文本识别（ Speech To Text, ST...
- NLP特征提取器简介 - RNN和Transformer近年来，深度学习在各个NLP任务中都取得了SOTA结果，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。长短期记忆网络(LSTM)传统RNN的做法是将的所有知识全部提取出来，不作任何处理的输入到下一个时间步进行迭代。就像参加考试一样，如果希望事先把书本上的所有知识都记住，到了考试的时候，早期的知识恐怕已经被近期的知识完全覆... NLP特征提取器简介 - RNN和Transformer近年来，深度学习在各个NLP任务中都取得了SOTA结果，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。长短期记忆网络(LSTM)传统RNN的做法是将的所有知识全部提取出来，不作任何处理的输入到下一个时间步进行迭代。就像参加考试一样，如果希望事先把书本上的所有知识都记住，到了考试的时候，早期的知识恐怕已经被近期的知识完全覆...
- 先来简单回顾一下神经网络语言模型。语言模型 (Language Models) 是语音识别系统中的重要组成部分，语音识别的核心公式如下这可进一步表示为一系列单个词的条件概率的乘积，这些条件概率取决于它们各自的前文序列。这也是当前统计语言模型的核心公式，在大规模训练语料库中用合适的模型统计分析得到词与词之间的关系依赖，即语义信息。n 元语法模型就是用马尔科夫假设限制了前文的长度，然后用频率近似... 先来简单回顾一下神经网络语言模型。语言模型 (Language Models) 是语音识别系统中的重要组成部分，语音识别的核心公式如下这可进一步表示为一系列单个词的条件概率的乘积，这些条件概率取决于它们各自的前文序列。这也是当前统计语言模型的核心公式，在大规模训练语料库中用合适的模型统计分析得到词与词之间的关系依赖，即语义信息。n 元语法模型就是用马尔科夫假设限制了前文的长度，然后用频率近似...
- chain model的结构chain model实际上是借鉴了CTC的思想，引入了blank用来吸收不确定的边界。但CTC只有一个blank，而chain model中每一个建模单元都有自己的blank。如下图所示：对应kaldi中的结构定义为：在kaldi中，把Sp和Sb看做同一个状态(都对应state 0)，只是pdfclass不同。ForwardPdfClass表示Sp，SelfLo... chain model的结构chain model实际上是借鉴了CTC的思想，引入了blank用来吸收不确定的边界。但CTC只有一个blank，而chain model中每一个建模单元都有自己的blank。如下图所示：对应kaldi中的结构定义为：在kaldi中，把Sp和Sb看做同一个状态(都对应state 0)，只是pdfclass不同。ForwardPdfClass表示Sp，SelfLo...
- 网络结构可以被认为是另外需要确定的参数。既然每层可以被认为是前一层的特征抽取器，每层节点的数量应该足够大以获取本质的模式。这在模型低层是特别重要的,因为开始层的特征变化更大，它需要比其他层更多的节点来模拟特征模式。然而，如果每层节点太大，它容易在训练数据上过拟合。一般来说，宽且浅的模型容易过拟合，深且窄的模型谷易欠拟合。事实上，如果有一层很小(通常称为瓶颈),模型性能将有重大的下降，特别是瓶... 网络结构可以被认为是另外需要确定的参数。既然每层可以被认为是前一层的特征抽取器，每层节点的数量应该足够大以获取本质的模式。这在模型低层是特别重要的,因为开始层的特征变化更大，它需要比其他层更多的节点来模拟特征模式。然而，如果每层节点太大，它容易在训练数据上过拟合。一般来说，宽且浅的模型容易过拟合，深且窄的模型谷易欠拟合。事实上，如果有一层很小(通常称为瓶颈),模型性能将有重大的下降，特别是瓶...
- Kaldi的nnet3网络结构。xconfig: 类似于keras，简洁的网络定义，xconfig覆盖了大部分常用的神经网络layerconfig: kaldi实际使用的config， 基于node定义网络结构，如果xconfig无法满足需求，可在config层实现。C++: 如果某些网络无法用config构建，或者想提高效率，则可以在C++层实现。(Kaldi本身的LSTM可以通过conf... Kaldi的nnet3网络结构。xconfig: 类似于keras，简洁的网络定义，xconfig覆盖了大部分常用的神经网络layerconfig: kaldi实际使用的config， 基于node定义网络结构，如果xconfig无法满足需求，可在config层实现。C++: 如果某些网络无法用config构建，或者想提高效率，则可以在C++层实现。(Kaldi本身的LSTM可以通过conf...
- GMM(Gaussian mixture model)，高斯混合模型，也可以简写成MOG.高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。GMM已经在数值逼近、语音识别、图像分类、图像去噪、图像重构、故障诊断、视频分析、邮件过滤、密度估计、目标识别与跟踪等领域取得了良好的效果。实际上，GMM的目的就是找到一个... GMM(Gaussian mixture model)，高斯混合模型，也可以简写成MOG.高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。GMM已经在数值逼近、语音识别、图像分类、图像去噪、图像重构、故障诊断、视频分析、邮件过滤、密度估计、目标识别与跟踪等领域取得了良好的效果。实际上，GMM的目的就是找到一个...
- 关于声学模型，主要有两个问题，分别是特征向量序列的可变长和音频信号的丰富变化性。可变长特征向量序列问题在学术上通常有动态时间规划（Dynamic Time Warping, DTW）和隐马尔科夫模型（Hidden Markov Model, HMM）方法来解决。而音频信号的丰富变化性是由说话人的各种复杂特性或者说话风格与语速、环境噪声、信道干扰、方言差异等因素引起的。声学模型需要足够的鲁棒性... 关于声学模型，主要有两个问题，分别是特征向量序列的可变长和音频信号的丰富变化性。可变长特征向量序列问题在学术上通常有动态时间规划（Dynamic Time Warping, DTW）和隐马尔科夫模型（Hidden Markov Model, HMM）方法来解决。而音频信号的丰富变化性是由说话人的各种复杂特性或者说话风格与语速、环境噪声、信道干扰、方言差异等因素引起的。声学模型需要足够的鲁棒性...
- 在基于GMM-HMM的传统语音识别里，比音素（phone）更小的单位是状态（state）。一般每个音素由三个状态组成，特殊的是静音（SIL）由五个状态组成。这里所说的状态就是指HMM里的隐藏的状态，而每帧数据就是指HMM里的观测值。每个状态可以用一个GMM模型表示（这个GMM模型的参数是通过训练得到的）。在识别时把每帧数据对应的特征值放进每个状态的GMM里算概率，概率最大的那个就是这帧对应的... 在基于GMM-HMM的传统语音识别里，比音素（phone）更小的单位是状态（state）。一般每个音素由三个状态组成，特殊的是静音（SIL）由五个状态组成。这里所说的状态就是指HMM里的隐藏的状态，而每帧数据就是指HMM里的观测值。每个状态可以用一个GMM模型表示（这个GMM模型的参数是通过训练得到的）。在识别时把每帧数据对应的特征值放进每个状态的GMM里算概率，概率最大的那个就是这帧对应的...
- 平滑技术用于解决N-gram语言模型训练过程中存在的数据稀疏或零概率问题，是提高语言模型性能的核心技术。本文介绍了几种常用的平滑算法，并对SRILM的平滑参数及ARPA格式的语言模型进行了解析。 平滑技术用于解决N-gram语言模型训练过程中存在的数据稀疏或零概率问题，是提高语言模型性能的核心技术。本文介绍了几种常用的平滑算法，并对SRILM的平滑参数及ARPA格式的语言模型进行了解析。
- 图1语音识别中的语言模型重打分从公式 (1) 中可以看出，语言模型 在语音识别任务中是作为一个先验项的，在贝叶斯公式中也确然如此。声学模型 是为了找出能产生声学信号 的最有可能的 ，但是在隐马尔科夫模型中我们可知实际上声学模型找到的是每一帧语音对应的最大概率的文本，因此只用声学模型得到文本序列是不考虑语义信息的，由于同音字词的存在识别结果往往很差；而语言模型就是在正常语料上训练，在声... 图1语音识别中的语言模型重打分从公式 (1) 中可以看出，语言模型 在语音识别任务中是作为一个先验项的，在贝叶斯公式中也确然如此。声学模型 是为了找出能产生声学信号 的最有可能的 ，但是在隐马尔科夫模型中我们可知实际上声学模型找到的是每一帧语音对应的最大概率的文本，因此只用声学模型得到文本序列是不考虑语义信息的，由于同音字词的存在识别结果往往很差；而语言模型就是在正常语料上训练，在声...
- 一、Ubuntu镜像上传到集群1.下载镜像代码如下（示例）： docker pull ecpe4s/ubuntu20.04-spack2.查看镜像是否下载完成代码如下（示例）：docker images3.更改镜像名称代码如下（示例）：docker tag tensorflow/ecpe4s/ubuntu20.04-spack 211.82.236.15:8888/liu2yang/ubun... 一、Ubuntu镜像上传到集群1.下载镜像代码如下（示例）： docker pull ecpe4s/ubuntu20.04-spack2.查看镜像是否下载完成代码如下（示例）：docker images3.更改镜像名称代码如下（示例）：docker tag tensorflow/ecpe4s/ubuntu20.04-spack 211.82.236.15:8888/liu2yang/ubun...
上滑加载中
推荐直播
-
2024年川渝职工软件创新应用技能竞赛 作品开发赋能2024/11/05 周二 16:00-17:00
杰森 华为云AI工程师
直播将涵盖大赛作品提交、作品模板要求讲解，评分规则介绍等，期待大家的参与！
回顾中 -
华为云入门必修课：技术精髓知识点精讲2024/11/07 周四 17:40-19:40
Jackie 华为云资深布道师
本期直播旨在帮开发者了解云的基本概念、云的优势、常见存储服务的原理及使用，掌握ECS的概念、功能、场景和使用等，为你的开发之路奠定坚实理论根基，帮助开发者在云计算领域提升技能，增强职业竞争力。
去报名 -
0代码智能构建AI Agent——华为云AI原生应用引擎的架构与实践2024/11/13 周三 16:30-18:00
苏秦 华为云aPaaS DTSE技术布道师
大模型及生成式AI对应用和软件产业带来了哪些影响？从企业场景及应用开发视角，面向AI原生应用需要什么样的工具及平台能力？企业要如何选好、用好、管好大模型，使能AI原生应用快速创新？本期直播，华为云aPaaS DTSE技术布道师苏秦将基于华为云自身实践出发，深入浅出地介绍华为云AI原生应用引擎，通过分钟级智能生成Agent应用的方式帮助企业完成从传统应用到智能应用的竞争力转型，使能千行万业智能应用创新。
去报名
热门标签