Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样，尽管这个英语的要求非常严格！Python的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。Python语法简单，极其容易上手免费、开源  Python是FLOSS（自由/开放源码软件）之一。简单地说，可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。这是为什么Python如此优秀的原因之一——它是由一群希望看到一个更加优秀的Python的人创造并经常改进着的。Python由Guido van Rossum于19**底发明，第一个公开发行版发行于1991年。Python语言通用性高，可读性强，学习曲线平缓，在深度学习社区中流行程度高。本书将使用Python语言实现深度学习系统。。可移植性  基于Python开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）。如果你小心地避免使用依赖于系统的特性，那么你的所有Python程序无需修改就可以在下述任何平台上面运行。这些平台包括：Linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、 BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE甚至还有PocketPC！解释性  Python是一种解释型语言。这就是说，与C语言和C的衍生语言不同，Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。面向对象Python非常适合面向对象的编程（OOP），因为它支持通过组合（composition）与继承（inheritance）的方式定义类（class）。Python中没有访问说明符（access specifier，类似C++中的public和private），这么设计的依据是“大家都是成年人了”。可扩展  如果你需要你的一段关键代码运行得更快或者希望某些算法不公开，你可以把你的部分程序用C或C++编写，然后在你的Python程序中使用它们。可嵌入性  可以把Python嵌入你的C/C++程序，从而向你的程序用户提供脚本功能强大的标准库Python标准库，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、 FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI（图形用户界面）、Tk和其他与系统有关的操作，强大到你想不到。Python的应用领域Python是一种跨平台编程语言，理论上，Python可以运行在任何操作系统平台上。目前最常用的操作系统平台是Windows、Mac OS X 和Linux。毫无疑问，这三个平台都会成为Python的主战场。Python的简单易学、众多第三方程序库，以及运行速度快等特性让Python的应用领域异常广泛。Python的应用主要有以下领域。Linux/UNIX运维命令行程序开发GUI程序开发Web程序开发移动APP开发服务端程序开发网络爬虫（为搜索引擎、深度学习等领域提供数据源）数据分析深度学习科学计算尽管这里没有列出Python的所有应用领域，但这些列出的领域就已经包含了绝大多数开发场景。用过Mac OS X 或Linux的读者会发现，在这两个操作系统中，已经内置了Python开发环境。也就是说，Python程序可以在Mac OS X 和Linux上直接运行。所以，很多运维工程师都习惯使用Python完成自动化操作。而且Python在操作网络、文本方面尤为突出。Google搜索引擎的第一个版本就是用Python写的。

目录第1章数学基础1.1数据表示——标量、向量、矩阵和张量1.1.1标量、向量、矩阵和张量1.1.2向量的范数1.1.3常用的向量1.1.4常见的矩阵1.1.5矩阵的操作1.1.6张量的常用操作1.2优化的基础——导数及其应用1.2.1导数1.2.2泰勒公式1.2.3拉格朗日乘数法1.3概率模型的基础——概率论1.3.1随机变量1.3.2概率分布1.3.3边缘概率1.3.4条件概率1.3.5独立性1.3.6期望、方差与协方差1.3.7常用的概率分布1.4习题第2章Python入门2.1Python简介2.2Python基础语法2.2.1数据结构类型2.2.2运算符2.2.3条件语句2.2.4循环语句2.2.5函数2.2.6面向对象与类2.2.7脚本2.3NumPy2.3.1NumPy数组创建与访问2.3.2NumPy数组计算2.3.3广播2.4Matplotlib2.4.1Matplotlib的安装2.4.2Matplotlib图像的组成部分2.4.3Pyplot绘制简单图形2.4.4Matplotlib多图像绘制2.5实践： 豆瓣高分电影爬取2.5.1思路分析2.5.2获取页面2.5.3解析页面2.5.4存储数据2.5.5数据展示与分析2.6习题第3章机器学习基础3.1机器学习概述3.1.1机器学习定义与基本术语3.1.2机器学习的三要素3.1.3机器学习方法概述3.2数据预处理3.2.1数据清洗3.2.2数据集拆分3.2.3数据集不平衡3.3特征工程3.3.1特征编码3.3.2特征选择与特征降维3.3.3特征标准化3.4模型评估3.5实践： 鸢尾花分类3.5.1数据准备3.5.2配置模型3.5.3模型训练3.5.4数据可视化3.6习题第4章深度学习基础4.1深度学习发展历程4.2感知机4.2.1感知机的起源4.2.2感知机的局限性4.3前馈神经网络4.3.1神经元4.3.2网络结构4.3.3训练与预测4.3.4反向传播算法4.4提升神经网络训练的技巧4.4.1参数更新方法4.4.2数据预处理4.4.3参数的初始化4.4.4正则化4.5深度学习框架4.5.1深度学习框架的作用4.5.2常见深度学习框架4.5.3飞桨概述4.6实践： 手写数字识别4.6.1数据准备4.6.2网络结构定义4.6.3网络训练4.6.4网络预测4.7习题第5章卷积神经网络5.1概述5.2整体结构5.3卷积层5.3.1全连接层的问题5.3.2卷积运算5.3.3卷积的导数5.3.4卷积层操作5.3.5矩阵快速卷积5.4池化层5.5归一化层5.6参数学习5.7典型卷积神经网络5.7.1LeNet5.7.2AlexNet5.7.3VGGNet5.7.4Inception5.7.5ResNet5.7.6DenseNet5.7.7MobileNet5.7.8ShuffleNet5.8实践： 猫狗识别5.8.1数据准备5.8.2网络配置5.8.3网络训练5.8.4网络预测5.9习题第6章循环神经网络6.1循环神经网络简介6.1.1循环神经网络的结构与计算能力6.1.2参数学习6.1.3循环神经网络变种结构6.1.4深度循环神经网络6.1.5递归神经网络6.2长期依赖和门控RNN6.2.1长期依赖的挑战6.2.2循环神经网络的长期依赖问题6.2.3门控RNN6.2.4优化长期依赖6.3双向RNN6.4序列到序列架构6.4.1Seq2Seq6.4.2注意力机制6.5实践： 电影评论情感分析6.5.1数据准备6.5.2网络结构定义6.5.3网络训练6.5.4网络预测6.6习题第7章深度学习进阶7.1深度生成模型7.1.1变分自编码器7.1.2生成对抗网络7.2深度强化学习7.2.1强化学习模型7.2.2强化学习分类7.2.3深度强化学习7.2.4深度Q网络7.2.5深度强化学习应用7.3迁移学习7.3.1迁移学习的定义与分类7.3.2迁移学习的基本方法7.4实践： 生成对抗网络7.4.1数据准备7.4.2网络配置7.4.3模型训练与预测7.5习题第8章深度学习应用： 计算机视觉8.1目标检测8.1.1传统目标检测8.1.2基于区域的卷积神经网络目标检测8.1.3基于回归的卷积神经网络目标检测8.2语义分割8.2.1传统语义分割方法8.2.2基于卷积神经网络的语义分割8.3实践： 目标检测8.3.1数据准备8.3.2网络配置8.3.3模型训练8.3.4模型预测8.4习题第9章深度学习应用： 自然语言处理9.1自然语言处理的基本过程9.1.1获取语料9.1.2语料预处理9.1.3特征工程9.2自然语言处理应用9.2.1文本分类9.2.2机器翻译9.2.3自动问答9.3实践： 机器翻译9.3.1数据准备9.3.2网络结构定义9.3.3网络训练9.3.4网络预测9.4习题

GPT-GNN：图神经网络的预训练论文名称：GPT-GNN: Generative Pre-Training of Graph Neural Networks作者：Hu Ziniu /Dong Yuxiao /Wang Kuansan /Chang Kai-Wei /Sun Yizhou发表时间：2020/6/27论文链接：https://arxiv.org/abs/2006.15437推荐原因该论文介绍的工作是致力于预训练图神经网络，以期GNN能够学习到图数据的结构和特征信息，从而能帮助标注数据较少的下游任务。  论文已经被KDD 2020 收录。文章提出用生成模型来对图分布进行建模，即逐步预测出一个图中一个新节点会有哪些特征、会和图中哪些节点相连。在第一步中，通过已经观测到的边，预测该节点的特征；在第二步中，通过已经观测到的边，以及预测出的特征，来预测剩下的边。作者在两个大规模异构网络和一个同构网络上进行了实验，总体而言，GPT-GNN在不同的实验设定下显著提高下游任务的性能，平均能达到9.1％的性能提升。另外，还评估了在不同百分比的标记数据下，GPT-GNN是否依然能取得提升。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能助手、推荐系统到自动驾驶，人们在日常生活中都可能有意无意地用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者的长期努力。特别是最近这几年，得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富，越来越多的人开始关注这个“崭新”的研究领域：深度学习。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等。目前，深度学习技术在学术界和工业界取得了广泛的成功，受到高度重视，并掀起新一轮的人工智能热潮。主要特点：系统性：系统地整理了神经网络和深度学习的知识体系。鉴于深度学习涉及的知识点较多，本书从机器学习的基本概念、神经网络模型以及概率图模型三个层面来串联深度学习所涉及的知识点，使读者对深度学习技术的理解更具系统性、条理性和全面性。可读性：本书在编排上由浅入深，在语言表达上力求通俗易懂，并通过增加图例、示例以及必要的数学推导来理解抽象的概念。同时，附录简要介绍了本书所涉及的必要数学知识，便于读者查用。实践性：本书在网站上配套了针对每章知识点的编程练习，使得读者在学习过程中可以将理论和实践密切结合，加深对知识点的理解，并具备分析问题和解决问题的能力

IMPALA：大规模强化学习算法论文名称：Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures作者：Lasse Espeholt / Hubert Soyer / Remi Munos / Karen Simonyan / Volodymir Mnih / Tom Ward / Yotam Doron / Vlad Firoiu / Tim Harley / Iain Dunning / Shane Legg / Koray Kavukcuoglu发表时间：2018/6/28论文链接：https://arxiv.org/abs/1802.01561推荐原因这是并行RL算法领域引用最为高的一篇文章。文章和以往做的工作不同，不仅仅有工程上实验效果的大幅提升，还做了理论的分析解决了on-policy与off-policy的训练差异问题，整体工作是相当solid的。作者同时启动了多个Actor和一个Learner，每个Actor都是包含整个policy参数的，负责和环境交互产生数据，Learner是负责训练参数还有同步参数给Actor的。这就有个问题了，参数同步会有无法避免的延迟，那这个就违背了On-policy算法的更新原则，作者提出了一种很好的方式解决这个问题，对有延迟的数据进行修正使得on-policy的训练方式可以继续进行。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。[1] 深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。[1] 深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步

缓解异质信息网络中冷启动问题 so easy？来看看 MetaHIN 模型论文名称：Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation作者：Yuanfu Lu/Yuan Fang/Chuan Shi发表时间：2020/7/6论文链接：https://aminer.cn/pub/5f03f3b611dc830562232019?conf=kdd2020开源代码：https://github.com/rootlu/MetaHIN推荐原因推荐系统旨在预测用户对物品的偏好，从而向用户提供其感兴趣的商品，为用户解决信息过载问题。为了缓解推荐系统中异质信息网络的“冷启动”问题，作者提出MetaHIN模型。MetaHIN在模型层面探索了元学习的能力，同时在数据层面研究了异质信息网络的表达能力。在MetaHIN中，作者提出使用多方面的语义上下文来增强每个用户的任务，因此设计了一种新颖的语义增强型任务构建器，用于在元学习场景中捕获异质信息网络中的语义信息。进一步地，我们构建了一个协同适应元学习器。该学习器既具有语义层面的适应性，又具有任务层面的适应性。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

深度神经网络是由多个单层非线性网络叠加而成的，常见的单层网络按照编码解码情况分为3类：只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分。编码器提供从输入到隐含特征空间的自底向上的映射，解码器以重建结果尽可能接近原始输入为目标将隐含特征映射到输入空间。 人的视觉系统对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类，前馈深度网络(feed-forwarddeep networks, FFDN)，由多个编码器层叠加而成，如多层感知机(multi-layer perceptrons, MLP)、卷积神经网络(convolutionalneural networks, CNN)等。反馈深度网络(feed-back deep networks, FBDN)，由多个解码器层叠加而成，如反卷积网络(deconvolutionalnetworks, DN)、层次稀疏编码网络(hierarchical sparse coding, HSC)等。双向深度网络(bi-directionaldeep networks, BDDN)，通过叠加多个编码器层和解码器层构成(每层可能是单独的编码过程或解码过程，也可能既包含编码过程也包含解码过程)，如深度玻尔兹曼机(deep Boltzmann machines, DBM)、深度信念网络(deep beliefnetworks, DBN)、栈式自编码器(stacked auto-encoders, SAE)等。

P2Net：无监督的室内深度估计的块匹配和平面正则化论文名称：P2Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation作者：Yu Zehao /Jin Lei /Gao Shenghua发表时间：2020/7/15论文链接：https://arxiv.org/abs/2007.07696开源地址：https://github.com/svip-lab/Indoor-SfMLearner推荐原因这篇论文提出了一个新的无监督室内场景下的深度估计网络P2Net，其创新点在于提出了两种新式无监督损失函数，论文发表在ECCV2020上。传统的无监督损失函数是以像素点为单位的图像重构损失，以及边缘敏感的梯度平滑损失。作者发现只在每个像素点处计算图像重构损失得到的特征表示并不够鲁棒，由此提出采用基于图像块表示的重构损失。具体地，采用已有的特征描述子算法DSO提取特征关键点，以关键点为中心构建局部窗口，计算整个窗口内的重构损失更具有鲁棒性。另外，考虑到无监督训练时的崩塌来源于室内场景下的无纹理区域，作者认为无纹理区域可以看做是一个平面，通过对图像提取超像素点从而构造平面区域，在同一平面上的像素点的深度信息应当具有一致性，由此提出平面一致性损失。作者提出的P2Net在NYU Depth V2和ScanNet两个公开数据集上取得了SOTA的效果。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步

深度学习的概念起源于人工神经网络的研究，有多个隐层的多层感知器是深度学习模型的一个很好的范例。对神经网络而言，深度指的是网络学习得到的函数中非线性运算组合水平的数量。当前神经网络的学习算法多是针对较低水平的网络结构，将这种网络称为浅结构神经网络，如一个输入层、一个隐层和一个输出层的神经网络；与此相反，将非线性运算组合水平较高的网络称为深度结构神经网络，如一个输入层、三个隐层和一个输出层的神经网络。 深度学习的基本思想：假设有系统S，它有n层（S1，…，Sn），输入为I，输出为O，可形象的表示为：I=>S1=>S2=>… =>Sn=>O。为了使输出O尽可能的接近输入I，可以通过调整系统中的参数，这样就可以得到输入I的一系列层次特征S1，S2，…,Sn。对于堆叠的多个层，其中一层的输出作为其下一层的输入，以实现对输入数据的分级表达，这就是深度学习的基本思想。

深度学习概念 深度学习(Deep Learning, DL)由Hinton等人于2006年提出，是机器学习(MachineLearning, ML)的一个新领域。 深度学习被引入机器学习使其更接近于最初的目标----人工智能（AI，Artificial Intelligence）。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语言和图像识别方面取得的效果，远远超过先前相关技术。它在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其它相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。 2006年，机器学习大师、多伦多大学教授Geoffrey Hinton及其学生Ruslan发表在世界顶级学术期刊《科学》上的一篇论文引发了深度学习在研究领域和应用领域的发展热潮。这篇文献提出了两个主要观点：（1）、多层人工神经网络模型有很强的特征学习能力，深度学习模型学习得到的特征数据对原数据有更本质的代表性，这将大大便于分类和可视化问题；（2）、对于深度神经网络很难训练达到最优的问题，可以采用逐层训练方法解决。将上层训练好的结果作为下层训练过程中的初始化参数。在这一文献中深度模型的训练过程中逐层初始化采用无监督学习方式

基于立体视觉深度估计的深度学习技术研究论文名称：A Survey on Deep Learning Techniques for Stereo-based Depth Estimation作者：Laga Hamid /Jospin Laurent Valentin /Boussaid Farid /Bennamoun Mohammed发表时间：2020/6/1论文链接：https://arxiv.org/abs/2006.02535?context=cs.GR推荐原因这是第一篇关于基于深度学习的立体匹配任务的综述文章，以往关于立体匹配的综述文章多基于传统方法，或者年代已久。这篇综述文章主要总结了过去6年发表在主要会议和期刊上的150多篇深度立体匹配论文，可以称得上方法最新，分类最全，概括最广。在论文中，作者首先介绍了深度立体匹配网络的常用架构，然后讨论了基于每种架构的所有方法之间的异同。其分析的角度包括训练的数据集、网络结构的设计、它们在重建性能、训练策略和泛化能力上的效果。对于一些关键的方法，作者还使用了公开数据集和私有数据进行总结和比较，采用私有数据的目的是测试各类方法在全新场景下的泛化性能。这篇论文能够为研究深度立体匹配的研究人员提供详细的参考资料，同时，作者在最后一节提到的7种未来发展方向对于研究深度立体匹配具有很好的思考价值，值得细细品读。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

深度学习的现实应用近年来掀起的深度学习革命已经深刻地改变了诸多应用领域，并将在越来越多的领域取得成功。其中最广为人知的领域包括自动语音识别、图像识别、自然语言理解及很多其他交叉领域（如医疗、生物、金融等）一、语音识别在语音识别和智能语音助手领域，我们可以利用深度神经网络开发出更准确的声学模型。简而言之，你可以建立这样一个系统，学习新特征，或者根据你自己的需求进行调整，从而通过事先预测所有可能性来提供更好的帮助。二、图像识别深度学习在计算机视觉领域的突破发生在2012年，Hinton教授的研究小组利用卷积神经网络架构（AlexNet）大幅降低了ImageNet ILSVRC挑战中图像分类任务的错误率并取得了冠军。之后不断有新的基于卷积神经网络的架构被提出，包括GoogleNet、VGGNet、ResNet、DenseNets和Inception。这些模型在不断加深网络深度的同时，也能不断提升图像分类的准确率。三、自动机器翻译我们都知道，谷歌支持100种语言的即时翻译，速度之快宛如魔法。谷歌翻译的背后，就是机器学习。此时，你可能会想，谷歌翻译已经经历了很长的时间，那么现在有些什么新意呢？实际上，在过去的两年时间里，谷歌已经完全将深度学习嵌入进了谷歌翻译中。事实上，这些对语言翻译知之甚少的深度学习研究人员正提出相对简单的机器学习解决方案，来打败世界上最好的专家语言翻译系统。文本翻译可以在没有序列预处理的情况下进行，它允许算法学习文字与指向语言之间的关系。谷歌翻译利用的是大型递归神经网络的堆叠网络。四、自动驾驶汽车谷歌利用深度学习算法使自动驾驶汽车领域达到了一个全新的水平。因此，谷歌现在不再使用老的手动编码算法，而是编写程序系统，使其可以通过不同传感器提供的数据来自行学习。对于大多数感知型任务和多数低端控制型任务，深度学习现在是最好的方法。因此，即使是不会开车的人，或是残疾人，都可以在不依赖于其他人的情况下自己出门。

借助深度学习算法，AI 能够成功地识别出细胞中难以识别的各种不同结构，这点人类有时都做不到。利用人工智能（AI）标记和识别细胞的 3D 结构是一个非常有趣的研究课题，需要用到生物学中的荧光显微镜技术和深度学习等 AI 技术。艾伦细胞科学研究所（Allen Institute for Cell Science）专注于相关领域的研究，并取得了一些成果。细胞的 3D 动态影像。Susanne Rafelski 是该研究所的定量细胞生物学家和副主任，她和她的同事希望为细胞中各种不同的结构打上相应的标签，并做成 3D 动态影像。不过，这个愿望实现起来并不容易。Susanne Rafelski。荧光显微技术（fluorescence microscopy）虽然很常用，但在这里遇到了麻烦。首先，可供使用的颜色很少，无法完整地标记细胞结构；其次，试剂成本很高且使用起来麻烦；最后，染色剂以及成像过程对活细胞有害。在这种情况下，投射白光（明视野显微镜技术）就派上了用场，利用该技术的细胞成像不依赖标记，也就不会遇到荧光显微技术带来的一些问题。据介绍，Rafelski 团队将荧光显微技术和投射白光技术结合了起来，从而利用人工智能（AI）在明视野图像上预测荧光标记的形状。该团队的研究已经持续了数年。深度学习发挥重要作用在识别细胞结构的过程中，深度学习发挥了重要作用。2017 年，该团队提出利用深度学习来识别未标记细胞明视野图像中难以发现的结构，并证实了这种方法的可行性。具体而言，通过在未标记细胞实验中使用一种深度学习算法，团队创建了一个展示细胞核中 DNA 和子结构、细胞膜和线粒体的 3D 影像。基于不同细胞类型的透射光显微镜（明视野）图像输入的 3D 荧光图像预测。图源：https://www.nature.com/articles/s41592-018-0111-2#Sec19分别使用全 3D 和 2D 模型时，基于透射光（明视野）图像的 3D DNA 预测。图源：https://www.nature.com/articles/s41592-018-0111-2这种直接从透射图像中预测 3D 荧光的无标记方法可以用于生成多结构、组合式图像，也能根据电子显微（EM）输入来预测免疫荧光（IF），从而扩展了潜在的应用范围。更多研究细节可以参考论文《Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy》。论文链接：https://www.biorxiv.org/content/10.1101/289504v4AI 识别细胞的发展历程在过去的几年里，从事人工智能研究的科学家们设计了几个系统来识别这些模式。使用来自相同细胞的成对图像训练模型、图像分为一个明视野和一个荧光标记。但这些模型在细节上有所不同：有些用于 2D 图像、有些用于 3D 图像、有些是用于近似细胞结构，而另一些则是用来制作可能被误认为是真实显微照片的图像。来自加州大学旧金山分校和旧金山格莱斯顿研究所的神经科学家 Steven Finkbeiner 使用机器人显微镜跟踪细胞长达一年。在研究中 Finkbeiner 发现，使用深度学习可以发现看不见的细胞特征。Finkbeiner 团队用训练系统来识别 2D 图像中的神经元，然后挑出细胞核，确定给定的细胞是否活着。他表示说，自己研究的主要目的是向科学家表明，图像数据中的信息可能比人类意识到的还要多。该小组称其技术为「in silico labeling（ISL）」。ISL 能直接从未标记的固定样本或**样本的透射光影像中预测多种荧光标记。图源：https://ai.googleblog.com/2018/04/seeing-more-with-in-silico-labeling-of.html然而，这种方法无法识别运动神经元。这些预测只有在 AI 能够使用一些可见线索的情况下才会起作用。Collman、Johnson 以及在艾伦研究所的同事使用了一种不同的神经网络来解决 Rafelski 的问题，建立了一个叫做 U-Net 的系统，这个系统为生物图像而开发。与 Finkbeiner 的方法不同，Allen 模型可处理 3D 显微照片，研究人员可以常规使用该技术，例如，在染色质组织研究中识别核标记。透射光显微镜三维荧光图像的无标记预测。图源：https://github.com/AllenCellModeling/pytorch_fnet/tree/release_1来自伊利诺伊大学厄巴纳－尚佩恩分校的物理学家 Gabriel Popescu 正在利用深度学习来回答一个最基本的显微镜问题：细胞是活的还是死的？这是比较难的，因为测试需要有毒的化学物质。并表示说：这就像用刀测量病人的脉搏。Gabriel Popescu。Popescu 和同事将他们的方法称为 PICS：具有计算特异性的相位成像。Popescu 在活细胞中使用该技术来识别细胞核和细胞质，然后计算它们在数天内的质量。并表明，这些信号准确地表明了细胞的生长和生存能力。PICS 包含了基于 U-Net 软件和显微镜硬件技术，因此，PICS 不是先获取图像并训练机器，之后在进行进一步的处理，PICS 是无缝地进行。一旦用户捕捉到白光图像，模型只需 65 毫秒就能传递出预测的荧光对应物。除此以外，还有其他研究小组使用机器学习来识别细胞。例如，华盛顿特区美国天主教大学的一个研究小组使用了一种称为 GAN 的神经网络来识别相衬光学显微镜图像中的细胞核。转载自https://www.jiqizhixin.com/