第一百零六章深度学习入门-吴恩达课程笔记(1/3)
作品:《学医路漫漫》深度学习,足够多层次的神经网络,本质上是对特定分类函数的结构,可以从简略的分类函数如r,函数等等,如同微积分基础定理一样结构出高维的原函数,从而能够辨认复杂的物体如人脸辨认。我们更加看中其可能在生物科研中对大规模数据的处理所能够发掘出可能的模式,能够与实际的生物机制构建必定的接洽,从而能够开发出必定的技巧如r,rr。由于生物多个对象的关系构建可以懂得为一个多变量的函数,如房价跟很多因素相干,其复杂的相互作用关系假如随机进行组合会有指数级爆炸的可能性,要结构出一个准确的解析解是很艰苦甚至由于生物的复杂性而不可能的,于是统计模仿就是一个很好的思路。。而且神经网络的暗躲层就可以视为一种近似,我们认为可以通过经过练习好的神经网络算法的一些参数来供给这些生物对象相互作用的证据,这种迁移学习的背后是假设在不同复杂现象下存在某种广泛的机制,因此是通用的,即图像的一些特点如边沿色彩等等(模式的模式)。这些提取出的特点可能就具有必定的生物学意义。如我们可以找到哪些对象之间的相干性更大,对于生物科研有必定的领导作用,而且更进一步的,我们可以在统计层次来懂得各种相互作用,能够针对特定对象的变更对整体的影响做出更好的猜测。
生物科研可能需要有科学范式的转变,即以大数据驱动的科学创造,然后和实验彼此增进,不断进步人类对生命的懂得。如从非监督算法来发掘生物大规模数据背后的模式即生物机制。
根据必定的输进,产生必定的输出,可能就具有必定的利用价值,这种函数的映射是我们的寻求,是懂得世界的一个方法,具体模型的参数断定就是这个黑箱式的函数映射。而且这种映射是可通用的,能够增进社会协作系统的发展,如智能诊断可以大大减轻医生的累赘甚至增进技巧的进步。如医学影像诊断,通过专家标记的图像和各种诊断,通过深度学习找到相干的特点,经过练习后,能够构建专家辨认的特点(做出诊断的根据)和机器学习辨认的特点的相干性,从而能够以必定的正确率来给不同图像进行疾病的分类。这个学习的过程和专家从菜鸟的学习是一致的,随着数据量的增长和盘算能力的堆积,这些模型可以有越来越好的表现即更高的正确度和更低的毛病率,直至逼近理论上的极限。如比赛图像分类的正确性已经超出人类。三驾马车:数据+盘算力+算法
以实验的思路来不断改良,需要有好的对照,能够基于已有工作有各种创新的思想来不断改良,如不同算法的组合,对原有假设的超出等等调剂,并且通过相干指标的变更来论证自己的观点。我们可以应用神经科学和发育生物学等等学科的洞见迁移到机器学习的领域,如b创造的神经元只能辨认有限的特点,而视觉皮层功效柱能够辨认复杂事物。而进一步的,我们可能通过神经环路的组合来构建更为复杂的对象如情绪情绪等等。发育的过程也有必定的启发如镶嵌发育和梯度发,有内在的编程也有根据环境的调剂。大脑的工作机制,进化论式的生物发育,可能都是某种底层机制导致的如能量最低原理。还有物理也有必定的启发,如海森堡的矩阵力学和薛定谔的波动力学的等价,我们的大规模矩阵运算可以通过量子力学的实验来等价。
由于本质上我们就是通过提取复杂对象的数据来分析,提取出各种特点,在这个基础上重新建模,并根据与现实的差距反过来调剂模型(如反向流传算法对参数的调剂),直至与现实足够近似,视为等价(数学分析的思路)。我们需要练习好的模型具有必定的鲁棒性和泛化性。各种超参数的调剂就是为了逼近某些极值从而能够收敛。为了开发算法,数学十分重要,基础的有微积分,线性代数,概率论和统计学等等。还有各种盘算机的知识,程序设计语言,数据结构,算法,盘算机组成原理,数据库等等。
数据需要良好的组织情势,即结构化的数据才更好地进行运算。数据的表现十分重要,可以有-编码,有函数映射来得出最后的分类。
神经网络基础:
从最简略的二分法(1/0)的实现如逻辑回回等等,到这些分类器的集成,构建更加复杂的分类。
函数的结构需要对参数的断定,前者是选择模型,后者是建立具体模型。这可以懂得为必定盘算资源的方案问题,盼看能够收敛到最佳程度。如同搜索,不可能随便寻找遍历全部空间,需要必定的优化方法如剪枝。于是引进束缚条件,即丧失函数,可以是残差和,本质上都是结构,在利用梯度降落法断定参数的具体的值的时候,能够更快收敛.代价函数,是丧失函数的加和后均匀。当代价函数取得极值时,此时对应的参数就说最佳的参数,即算法收敛。
梯度降落法,需请求解丧失函数相对于特定变量的偏导数,以及需要断定学习率。如=-()/。在必定程度上,导数的求解可以懂得为差商((+)-())/,只要足够小,可以视为逼近这个极限,即导数,可以懂得为图像的斜率。当然,理论数学可以无穷小(持续变更),但盘算机的实现是有限的(离散数
本章未完,请翻下一页继续阅读......... 学医路漫漫 最新章节第一百零六章深度学习入门-吴恩达课程笔记,网址:https://www.555d.org/383_383912/109.html