一.基本结构

看完上面给出的两个博客或者已经有基本概念的同学应该对于神经网络的基本结构有基本的认识了。但是上面那个还只是涉及到单层结构，并没有推广到多层结构，同时，也没有在实践中使用这种结构的经验。所以，这节的内容就是以手写体识别为例子来讲一下基本结构，和实践中的基本使用思想。这是推广到更加复杂任务上的基础。
假设你现在已经有了神经网络的一些感性认识了，那就就看下面这幅图。
输入层（最左边），隐藏层（中间两层），和输出层（最右边），在之前列出的博客就讲过了，这里回顾一下。感受一下大概的架构。
神经网络的流程分为前向过程和反向过程。反向过程一般用于训练，后面讲，这里只讲前向过程。
还记得每个神经元上面都有对于一个输入的权值，以及一个偏置，还有一个激活函数。（不知道的话看之前列出来的博客，后面不再强调了），所以一个前向过程的流程就是input输入，然后经过第一层神经元运算（乘上权值，加上偏执，激活函数运算一次），得到输出，然后第一层的输出作为第二层的输入，运算，得到第二层的输出…..直到到输出层运算，然后得到结果。神经网络就是依靠这样一套机制来进行计算和预测的。
假如你的权值和偏置已经是被训练好了。对于一个新的输入，进行这样的过程，就能够得到一个预测。那么你就能够通过这个预测来解决一些问题了。所以有机器学习思想的话，这些概念是很容易理解的。 而我们的任务就是找到权值和偏置这些参数的值，使得输出的东西让我们满意，达到我们的要求。

这里先补充一个思想：
假如我们改变了某个神经元或者某几个神经元的权值或者偏置一点点，那么该神经元的输出肯定会变得不同，这些不同 最终 将反应在输出上面。如上面的图所示。所以，我们可以 通过合理地改变权值和偏置一点点的方式来让这个神经网络最后的结果向我们预期的结果进军 （sorry，我想不到好词了）。

然后说激活函数，还是在前面的博客链接中，给了很多的激活函数类型。激活函数的选择对于神经网络的训练来说，也是很重要的，这个后面再讲到。
现代神经网络激活函数总结,可以看这篇博客:
深度学习笔记六：常见激活函数总结
这里先以sigmoid函数为例子，讲讲激活函数的作用。所以，你这里先暂时假设我们没得选，只有sigmoid函数。
这个时候，有没有发现对于感知机前向过程的形式很像logistic回归的形式？
不熟悉logistic回归的请先看这里：
机器学习笔记四：线性回归回顾与logistic回归
那我们为什么要选择sigmoid函数呢？
我们知道一个神经元还是选择了sigmoid函数之后，他的输出为 ，这也就是我为什么说这个形式很像logistic回归的原因。
上面的博客里面给出过这个函数的形状，这里再贴一次。其实你肯定也很熟悉了。
这个函数变动不大，很 温和 。不像阈值函数那样粗暴的从0到1，这是很符合之前的那个思想的。当然这个函数还有另外一个优点，就是平滑。 平滑能够使得权值和偏置非常微小的变动能够使得最终的结果也产生非常微小的变动 。这才是很重要的。
写成公式，就应该是这样：
怎么理解这个公式呢？
首先在机器学习里面我们不是说过，我们的任务就是找一个函数 f ( w , b ),然后他的输出output就是由这个函数产生。你再来看这里，这里虽然是神经网络，但是整个神经网络还是一个函数。
然后回顾一下全微分的定义：
同样可以推广到多元的形式，再看上面的那个公式就不难了吧。
这里还有一个要注意的就是，从上面公式的形式来看， 就是 和 的一个线性函数，于是我们能够选择一个小的权值和偏置的改变，使得结果以我们期望的方式改变。

讲了这么多，现在根据一个例子来谈谈实践中是怎么设计网络的结构的，很简单，也很重要。
以MNIST手写体为例子，里面都是28x28的灰度图，假如以我们现在这么简单的网络形式，我们可以考虑把所有28x28的图片统一展开为一个一维数列（这样可能会丢掉某些位置信息，后面CNN会讲到这个），然后得到一个结构，含有784（28x28）个值。
回到网络这里来，对于输入层而言，我们可以“设定”784个单元，分别接受每一个像素的值。对于输出层而言，我们可以只设定一个神经元，用来输出这个数字是几，我们也可以设定10个神经元，分别代表0到9，然后输出这个那个数字更加有可能。
从上面看，设计输入层和输出层还是比较轻松的，但是设计隐藏层是比较难的。后面再讨论。

二.训练神经网络

这里暂时默认训练神金网络的损失函数为二次损失函数：
右边的为L-2范数，当做欧氏距离理解就行。我们的目标就是找到合适的w（权值）和偏置（b）使得这个损失函数最小。意味着网络输出的值会越来越接近真实值。
训练神经网络的方法为随机梯度下降法：
不知道的请参照 机器学习笔记三：梯度下降 。
写成梯度下降的形式为：
也就是说，通过不停的迭代，找到最合适的权值和偏置，使得损失最小。这在机器学习里面是很基础的东西了。
最终，我们的任务就成了计算偏导： 和 了。
但是这里是神经网络啊，那么多层，那么多参数，传统方式怎么计算偏导？所以对于偏导的计算就是反向传播的任务了。
下节,我们就开始反向传播的整理了.

在深度学习的路上，从头开始了解一下各项技术。本人是DL小白，连续记录我自己看的一些东西，大家可以互相交流。本文参考：本文参考吴恩达老师的Coursera深度学习课程，很棒的课，推荐 本文默认你已经大致... 来自： weixin_38206214的博客 写在前面的      接触神经网络(ANN)的时间很长了，以前也只是学了学原理，做过一个BPN的练习，没有系统的总结过，最近看Torch的源码，对MLP有了更多的了解，写写自己学到的东西吧，算是做了一... 来自： cxf7394373的专栏 经典的多层感知机（Multi-Layer Perceptron）形式上是全连接（fully-connected）的邻接网络（adjacent network）。 That is, every neu... 来自： https://space.bilibili.com/59807853 今年正式步入了大四，离毕业也只剩半年多的时间，回想一下大学四年，感觉自己走了不少弯路，今天就来分享一下自己大学的学习经历，也希望其他人能不要走我走错的路。（一）初进校园刚进入大学的时候自己完全就相信了... 来自： 少掉下巴的博客 DeepLearningtutorial（3）MLP多层感知机原理简介+代码详解@author：wepon@blog：http://blog.csdn.net/u012162613/article/d... 来自： wepon的专栏 一、多层感知机（MLP）原理简介多层感知机（MLP，MultilayerPerceptron）也叫人工神经网络（ANN，ArtificialNeuralNetwork），除了输入输出层，它中间可以有多... 来自： 北漂人家 南南南南啊!简述：1.下载spring源码：2.安装gradle：3.构建源码：导入idea:简述：不能忍受慢(看到这里你就准备笑吧！！)其他大神的博客实在让我难受自己动手，下载spring，编译sp... 来自： qq_40670946的博客 引子Hacker（黑客），往往被人们理解为只会用非法手段来破坏网络安全的计算机高手。但是，黑客其实不是这样的，真正的“网络破坏者”是和黑客名称和读音相似的骇客。骇客，是用黑客手段进行非法操作并为己取得... 来自： tiantian520ttjs——Python程序猿~ 点击蓝色“GitHubDaily”关注我加个“星标”，每天下午 18:35，带你逛 GitHub！作者 | SevDot来源 | http://1t.click/VE8Web 开发中几乎的平台都需要一... 来自： 南木的博客 三四月份投了字节跳动的实习（图形图像岗位），然后hr打电话过来问了一下会不会opengl，c++，shador，当时只会一点c++，其他两个都不会，也就直接被拒了。七月初内推了字节跳动的提前批，因为内... 来自： ljh_shuai的博客 1.为什么等待和通知是在 Object 类而不是 Thread 中声明的？一个棘手的 Java 问题，如果 Java编程语言不是你设计的，你怎么能回答这个问题呢。Java编程的常识和深入了解有助于回答... 来自： aaa13268的博客 11月8日，由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办，科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。　　区块链技术被认为是继蒸汽机、电力... 来自： CSDN资讯 欢迎来到“Python进阶”专栏！来到这里的每一位同学，应该大致上学习了很多 Python 的基础知识，正在努力成长的过程中。在此期间，一定遇到了很多的困惑，对未来的学习方向感到迷茫。我非常理解你们所... 来自： Python作业辅导员 - 天元浪子【许向武】 点击上方“程序员小明”，选择“星标”今晚可以不加班！网络上虽然已经有了很多关于程序员的话题，但大部分人对这个群体还是很陌生。我们在谈论程序员的时候，究竟该聊些什么呢？各位...... 来自： 程序员小明 作者 |胡书敏责编 | 刘静出品 | CSDN（ID：CSDNnews）本人目前在一家知名外企担任架构师，而且最近八年来，在多家外企和互联网公司担任Java技术面试官，前后累计面试了有两三百位候选人。... 来自： CSDN资讯 最近翻到一篇知乎，上面有不少用Python（大多是turtle库）绘制的树图，感觉很漂亮，我整理了一下，挑了一些我觉得不错的代码分享给大家（这些我都测试过，确实可以生成）one 樱花树 动态生成樱花效... 来自： 碎片 知乎高赞：中国有什么拿得出手的开源软件产品？在知乎上，有个问题问“中国有什么拿得出手的开源软件产品（在 GitHub 等社区受欢迎度较好的）？”事实上，还不少呢~本人于2019.7.6进行了较为全面的... 来自： 大白技术控 - 大白技术Bravo Yeung 神经网络/多层感知器隐藏层个数以及大小设置标准：隐藏层个数： 一个零隐藏层的模型可以解决线性可分数据。所以除非你早知道你的数据线性不可分，证明它也没什么坏处—为什么使用比任务需求更困难的模型。如... 来自： 老唐其实很年轻..... 今天咱们第一课，来讲讲大家一直很关注的数据中台。其实，数据中台也是企业数据管理的一部分，甚至可以说是很重要的一部分。一、什么是中台？这其实是一个老生常谈的概念了，中台，顾名思义，就是在起中间作用的东西... 来自： Leo的博客 开源的 Android 和闭源的 iOS，作为用户的你，更偏向哪一个呢？整理 | 屠敏出品 | CSDN（ID：CSDNnews）毋庸置疑，当前移动设备操作系统市场中，Android 和 iOS 作为... 来自： CSDN资讯 说实话，对于学习路线这种文章我一般是不写的，大家看我的文章也知道，我是很少写建议别人怎么样怎么样的文章，更多的是，写自己的真实经历，然后供大家去参考，这样子，我内心也比较踏实，也不怕误导他人。但是，最... 来自： 帅地 阅读本文大概需要 2.3333 分钟。前方高能，每一个程序员看完，你不笑死个人，你来找我，我自己看了好几遍，反正笑的停不下来，太特么有才了。1. 公司实习生找 Bug2....... 来自： stormzhang的专栏 MLP（多层感知器神经网络）即多层全连接神经网络模型。fromkeras.datasetsimportmnistfromkeras.utilsimportnp_utilsfromkeras.model... 来自： 芦金宇的专栏 如题，本文主要为博主对电脑上安装的一些软件，所做的整理，当做备份用吧。一、分类系统工具办公软件编程开发数据库相关图片视频工具网络及下载工具解压缩工具影音娱乐工具二、软件工具1.系统工具1.1. 磁盘管... 来自： Alfred的博客 当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。已经有好几个朋友问我mba怎么样了，所以今天... 来自： Diana5253的博客 很多人都问，技术人员如何成长，每个阶段又是怎样的，如何才能走出当前的迷茫，实现自我的突破。所以我结合我自己10多年的从业经验，总结了技术人员成长的9个段位，希望对大家的职...... 来自： Python之禅的专栏 英雄不问出处？自古以来就有这样一句话，真的英雄不问出处吗？这句话太挫了。普通三本院校的我，大四的时候居然都不知道什么是校招，所以出处太重要了。这也是没有机会参加阿里校招的原因，毕竟校招门槛比社招还是要... 来自： 码匠笔记 很多书或论文也将MLP和CNN区别开来，但是实际MLP只是CNN的一个特例，也就是说MLP本身也是CNN，以下为简要的论述。  上图为CNN的计算过程，这里的输入为$3x3$的图片...... 来自： u010165147的博客 由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，... 来自： 帅地 转自：http://www.voidcn.com/article/p-uwmutaug-bmr.html一.简述多层感知器（MLP）1.深度前馈网络（deepfeedforwardnetwork），也... 来自： lihuaqinqwe的博客 开头：今天2B哥要和大家分享一篇硬货，为什么呀？因为有两个好事情：一、哥升级了LV2了 哈哈心情倍爽。二、拿到了公司给的2千股在公司呆了2年了，终于成为了东哥的好兄弟。CMS收集器实战：实战开始，准备... 来自： Java2B 在公司项目的开发过程中，需要编写shell脚本去处理一个业务，在编写过程中发现自身对shell脚本的知识不够完善，顾整理一下，本文章主要内容来自菜鸟教程 , 也添加了一些知识点shell脚本？在说什么... 来自： web洋仔 作者：肖强，来自：51CTO技术栈“ 网易云音乐是音乐爱好者的集聚地，云音乐推荐系统致力于通过 AI 算法的落地，实现用户千人千面的个性化推荐，为用户带来不一样的听歌体验...... 来自： 架构师小秘圈 作者 | 胡巍巍出品 | CSDN（ID：CSDNnews）世界500强中，30%的掌舵人，都是印度人。是的，你没看错。这是近日《哈佛商业评论》的研究结果。其中又以微软CEO萨提亚·纳德拉（Satya... 来自： CSDN资讯 才知道MLP原来就是指神经网络，但是又与BP神经网络有些区别。关于MLP是什么，原文链接:多层感知机（MLP）学习与总结博客BP神经网络和感知器有什么区别？（转自他人回答)在Wiki中并没有BP神经网... 来自： qq_29762941的博客 在可视化化程序设计的今天，借助于集成开发环境可以很快地生成程序，程序设计不再是计算机专业人员的专利。很多人认为，只要掌握几种开发工具就可以成为编程高手，其实，这是一种误解。要想成为一个专业的... ​ 进程通信是指进程之间的信息交换。这里需要和进程同步做一下区分，进程同步控制多个进程按一定顺序执行，进程通信是一种手段，而进程同步是目标。从某方面来讲，进程通信可以解决进程同步问题。 ​ 首先回顾下... 我清晰的记得，刚买的macbook pro回到家，开机后第一件事情，就是上了淘宝网，花了500元钱，找了一个上门维修电脑的师傅，上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买ma... 双11不光是购物狂欢节，更是对技术的一次“大考”，对于阿里巴巴企业内部运营的基础保障技术而言，亦是如此。 回溯双11历史，这背后也经历过“小米加步枪”的阶段：作战室从随处是网线，交换机放地上的“一地... 小编是一个理科生，不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具（Python+pycharm2019.3+selenium+xpath+chromedriver）其中要使用pycha... CPU对每个程序员来说，是个既熟悉又陌生的东西？ 如果你只知道CPU是中央处理器的话，那可能对你并没有什么用，那么作为程序员的我们，必须要搞懂的就是CPU这家伙是如何运行的，尤其要搞懂它里面的寄存器是... 2020年1月17日，国家统计局发布了2019年国民经济报告，报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏，但是很多人并没有看到我国复杂的人口问题：老龄化、男女比例失衡、生育率下降、人... 相信大家都已经收到国务院延长春节假期的消息，接下来，在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了，相反，对于沟通效率，文件协作，以及信息安全都有着极高的要求。有... 其实，这篇文章，我应该早点写的，毕竟现在已经2月份了。不过一些其它原因，或者是我的惰性、还有一些迷茫的念头，让自己迟迟没有试着写一点东西，记录下，或者说是总结下自己前3年的工作上的经历、学习的过程。 所有群全部吵翻天，朋友圈全部沦陷，公众号疯狂转发。这两周没怎么发原创，只发新闻，可能有人注意到了。我不是懒，是文章写了却没发，因为大家的关注力始终在这次的疫情上面，发了也没人看。当然，我...... Java Magazine上面有一个专门坑人的面试题系列: https://blogs.oracle.com/javamagazine/quiz-2。 这些问题的设计宗旨，主要是测试面试者对Java语... By 超神经场景描述：昨天 2 月 3 日，是大部分城市号召远程工作的第一天，全国有接近 2 亿人在家开始远程办公，钉钉上也有超过 1000 万家企业活跃起来。关键词：十一出行 人脸...... Java基础知识点梳理 虽然已经在实际工作中经常与java打交道，但是一直没系统地对java这门语言进行梳理和总结，掌握的知识也比较零散。恰好利用这段时间重新认识下java，并对一些常见的语法... 哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！ 最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈... 蒙特卡罗方法，也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法 你好呀，我是沉默王二，一个和黄家驹一样身高，和刘德华一样颜值的程序员。虽然已经写了十多年的 Java 代码，但仍然觉得自己是个菜鸟（请允许我惭愧一下）。 在一个月黑风高的夜晚，我思前想后，觉得再也不能... Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题，让视音频内容可以不依赖用户安装App，就能进行播放以及在社交平台进行传播。在视频业务大数据平台中，播放数据的统计分析非常重要，所以We... Spring1.Spring是什么？有什么好处？2.IOC是什么？有什么好处？具体过程？3.DI是什么？4.IOC和DI的关系？5.bean标签的属性有哪些？6.IOC创建对象有哪几种方式？7.Spr... 作者| Just出品|CSDN（CSDNnews）紧急驰援疫区，AI医生也出动了。截止到2月6日，随着新冠病毒肺炎疫情的不断发展，全国累计已有31161例确诊病例，26359例疑...... 本文知识点较多，篇幅较长，请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量，备受互联网大厂的青睐，出门面试想进BAT，想拿高工资，不会点MySQL优化知识，拿offer的成功率会大大下降... 利用HTML5，css，js实现爱心树 以及 纪念日期的功能 网页有播放音乐功能 以及打字倾诉感情的画面，非常适合情人节送给女朋友 具体的HTML代码 具体只要修改代码里面的男某某和女某某 文字... 4 容器类型 容器深层含义自己不知道，但是就表面意思。我自己理解的容器就是容器。他就是一个可以装“东西”的罐子啥的。不同的“罐子”可以装的“东西”不同，就像酒杯装酒，茶杯装茶，水缸装水。酒杯、茶杯、水...