如何建立神经网络模型

1. 如何建立神经网络模型

人工神经网络有很多种，我只会最常用的BP神经网络。不同的网络有不同的结构和不同的学习算法。
      简单点说，人工神经网络就是一个函数。只是这个函数有别于一般的函数。它比普通的函数多了一个学习的过程。
       在学习的过程中，它根据正确结果不停地校正自己的网络结构，最后达到一个满意的精度。这时，它才开始真正的工作阶段。
       学习人工神经网络最好先安装MathWords公司出的MatLab软件。利用该软件，你可以在一周之内就学会建立你自己的人工神经网络解题模型。
       如果你想自己编程实现人工神经网络，那就需要找一本有关的书籍，专门看神经网络学习算法的那部分内容。因为“学习算法”是人工神经网络的核心。最常用的BP人工神经网络，使用的就是BP学习算法。

2. 神经网络模型的机理结构

神经网络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的。很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。这样，神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞的行为特性就是一件十分重要而必须的事了。神经网络的拓朴结构也是以生物学解剖中神经细胞互连的方式为依据的。对神经细胞相互作用情况的揭露也是十分重要的。神经元是神经网络基本元素。只有了解神经元才能认识神经网络的本质。在这一节介绍神经元的生物学解剖，信息的处理与传递方式，工作功能以及其数学模型。

3. 神经网络模型的介绍

神经网络（Neural Networks,NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。神经网络的基础在于神经元。神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。大量的形式相同的神经元连结在—起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。神经网络模型是以神经元的数学模型为基础来描述的。人工神经网络(ArtificialNuearlNewtokr)s,是对人类大脑系统的一阶特性的一种描。简单地讲,它是一个数学模型。神经网络模型由网络拓扑．节点特点和学习规则来表示。神经网络对人们的巨大吸引力主要在下列几点：1．并行分布处理。2．高度鲁棒性和容错能力。3．分布存储及学习能力。4．能充分逼近复杂的非线性关系。在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一直没有得到有效的解决。利用神经网络的学习能力，使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制；显然这是一种十分振奋人心的意向和方法。人工神经网络的模型现在有数十种之多，应用较多的典型的神经网络模型包括BP神经网络、Hopfield网络、ART网络和Kohonen网络。 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法。而有的算法可能可用于多种模型。在神经网络中,对外部环境提供的模式样本进行学习训练,并能存储这种模式,则称为感知器;对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。神经网络在学习中,一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习,而认知器则采用无教师信号学习的。在主要神经网络如Bp网络,Hopfield网络,ART络和Kohonen网络中;Bp网络和Hopfield网络是需要教师信号才能进行学习的;而ART网络和Khonone网络则无需教师信号就可以学习49[]。所谓教师信号,就是在神经网络学习中由外部提供的模式样本信号。

4. 如何从零使用 Keras + TensorFlow 开发一个复杂深度学习模型

安装 h5py，用于模型的保存和载入：
pip install h5py
还有一些依赖包也要安装。
pip install numpy scipy
pip install pillow
为什么选择Keras的原因：
Keras 是 Google 的一位工程师François Chollet 开发的一个框架，可以帮助你在 Theano 上面进行快速原型开发。后来，这被扩展为 TensorFlow 也可以作为后端。并且最近，TensorFlow决定将其作为 contrib 文件中的一部分进行提供。
Keras 被认为是构建神经网络的未来，以下是一些它流行的原因：
轻量级和快速开发：Keras 的目的是在消除样板代码。几行 Keras 代码就能比原生的 TensorFlow 代码实现更多的功能。你也可以很轻松的实现 CNN 和 RNN，并且让它们运行在 CPU 或者 GPU 上面。
Keras基础知识
在Keras中主要的数据结构是 model ，该结构定义了一个完整的图。你可以向已经存在的图中加入任何的网络结构。import keras
Keras 有两种不同的建模方式：
Sequential models：这种方法用于实现一些简单的模型。你只需要向一些存在的模型中添加层就行了。
Functional API：Keras的API是非常强大的，你可以利用这些API来构造更加复杂的模型，比如多输出模型，有向无环图等等。

5. 如何从零使用 Keras + TensorFlow 开发一个复杂深度学习模型

最近刚开始使用theano, 经验不多，连个基本的模型都跑不通，于是去看了下Keras，源码比较简洁，可以当作theano的示例教程来看，感受如下：
文档看似很全，每个layer是干啥的，每个参数是啥都写了，但是不去读代码，实际很多人是无法从文档理解其具体用法的。这点看issue里的讨论里可以看出。同样，example似乎很多，而且都能直接run，还都是real world的数据集，看似很好，但是实际上，对于新手，如果需要的模型跟example里的不完全一样，不容易搞懂到底需要把输入输出的数据搞成啥格式。举个例子，example都是做的classification的，没有做sequence labeling的例子，如果想拿来做个pos tagging，不知道数据如何组织。当然，这些其实花一天读下代码或者好好翻翻issue讨论就可以解决了，但我相信不少人不会去认真读代码或者看讨论，而是直接换个工具。我感觉目前的doc只有懂了代码的人才能看懂，不懂得看文档还是没啥用。
2.项目很简单所以开发者不多，但是很活跃，每天都有新东西加进去。今天增加了一个新的分支后端可以用theano或者tensorflow了，不过貌似由于不支持scan，backend用tensorflow的没实现recurrent layer。他们也意识到文档的问题，觉得需要为小白用户多加点tutorial而不是光给develop看。
我没用过其他的framework，仅说keras拿来学习theano基本用法，很不错
库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。

6. 如何从零使用 Keras + TensorFlow 开发一个复杂深度学习模型

最近刚开始使用theano, 经验不多，连个基本的模型都跑不通，于是去看了下Keras，源码比较简洁，可以当作theano的示例教程来看，感受如下：
文档看似很全，每个layer是干啥的，每个参数是啥都写了，但是不去读代码，实际很多人是无法从文档理解其具体用法的。这点看issue里的讨论里可以看出。同样，example似乎很多，而且都能直接run，还都是real world的数据集，看似很好，但是实际上，对于新手，如果需要的模型跟example里的不完全一样，不容易搞懂到底需要把输入输出的数据搞成啥格式。举个例子，example都是做的classification的，没有做sequence labeling的例子，如果想拿来做个pos tagging，不知道数据如何组织。当然，这些其实花一天读下代码或者好好翻翻issue讨论就可以解决了，但我相信不少人不会去认真读代码或者看讨论，而是直接换个工具。我感觉目前的doc只有懂了代码的人才能看懂，不懂得看文档还是没啥用。
2.项目很简单所以开发者不多，但是很活跃，每天都有新东西加进去。今天增加了一个新的分支后端可以用theano或者tensorflow了，不过貌似由于不支持scan，backend用tensorflow的没实现recurrent layer。他们也意识到文档的问题，觉得需要为小白用户多加点tutorial而不是光给develop看。
我没用过其他的framework，仅说keras拿来学习theano基本用法，很不错
库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。

7. 如何从零使用 Keras + TensorFlow 开发一个复杂深度学习模型

最近刚开始使用theano, 经验不多，连个基本的模型都跑不通，于是去看了下Keras，源码比较简洁，可以当作theano的示例教程来看，感受如下：
文档看似很全，每个layer是干啥的，每个参数是啥都写了，但是不去读代码，实际很多人是无法从文档理解其具体用法的。这点看issue里的讨论里可以看出。同样，example似乎很多，而且都能直接run，还都是real world的数据集，看似很好，但是实际上，对于新手，如果需要的模型跟example里的不完全一样，不容易搞懂到底需要把输入输出的数据搞成啥格式。举个例子，example都是做的classification的，没有做sequence labeling的例子，如果想拿来做个pos tagging，不知道数据如何组织。当然，这些其实花一天读下代码或者好好翻翻issue讨论就可以解决了，但我相信不少人不会去认真读代码或者看讨论，而是直接换个工具。我感觉目前的doc只有懂了代码的人才能看懂，不懂得看文档还是没啥用。
2.项目很简单所以开发者不多，但是很活跃，每天都有新东西加进去。今天增加了一个新的分支后端可以用theano或者tensorflow了，不过貌似由于不支持scan，backend用tensorflow的没实现recurrent layer。他们也意识到文档的问题，觉得需要为小白用户多加点tutorial而不是光给develop看。
我没用过其他的framework，仅说keras拿来学习theano基本用法，很不错
库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。

8. 如何从零使用 Keras + TensorFlow 开发一个复杂深度学习模型

最近刚开始使用theano, 经验不多，连个基本的模型都跑不通，于是去看了下Keras，源码比较简洁，可以当作theano的示例教程来看，感受如下：
文档看似很全，每个layer是干啥的，每个参数是啥都写了，但是不去读代码，实际很多人是无法从文档理解其具体用法的。这点看issue里的讨论里可以看出。同样，example似乎很多，而且都能直接run，还都是real world的数据集，看似很好，但是实际上，对于新手，如果需要的模型跟example里的不完全一样，不容易搞懂到底需要把输入输出的数据搞成啥格式。举个例子，example都是做的classification的，没有做sequence labeling的例子，如果想拿来做个pos tagging，不知道数据如何组织。当然，这些其实花一天读下代码或者好好翻翻issue讨论就可以解决了，但我相信不少人不会去认真读代码或者看讨论，而是直接换个工具。我感觉目前的doc只有懂了代码的人才能看懂，不懂得看文档还是没啥用。
2.项目很简单所以开发者不多，但是很活跃，每天都有新东西加进去。今天增加了一个新的分支后端可以用theano或者tensorflow了，不过貌似由于不支持scan，backend用tensorflow的没实现recurrent layer。他们也意识到文档的问题，觉得需要为小白用户多加点tutorial而不是光给develop看。
我没用过其他的framework，仅说keras拿来学习theano基本用法，很不错
库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。