今天讨论了前向网络。要点：
1、线性阈值单元。和上次说的MP模型差不多，不过f函数是符号函数sgn
2、感知器。一个线性阈值单元就构成了一个感知器，不过它可以学习。
3、感知器可以解决线性划分（等价于一条直线），但不能解决异或问题，这导致了神经网络20年的萧条。
4、前向网络的学习算法都属于Delta（Widrow-Hoff,δ）法则，即权值的调整ΔW正比于节点输出值的误差。（比较：上次说的Hebb规则）
  δ法则的实现是用LMS（最小均方误差）算法或称为梯度算法。就是求误差在指定方向的偏导，找到最快的“下山”路径。
5、多层感知器可以解决异或问题，它的基本思想是将多个感知器并联起来，将它们的输出再用一个感知器处理，等于在输入空间（或平面）上画上多条直线，自然可以实现更复杂的分类了！
   比较：感知器和多层感知器，层次化规律的体现！
6、BP算法。经典的三层前馈神经网络。基本思想：先随机指定网络的权值，输入样本，比较实际输出和理想输出的差（输出层的误差），将这个误差分配到前面层的每一个节点，再根据δ法则ΔW=-αε（α是学习速率，ε是误差）调整权值。
   基本点：
   —— 三层 前向 的结构
   —— 误差的反向分配（根据网络的连接很容易理解）
   —— 权值的调整与误差成正比
   比较BP网络的和多层感知器，层次化。
7、自适应线性元件Adaline，和感知器很接近，训练算法使用LMS。两分钟讲完
8、非线性输入函数可以解决非线性分割问题（如二次曲线）。两分钟。
9、Madaline，由多个Adaline相AND运算组成，类似多层感知器。也是再输入平面（空间）做多次线性分割。
   比较：Adaline和Madaline，又可以看到层次化
10、分析几篇前向网络的中文论文
   —— BP网络的应用。大多数是骗人的。
   —— 前馈网络的改进。大多数效果值得怀疑
   —— 两篇综述性文章。