在计算智能系统中可能应用的几条原则

Jie Bao

2000
2002-03-07 整理

a. 一般信息系统的观点

在系统论意义上，智能计算系统是一个有序增长的系统，或称为自组织系统。从无序到有序对应于系统熵减，即信息增加的过程。如果系统不是封闭系统，则系统通过与外界的能量、物质交换，有可能吸收“负熵”。生命系统，社会系统，自动机系统，作为开放系统，都有可能向有序化方向发展。复杂开放系统，由于内部诸要素的耦合关系，在非平衡态条件下，呈现高度非线性化，从而可能进一步向远平衡态方向发展，并在突变点发生相变，形成新的系统结构，形成有序结构。这类有序发展的系统，由于其熵减性，被称为信息系统。在此意义上，就不难理解智能计算的一般数学基础和模型了。

b. 在计算智能系统中可能应用的几条原则

 计算智能的各个领域，如NN、GA、EC，都不免向Agent技术靠拢，因为Agent给出了计算智能的一般模型。

计算智能的基础是连接主义，其各种算法有深刻的联系，神经网络与免疫网络、遗传算法与免疫、Agent都有相当联系。在各种算法的改进中，都看到一种哲学原则，即简单个体的竞争与合作导致复杂智能，这其中存在有序化、层次化、机构化与中心化。这就是“广义生态学”的具体研究目标。

     

智能计算系统所遵循的某些规律

1. 有序：系统的发展方向是有序化，个体物理自由度不断降低。有序化的保证是“新陈代谢”（能量-物质--负熵转化）

2. 生长： 系统在有序不减条件下的物质、能量积聚

3. 繁殖：当积聚达到一定程度时，将产生新的个体以保证效率。

4. 加速：系统的发展呈加速度。在无限资源下，呈指数发展；在有限资源和生态约束下，发展有可能进入饱和区。

5. 交互：系统处于生态关系中。系统的发展速度与信息交换率正相关。信息的运动越发达，系统发展越快。

6. 层次化：当交互达到一定程度后，参与交互的各子系统将作为新的高层系统的子系统而不可独立，并使高层系统具有各子系统不具有的行为能力。子系统的独立性随层次化的加强而下降。

7. 渐进机构化：各子系统层次化为高层系统后，各要素在功能上发生分化，从而使系统的总能-负熵转化效率提高，以达到层次化的根本目的：系统在能量有限环境下的高竞争力。

8. 渐进中心化：随着系统的机构化，已经发生分化的诸子系统，其相互间通讯工作日益重要，从而产生专门的信息处理和传递子系统，并且这一子系统本身亦发生中心化。（这与系统的分散化信息处理并不矛盾，中心化总是与分散化共同发挥作用的，而且中心化是分布式信息处理达到一定程度时的必然趋势。（例如，全互连Hopfield网络在节点数大到一定程度后将很难工作））
 

开放式计算系统若干规律的举例
	有序	生长	加速	交互	层次化	机构化	中心化	繁殖
神经网络	通过训练使输入可收敛到特定的吸引子	神经元通过权重形成具有复杂行为的网络	？
遗传算法	种群所可能处的状态空间的缩小	选择、交叉和变异后的新生成种群
演化计算	群体中个体之间的信息交换
生态系统	从初始的自由态到最终趋向吸引子 ( 定点、极限环或奇异吸引子 )	共生、寄生等导致的融合，如地衣，真核细胞中的线粒体
多 Agent 系统	通过主体通信语言实现交互，完成单个主体不能完成的任务
生物	分子、细胞、机体的层次依赖和物理自由度的下降	个体的生长；物种总体平均体积的历史增大	物种更替时间越来越短	封闭性物种成为“活化石”	团藻	组织、器官的分化	神经系统的演化	有丝分裂和无丝分裂
社会	社会组织程度日益提高	社会经济的总体增长	社会形态及经济的加速发展	开放性社会发展快于封闭性社会	从个人、种群、部落直至国家和全球社会的发展	社会分工的日益详细	国家和国际组织作用	文化的分裂；语言谱系；殖民
进程和操作系统	操作系统体积的绝对增加	各种应用型 API 溶入 OS 的 SDK	OS 模块划分的日益增加	OS 控制资源、 API 和重用组件使进程强烈依赖于特定系统	进程和病毒的自我复制；变形病毒交换特征
广域网络	网络逐渐从无管理的趋向有管理的	网络规模的扩张	超越摩尔定律的快速发展	单机、 LAN 牺牲部分独立性加入网络	站点分工的日益明确	门户站点、管理中心、服务中心的形成

c. 以上原则与生态计算 from 2000-03-29 <关于智能计算和生态的讨论>

1、 生态概念如何在进化计算中体现出来

生态计算是指对计算智能一般规律的研究；当前生态计算还只是体现在利用生态学中的概念对进化计算、多Agent系统进行改进，具体即竞争、共生、能量传递。

2、 竞争

引入子群的概念，在子群中存在竞争。这种思想可以认为与竞争学习神经网络有关。参见《基于生态竞争模型的遗传强化学习》（曹先彬　等，软件学报1999年第6期）

3、 共生

系统在完成任务时存在分工，选择不是对个体选择，而是对共生集团进行选择，即使个体的适应度不是最高，只要共生集团的适应度较高也能生存。

4、 能量传递

系统中个体具有等级，不同等级搜索策略不同，低等个体随机搜索性强，高等个体有更强的局域搜索能力。系统在进化过程中根据适应度升级个体（改变搜索策略），这相当于食物链，具有能量传递。

5、 层次化

上述思想从生态学的观点是成立的，而且它体现了渐进机构化和渐进中心化的原则。目前的一些实验结果表明，这些方法是有效的，但还有待于在数学上进一步说明为什么比传统方法优秀。如果能说明这一点，就从数学上为证明渐进机构化和渐进中心化规律做了有益的尝试。

6、 加速

在生命、社会和自动机的发展中都存在加速进化趋势，可以这样理解：系统在加速发展过程中日趋非线性，使系统分支点增加，正如在混沌中存在周期倍增规律，相信在系统的时间演化中也存在这样的规律。可在协同联想记忆网络的研究中注意分支点的时间演化特性，证明系统的加速进化规律。具体的数学分析可结合混沌动力学和协同学的分支理论实现。

7、 协同如何体现

一个很重要、很头痛的问题是在agent系统中如何体现协同学原则。一个设想是: “……这种自组织的关键就是在协同原则（如有序化、层次化、渐进机构化、渐进中心化等）的指导下，制定智能体行为的法律体系，使智能体可以通过对局部不完全信息的掌握来实现全局的合作。本项目的主要研究内容之一就是结合控制领域的实际情况，从系统的协同基本原理出发，制定面向分布式控制领域的智能体行为规范和通信语言。”(Jie Bao, 2000-03-25) 但不易实现。协同学的思想恐怕最后还是要用于解释Agent系统中的生态（宏观现象），而不是用于从上到下地构造系统。战略中, 协同方法是用于top-down方法，而不是用于bottom-up方法的。协同学在多Agent系统中的应用还需另辟蹊径。

可优先考虑的问题是

1）  协同网络学习中的有序化（熵减）
2）  “生态算法”中的亲族选择，即层次化。
3）  协同网络中序参量、注意参数的关系，即中心化。（winner takes all）
4）  混沌系统进化的分岔与加速。
5）  多Agent生态系统中基于博弈论的进化稳定策略ESS。

---

PS:

对神经网络发展的看法，两个方向较有潜力

——进化神经网络。
——层次化神经网络，层次化的思想再在计算智能的其他领域也是存在的，如亲族选择。自然选择发生在不同的层次上。