计算机集群技术：从并行处理到未来应用
1. 并行处理的奥秘
并行处理在计算机领域中有着举足轻重的地位。当一个程序的从节点完成任务后，它会用从从节点返回的结果更新本地单线程进程块变量，然后继续处理该单线程，直至完成或发生另一次拆分。
在单处理器上执行程序的并行部分，大约需要三倍的时间。而在至少有三个 CPU 的多计算机系统中，执行时间将缩短至三分之一，但还需加上将每个块传输到单独计算机、将结果传回以及整理各个结果以继续单线程处理的开销。因此，在考虑并行处理的省时优势时，必须权衡管理并行实现所消耗的时间。
在进行三路拆分之前，整个求和数组必须被分成三个部分。在单线程处理的后续步骤继续之前，这三个结果必须重新合并到该数组中。需要注意的是，只有在进程块调度树的并行部分才能实现时间的节省。
以下是并行处理的时间对比表格：
| 系统类型 | 执行时间 | 额外开销 |
| ---- | ---- | ---- |
| 单处理器 | 约为并行部分正常时间的 3 倍 | 无 |
| 多计算机系统（至少 3 个 CPU） | 约为并行部分正常时间的 1/3 | 块传输、结果返回、结果整理 |
2. 自组织对等网络
MSI 是一种分层架构，它是一种以主节点为基础，从节点分布在各个分支上的树状结构。但并非所有集群都是这样组织的。对等网络没有主从关系，每个节点都可以根据需要承担主节点或从节点的角色。这些节点的编程方式相同，运行相同的进程。每个节点都能像主节点一样接受传入数据并请求帮助，也能像从节点一样接受其他节点的帮助请求。
一些分布式系统可以即时形成自组织（临时、按需）网络，并在
：Transformer推理优化的工程实践与性能突破){kind=spacer}
