渐进论

我是理论计算机盲，在这里瞎说一些痴语～

可接受解的集合在解空间里。

任意迭代算法是根据一个解空间里的点得到另一个点，也可以看成移动了一个给定的解空间里的点的位置。

迭代算法通常对初值敏感。

迭代算法有时候不收敛，或收敛到非最优解。

迭代算法如同一个漏斗，入口有口径，出口也有个口径。

为什么不把若干不完美的迭代算法串联起来，保证空间里的一个初始点能经过若干漏斗之后可以漏到更可以接受的地方去。

具体到语言建模上。先用简单的模型去迭代出一个解――一个语言模型，可能它还很不完美，然后用这个解放入更复杂的解空间的子空间里进行迭代，得出一个更复杂更优的解。如此下去。

所以，也许可以不必期望一步到位地得到一个完美语言模型。只要我们的某个中间模型满足：1，其迭代的初始值能够或者可能由其它模型得到，或者允许任意；2，其不破坏迭代结果被其它模型迭代而最终接近理想目标的可能性。那么这样的模型的意义就不只是一次独立的尝试。