核方法在数字信号处理中的应用与探索
一、创作初衷
在2001年,几位作者在西班牙的电子与信号处理系完成或即将完成博士论文。他们处理过各种各样复杂的数据集,从与医院合作的患者信号分析,到卫星数据图像和天线信号等。当时,神经网络是机器学习的核心,他们的论文也围绕此展开。然而,支持向量机(SVM)刚出现,他们便热情地采用了这一新技术,或许是西班牙最早将其用于信号处理的一批人。
起初理解SVM的基本原理有些困难,但之后一切都变得清晰明了。SVM有着简洁的符号表示、完善的方法体系,实现起来通常也比较直接,还允许进行多种替代和修改。在掌握了SVM的分类和回归算法后,他们发现SVM除了最大间隔分类器之外,在处理其他问题以及适应信号和图像特征与模型方面具有巨大潜力。
他们开始为使用标准信号模型的问题编写支持向量算法,如光谱分析、反卷积、系统识别或信号插值等。信号领域和核领域的一些概念似乎天然相关,例如信号自相关与再生核函数的坚实理论密切相关。随后,他们将新算法投稿到优秀的机器学习期刊,但审稿人常批评这些方法过于简单,建议改投信号处理期刊;而信号处理期刊的审稿人又认为用核术语重新定义旧概念并无新意。尽管如此,作者们坚信信号处理远不止滤波信号,核方法也远不止最大间隔分类器。他们认为核方法应尊重信号特征和信号模型,以确保模型与数据的整合。
多年来,作者们根据应用领域系统的鲁棒性要求,不断开发和设计核算法。他们研究了该领域的其他相关工作,其中一些对解决信号处理问题很有启发。他们还编写了一些教程和综述,试图从信号处理的角度整合核方法设计的共同元素。但他们对理论教程并不满意,因为这些教程没有反映出数据的丰富性,一些面向应用的综述也未能充分传达这一点。因此,他们决定编写一本书,将理论基础、代表性应