内容简介
在大数据时代,信息科学必须发展信息表征、获取及复原的新理论、新方法。基于信号的稀疏性,“稀疏感知”用少量的测量数据实现高质量的信号复原,缓解大数据信息问题的压力。
实现稀疏感知的关键是:(1)有效地获取数据,(2)有效地处理数据,实现信息复原。对于数据获取,《稀疏感知导论》研究了信号稀疏性与信号采样之间的关系,讨论了压缩感知、矩阵填充、稀疏反卷积和相位复原等稀疏感知问题,从三个不同的角度讨论了测量矩阵的设计。对于数据处理和信息复原,《稀疏感知导论》研究了梯度迭代优化算法、Bayesian算法和信息传递算法;特别地针对大数据处理问题,《稀疏感知导论》研究了乘子交替迭代优化算法、随机坐标优化算法和随机梯度优化算法等;《稀疏感知导论》还讨论了若干贪婪算法。
内页插图
目录
目录
前言
符号使用和约定
缩写词表
绪论 1
参考文献 5
第1章 信号采样、表征与稀疏感知 8
1.1 Nyquist-Shannon 采样定理 8
1.2 信号表征 15
1.2.1 信号的确定性表征 15
1.2.2 信号的一般性统计描述 17
1.2.3 白化信号的统计表征 19
1.3 稀疏信号与稀疏感知 22
1.3.1 信号的稀疏性与表征 22
1.3.2 稀疏感知问题 24
附录1A 广义信号采样方法 27
参考文献 29
第2章 稀疏感知的若干数学问题 31
2.1 压缩感知 31
2.2 低秩矩阵感知 41
2.3 稀疏卷积感知 45
2.4 相位复原 49
附录2A 三个常用的概率不等式 52
参考文献 53
第3章 RIP 分析与 L1-正则化优化 55
3.1 广义 RIP 定义及其特性分析 55
3.2 广义 RIP 与 L1-最小化 64
3.3 广义 RIP 与 L1/L2-最小化 67
3.4 统计 RIP 与 L1 最优化 70
3.5 最优测量矩阵设计 (1) 75
附录3A L1 优化估计的无偏性分析 77
参考文献 81
第4章 贪婪算法 82
4.1 匹配追踪算法 82
4.1.1 正交匹配追踪算法 82
4.1.2 CoSaMP 算法 85
4.2 迭代硬门限算法 92
4.3 低秩矩阵感知的迭代硬门限算法 99
4.3.1 低秩矩阵的硬门限投影 99
4.3.2 迭代硬门限方法复原低秩矩阵 103
附录4A SURE 估计 104
参考文献 106
第5章 梯度类凸优化方法 108
5.1 凸优化的有关概念 109
5.1.1 凸函数的定义及基本性质 109
5.1.2 拉格朗日乘子法 114
5.1.3 Fenchel 共轭函数 116
5.1.4 Bregman 距离 118
5.2 基于 Nesterov 光滑化方法的梯度优化方法 120
5.2.1 Nesterov 光滑化 120
5.2.2 梯度迭代算法的一般性描述 122
5.2.3 加速梯度迭代优化方法 131
5.3 邻近算子方法 137
5.3.1 邻近算子 138
5.3.2 迭代软门限方法 141
5.3.3 加速迭代软门限方法 145
5.4 亚梯度与 Bregman 算法 146
附录5A Wirtinger 导数 150
附录5B Pareto 曲线 151
附录5C 基于深度神经网络的迭代软门限算法 153
附录5D 最优测量矩阵设计 (2) 155
参考文献 156
第6章 面向大数据的优化方法 158
6.1 乘子交替迭代优化方法 158
6.1.1 稀疏优化问题的拉格朗日方法 158
6.1.2 ADMM 算法 161
6.1.3 Scaled-ADMM 算法 163
6.1.4 ADMM 算法的收敛性 165
6.2 随机梯度优化方法 169
6.3 随机坐标优化算法 176
6.3.1 随机坐标优化算法及收敛性分析 176
6.3.2 加速随机坐标优化算法 181
6.4 Robust 优化方法 183
6.5 维度约化 186
6.5.1 主成分分析 186
6.5.2 线性判别分析 188
6.5.3 流形学习 193
附录6A 增强拉格朗日乘子法在矩阵分解中的应用 195
参考文献 196
第7章 贝叶斯分析 198
7.1 贝叶斯分析的基本概念 198
7.1.1 贝叶斯建模 200
7.1.2 贝叶斯方法与确定性方法的关系 212
7.2 最大期望算法 216
7.3 Laplace EM-贝叶斯分析 220
7.3.1 Laplace 信号建模 221
7.3.2 Lapalce 模型的 EM-贝叶斯算法 223
7.4 最大期望-变分贝叶斯算法 227
7.5 混合高斯模型的 EM-贝叶斯分析 234
7.5.1 标准 EM-贝叶斯算法 235
7.5.2 基于分层模型的 EM-贝叶斯算法 239
7.6 基于蒙特卡罗的贝叶斯分析 242
7.6.1 蒙特卡罗采样的 Metropolis 算法 242
7.6.2 限制 Boltzmann 机 246
7.6.3 对比散度算法 247
附录7A 常用的概率密度函数表 250
附录7B 贝叶斯分析在盲反卷积中的应用例 251
附录7C 最优测量矩阵设计 (3) 254
附录7D 稀疏高斯随机过程 254
附录7E 重要性采样 256
参考文献 259
第8章 信息传递算法 262
8.1 信息传递算法基本概念 262
8.2 求解 y = Ax + n 的信息传递算法 267
8.2.1 Sum-Product 近似信息传递算法 270
8.2.2 Max-Product 近似信息传递 275
8.3 Gaussian-Bernoulli 稀疏感知近似信息传递算法Ⅰ:Krzakala 方法 280
8.4 Gaussian-Bernoulli 稀疏感知近似信息传递算法Ⅱ:Schniter 方法 289
附录8A 对 Max-Product 传递模式和 Sum-Product 传递模式的进一步 讨论 296
参考文献 298
前言/序言
我们有幸生活在全球科技发生许多重大突破的时代,信息大爆炸、大数据一定程度上反映了当今时代的特点。21世纪初“稀疏感知”(Sparse Sensing)在信息科学掀起一场“革命”。“稀疏感知”利用信号的稀疏特性,用低于甚至远低于Nyquist采样率获取的信号离散样本,通过高性能的优化算法实现信号的完美重建。“稀疏感知”使信息的获取摆脱了传统信息论的“桎梏”,在信息论、图像处理、模式识别、微波成像、地球科学、天文观测、光学、无线通信等诸多领域受到极大关注,被美国的权威科技评论杂志评为2007年度十大科技进展。时代要求有创新力的科学家和工程技术人员必须掌握先进的数据处理的理论和方法,有能力从海量数据中高效率地提取所需要的目标信息。我们在应用稀疏感知方法研究电磁成像中深刻认识到,稀疏感知为复杂、多参数、电磁大数据问题的研究打开了新的窗口,并决心构建稀疏电磁感知的体系,为解决现有的电磁成像体制与信息处理中的困难开辟新途径。
稀疏感知是传统经典信息理论与方法的发展,但又有它自己全新的概念和方法。我们整理了十多年来在学习、工作、研究中积累的有关内容,参考国外的有关教材、专著和近年一些新的研究成果,形成本书。这里重点关注那些与实际应用密切相关的理论要点和算法核心技术,希望能有益于从事或将从事以及有兴趣于此领域的读者,帮助他们能以比较容易理解的方式进入,并消化、吸收、应用这个新的信息感知的理论和技术。
作者十分感谢得到上海交通大学“李政道图书馆”的惠允,提供抽象画《流光》原稿的扫描件作为本书的封面图。该画由诺贝尔物理奖获得者、著名物理学家李政道先生与中央工艺美术学院吴冠中教授合作,为1996年中国高等科学技术中心举办的“复杂性与简单性”国际学术研讨会而作。这幅具现代风格的抽象画,吴冠中美术大师“以点、线挥洒神韵,千变万化,化静为动,犹如乾旋坤转”*,在大师眼中“复杂的天地万物形态各异,运动不息,又互有联系,有其各自和共同的规律”,“复杂行为背后存在着简单的规律和描述方法”*,其科学内涵与本书理义相通。
本书基于我们多年的学习笔记和研究工作,凝聚了我们的心血;但自知管见所及有限,不足之处难免,诚望读者朋友及各位专家、学者不吝赐教。
最后,在书稿将成之际,铭记在成书过程中受到多位同事、亲人朋友的帮助和北京市教育局“优秀博士导师”项目资助,在此一并致谢。
《信号的秘密:探索信息提取的边界》 内容简介 在信息的海洋中,我们每天都被海量的数据所淹没,从社交媒体的动态、传感器捕捉的环境参数,到医疗影像、天文观测,再到金融市场的波动、网络通信的流量,信息无处不在,且以惊人的速度增长。然而,在这繁杂的信息洪流中,真正有价值、能够指导我们决策、揭示事物本质的“信号”往往隐藏在巨大的噪声和冗余之中。如何高效、准确地从这些看似杂乱无章的数据中提取出关键信息,将这些“秘密”一一破解,是当代科学技术面临的重大挑战,也是推动社会进步的关键驱动力。《信号的秘密:探索信息提取的边界》一书,正是献给所有对信息本质、数据处理以及高效分析充满好奇的读者的一份深度探索。 本书并非一本枯燥的技术手册,而是一次穿越信息世界的奇妙旅程。它将带领读者从信息论的基本原理出发,逐步深入到现代信号处理领域的前沿。我们并非从零开始堆砌复杂的数学公式,而是通过生动形象的比喻、引人入胜的历史故事以及贴近生活的实际应用案例,让抽象的概念变得触手可及。本书旨在构建一个完整的知识体系,帮助读者理解信息是如何被编码、传输、接收和解码的,以及在这个过程中可能遇到的种种障碍。 第一部分:信息之源与信号的诞生 旅程的开端,我们将回溯到信息理论的奠基者们——香农、图灵等伟大先驱的思想。在这里,我们将理解“信息”的本质并非简单的文字或数据,而是一种能够减少不确定性的东西。我们将学习如何量化信息,了解比特(bit)这个微小却强大的单位如何承载着巨大的信息量。从信息编码的艺术开始,我们将探讨如何用最有效的方式来表示数据,就像古人使用象形文字或结绳记事一样,信息编码的目标是高效且无损(或以可控的方式有损)地传递信息。 接着,我们将聚焦于“信号”的形成。信号是信息在物理世界中的载体,它可以是电磁波、声波、光波,也可以是血液中的生物信号,或是地壳中的地震波。本书将详细介绍不同类型的信号,以及它们在采集过程中可能遇到的各种挑战。我们将讨论模拟信号与数字信号的区别,理解为何数字信号在现代社会中占据主导地位,并深入探讨采样(sampling)和量化(quantization)这两个将连续的模拟信号转化为离散的数字信号的关键过程。一个恰当的采样率和一个足够的量化比特数,直接关系到我们最终能够恢复出的信息质量。我们会通过生动的例子,比如录制一段声音,让读者直观感受采样率和量化精度对音频质量的影响。 第二部分:信号的变换与分析的艺术 一旦信号被数字化,我们便进入了信号处理的广阔领域。这一部分将是本书的核心,我们将探索如何通过各种数学工具来理解和操纵这些数字信号。最基础也是最强大的工具之一便是傅里叶变换(Fourier Transform)。你或许在物理、工程课本上遇到过它,但在此书中,我们将剥离其令人望而生畏的数学外衣,用直观的方式来理解它。傅里叶变换告诉我们,任何复杂的信号都可以被分解成一系列不同频率的正弦波的叠加。想象一下,一个复杂的交响乐,我们可以将其分解成各个乐器演奏的独立音符;一段包含丰富色彩的图像,我们可以将其看作是不同频率的亮度变化和色彩变化的组合。理解傅里叶变换,就如同获得了一把解锁信号频率域秘密的钥匙,能够帮助我们分析信号的频谱特征,识别出隐藏在噪声中的有用信息。 本书还将深入探讨其他重要的信号变换技术,例如离散余弦变换(DCT)、小波变换(Wavelet Transform)等。这些变换技术在图像压缩(如JPEG格式)、音频压缩(如MP3格式)、去除噪声、特征提取等方面发挥着至关重要的作用。我们将详细阐述它们各自的优势和适用场景,比如小波变换在处理具有瞬态特征的信号时,能够提供比傅里叶变换更好的时频局部化能力,这在分析地震波、金融时间序列等信号时尤为重要。 在信号分析方面,我们将探讨各种统计方法和机器学习技术在信号处理中的应用。从简单的均值、方差、协方差计算,到更复杂的模式识别、聚类分析、回归分析,本书将介绍如何利用这些工具从大量的信号数据中挖掘出有意义的模式和关联。我们将看到,信号分析不仅仅是数学运算,更是一种思维方式,一种从数据中提取知识、做出预测的强大能力。 第三部分:噪声的干扰与信息的恢复 在现实世界中,我们接收到的信号几乎总是受到各种噪声的干扰。噪声,如同信息世界中的“沙尘暴”,它会模糊信号的真实面貌,降低信息的可信度。本书将系统地介绍不同类型的噪声,如高斯噪声、泊松噪声、脉冲噪声等,以及它们产生的原因。更重要的是,我们将深入探讨一系列对抗噪声、恢复有用信息的技术。 滤波(Filtering)是处理噪声最常用的手段之一。我们将详细介绍低通滤波器、高通滤波器、带通滤波器等,以及它们的原理和应用。想象一下,用一块筛子筛去沙子里的石块,滤波就是对信号进行类似的操作,去除那些我们不希望看到的频率成分。本书将不仅仅停留在理论层面,还会通过实际的例子,展示如何使用数字滤波器来去除音频中的嘶嘶声、图像中的斑点,以及其他各种噪声。 除了传统的滤波技术,本书还将介绍更先进的信号去噪方法,例如维纳滤波(Wiener Filter)、中性滤波(Median Filter)以及基于机器学习的去噪算法。这些方法在更复杂的噪声环境下,能够展现出卓越的性能,最大限度地保留信号的关键信息,同时有效地抑制噪声。 第四部分:信息的压缩与高效存储 随着信息量的爆炸式增长,如何高效地存储和传输这些信息成为了一个紧迫的问题。信息压缩技术应运而生。本书将深入浅出地介绍无损压缩和有损压缩的原理。无损压缩,如霍夫曼编码(Huffman Coding)和LZW编码,能够保证压缩后的数据在解压缩后与原始数据完全一致,这在存储重要的文档、程序代码等领域至关重要。 而对于图像、音频、视频等对精度要求不是那么苛刻的信息,有损压缩技术则能达到更高的压缩率。我们将详细解析JPEG图像压缩、MP3音频压缩等广泛应用的算法,理解它们是如何利用人眼的视觉特性或人耳的听觉特性来丢弃那些人不容易察觉的信息,从而实现显著的压缩效果。我们将揭示这些“高效”压缩背后的信息“秘密”,理解“损失”在信息世界中的必要性与艺术性。 第五部分:信号在现代科技中的应用 信息提取的理论和技术,并非空中楼阁,而是深深地植根于我们生活的方方面面。本书的最后一部分,将带领读者领略信号处理的魅力是如何体现在各个高科技领域的。 我们将探讨医学影像技术,如X光、CT、MRI等,是如何通过复杂的信号采集和处理来揭示人体内部结构的。我们将了解雷达和声纳技术是如何利用信号的反射和传播来探测目标、测量距离。我们将审视通信系统,从手机信号到互联网数据传输,是如何通过高效的编码、调制和解调技术来实现信息的可靠传输。 此外,我们还将触及人工智能领域的信号处理应用。例如,在语音识别中,如何将人声信号转化为计算机能够理解的文本;在计算机视觉中,如何从图像信号中提取特征,实现物体识别和场景理解。我们还会探讨信号处理在金融风控、环境监测、天文学研究等众多领域的创新应用。 结语 《信号的秘密:探索信息提取的边界》不仅仅是一本书,它更是一扇窗,帮助读者打开通往信息世界的大门。它将赋予防理者、研究者、工程师以及任何对数据充满好奇的人们,以更深刻的视角去理解我们所处的信息时代。我们相信,通过对信号的深入理解,你将能更好地洞察数据背后的真相,发现隐藏的规律,从而在你的工作和生活中做出更明智的决策。希望这本书能激发你对信息探索的热情,让你在数据的海洋中,找到属于自己的那份“秘密”。