高维数据统计方法、理论与应用
出版时间：2018年版
内容简介
　　《高维数据统计方法、理论与应用》融合了方法概念、计算算法以及高维统计学方面的数学理论和应用。方法和计算中的数学基础在探索令人兴奋的潜在结果和理解基本限制条件的过程中起着积极作用。从这个意义上讲，方法和定理的结合构成了《高维数据统计方法、理论与应用》的基石。我们本着强调数学假设及其性质的原则，介绍了一些方法及其在数据分析中的潜在价值，其中的理论推导以现实数据的应用问题为牵引。数学推导产生的结果，不仅能产生更深刻的认识，而且根据适用范围可以对各种方法和算法进行分类。《高维数据统计方法、理论与应用》意不在于技术发展水平的一般概述，而是对我们自己工作进行选择性介绍。
目录
第1章绪论001
1.1框架结构001
1.2潜在价值和挑战001
1.3关于本书002
1.3.1本书的组织结构003
1.4实例003
1.4.1基因学中的生物标记发现及预测004
第2章线性模型中的Lasso006
2.1本章的组织结构006
2.2引言及预备知识007
2.2.1Lasso评估量007
2.3正交观测量009
2.4预测010
2.4.1Lasso预测的实际应用010
2.4.2渐进理论的一些结果011
2.5变量筛选和ββ0q-范数012
2.5.1变量筛选中的调谐参数选择014
2.5.2针对DNA结合点的Motif回归015
2.6变量选择016
2.6.1邻域稳定性和irrepresentable条件018
2.7总结关键性质和相关假设019
2.8自适应Lasso：两阶段流程020
2.8.1说明：仿真数据和motif回归021
2.8.2正交观测量023
2.8.3自适应Lasso：弱条件下的变量选择024
2.8.4计算024
2.8.5多步骤自适应Lasso025
2.8.6非凸的惩罚函数027
2.9阈值Lasso028
2.10无约束Lasso028
2.11Lasso自由度029
2.12路径跟踪算法030
2.12.1协同优化和中靶算法032
2.13弹性网络：扩展034
习题035
第3章广义线性模型和Lasso037
3.1本章组织结构037
3.2引言及预备知识037
3.2.1Lasso估计量：惩罚负的对数似然038
3.3广义线性模型的重要实例039
3.3.1二元响应变量和logistic回归039
3.3.2泊松回归041
3.3.3多类别响应变量和多项分布041
习题043
第4章Group Lasso045
4.1本章组织结构045
4.2引言及预备知识045
4.2.1Group Lasso惩罚046
4.3因子变量作为协变量047
4.3.1DNA序列结合点的预测048
4.4Group Lasso在广义线性模型中的性质051
4.5广义Group Lasso惩罚052
4.5.1分组预测惩罚及参数化的不变性053
4.6自适应Group Lasso054
4.7Group Lasso算法055
4.7.1块坐标下降056
4.7.2块坐标梯度下降059
习题062
第5章加性模型和单变量平滑函数064
5.1本章的组织结构064
5.2引言和预备知识064
5.2.1加性模型的最大似然惩罚065
5.3稀疏-平滑惩罚066
5.3.1正交基和对角平滑矩阵067
5.3.2自然三次样条函数和Sobolev空间067
5.3.3计算068
5.4Group Lasso的稀疏-平滑惩罚071
5.4.1算法071
5.4.2其他方法073
5.5数值示例074
5.5.1仿真示例074
5.5.2Motif回归075
5.6预测和变量选择076
5.7广义加性模型077
5.8具有变化系数的线性模型078
5.8.1关于预测的性质079
5.8.2多变量线性模型079
5.9多任务学习079
习题080
第6章Lasso理论082
6.1本章结构082
6.2最小均方与Lasso083
6.2.1介绍083
6.2.2假设真实的参数是线性关系的结果085
6.2.3对真实参数的线性估计090
6.2.4进一步精练：处理较小的系数093
6.3一般凸损失函数的设置095
6.4边值条件099
6.5无惩罚的广义线性模型101
6.6Lasso广义损失的一致性105
6.7一个oracle不等式106
6.8当1≤q≤2时的q-误差112
6.8.1在广义损失上的应用和真实函数的稀疏逼近114
6.9加权Lasso115
6.10自适应加权Lasso117
6.11凹惩罚项120
6.11.1基于稀疏oracle不等式的具有r-惩罚的最小平方121
6.11.2这一节（6.11节）的证明122
6.12相容性和（随机）矩阵125
6.13关于相容性条件130
6.13.1相容性常量的直接限132
6.13.2使用‖βS‖21≤s‖βS‖22的限135
6.13.3包含S的集合140
6.13.4有限等距141
6.13.5稀疏特征值142
6.13.6更多一致性描述143
6.13.7各种特征值常量综述145
习题148
第7章使用Lasso做变量选择153
7.1介绍153
7.2已有文献的一些结果154
7.3本章的组织结构155
7.4beta最小条件156
7.5无噪声情况下的irrepresentable条件158
7.5.1irrepresentable条件的定义159
7.5.2KKT条件159
7.5.3变量选择的充分必要条件160
7.5.4变量选择的充分必要条件162
7.5.5Irrepresentable条件和约束回归164
7.5.6选择真实有效集的超集166
7.5.7加权irrepresentable条件167
7.5.8加权irrepresentable条件和约束回归167
7.5.9具有“理想”权重的加权Lasso169
7.6自适应和阈值Lasso的定义170
7.6.1自适应Lasso的定义170 [1]
7.6.2阈值Lasso的定义171
7.6.3阶的符号171
7.7回顾第6章的结果172
7.8自适应Lasso和阈值Lasso：启用稀疏特征值175
7.8.1关于可调参数的条件175
7.8.2结果176
7.8.3与Lasso的比较177
7.8.4自适应Lasso和阈值Lasso的比较179
7.8.5漏报变量的数量的界179
7.8.6加入beta最小条件180
7.9不使用稀疏特征值的自适应Lasso182
7.9.1调节参数的条件182
7.9.2结果183
7.10一些总结评论184
7.11对于不含稀疏特征值的无噪声情况的技术补充185
7.11.1无噪声（加权）Lasso的预测误差185
7.11.2无噪声（加权）Lasso的误报变量的数量186
7.11.3对无噪声初始估计阈值187
7.11.4无噪声自适应Lasso189
7.12在噪声场景和没有稀疏特征值条件下的技术补充194
7.13凹惩罚情况下的选择198
习题201
第8章惩罚过程理论208
8.1介绍208
8.2本章组织和符号209
8.3具有组结构的回归211
8.3.1损失函数与惩罚项211
8.3.2经验过程212
8.3.3Group Lasso的相容条件213
8.3.4一个Group Lasso稀疏度oracle不等式214
8.3.5扩展215
8.4高维加性模型216
8.4.1损失函数与惩罚216
8.4.2经验过程217
8.4.3平滑Lasso的相容性条件221
8.4.4平滑Group Lasso的稀疏oracle不等式222
8.4.5关于惩罚选择225
8.5具有时变系数线性模型230
8.5.1损失函数与惩罚230
8.5.2经验过程232
8.5.3时变系数模型的相容性条件232
8.5.4时变系数模型的稀疏oracle不等式233
8.6多元线性模型和多任务学习234
8.6.1损失函数与惩罚235
8.6.2经验过程235
8.6.3多任务相容性条件236
8.6.4多任务稀疏oracle不等式237
8.7平滑Group Lasso的逼近条件238
8.7.1Sobolev平滑239
8.7.2对角化平滑240
习题240
第9章非凸损失函数与正则化244
9.1本章组织结构244
9.2有限混合回归模型244
9.2.1高斯回归模型的有限混合245
9.2.2惩罚最大似然估计246
9.2.3惩罚最大似然估计的性质249
9.2.4调整参数的选择250
9.2.5自适应惩罚250
9.2.6采用枯草芽孢杆菌的核黄素生产251
9.2.7仿真示例252
9.2.8数值优化254
9.2.9GEM优化算法254
9.2.10命题9.2的证明257
9.3线性混合效应模型259
9.3.1模型和1-惩罚估计260
9.3.2线性混合效应模型中的Lasso261
9.3.3随机效应系数估计261
9.3.4正则化参数的选择262
9.3.5线性混合效应模型中Lasso的性质262
9.3.6自适应1-惩罚最大似然估计262
9.3.7计算算法263
9.3.8数值结果266
9.41-惩罚非凸负对数似然理论268
9.4.1设置与符号268
9.4.2Lasso非凸损失函数的oracle不等式271
9.4.3有限混合回归模型理论273
9.4.4线性混合效应模型理论275
9.59.4节的相关证明277
9.5.1引理9.1的证明277
9.5.2引理9.2的证明278
9.5.3定理9.1的证明280
9.5.4引理9.3的证明281
习题282
第10章稳定解283
10.1本章的组织结构283
10.2引言，稳定性和子样本283
10.2.1线性模型的稳定路径285
10.3稳定性选择288
10.3.1正则化的选择和误差控制289
10.4数值结果292
10.5扩展294
10.5.1随机化Lasso294
10.6理论角度上的改进295
10.7证明296
10.7.1样本分割296
10.7.2定理10.1的证明297
习题299
第11章线性模型及拓展的p-值300
11.1组织结构300
11.2样本分割及高维变量选择300
11.3多样本分割和分族误差控制303
11.3.1多p-值聚合304
11.3.2分族误差控制305
11.4多样本分割和错误发现率306
11.4.1错误发现率控制307
11.5数值结果308
11.5.1误差率控制和仿真308
11.5.2计算生物学中的Motif回归误差率控制311
11.5.3错误发现率控制与仿真311 [1]
11.6一致性变量选择312
11.6.1单样本分割法313
11.6.2多样本分割法315
11.7扩展315
11.7.1其他模型315
11.7.2期望误报选择控制316
11.8证明316
11.8.1命题11.1的证明316
11.8.2定理11.1的证明318
11.8.3定理11.2的证明319
11.8.4命题11.2的证明320
11.8.5引理11.3的证明321
习题322
第12章贪婪算法及Booting算法323
12.1本章的组织结构323
12.2引言和预备知识323
12.2.1组合方法：多预测及聚合324
12.2.2AdaBoost算法324
12.3梯度Boosting：泛函梯度下降算法325
12.3.1通用FGD算法326
12.4一些损失方程和Boosting算法327
12.4.1回归327
12.4.2二元分类328
12.4.3泊松回归330
12.4.4两种重要的Boosting算法331
12.4.5其他数据结构和模型332
12.5基本流程选择332
12.5.1广义线性模型逐元线性最小方差333
12.5.2附加模型的逐元光滑样条函数334
12.5.3树337
12.5.4小方差原则337
12.5.5Boosting初始化338
12.6L2 Boosting338
12.6.1非参数曲线估计：关于Boosting的一些基本见解339
12.6.2高维线性模型的L2 Boosting342
12.7前向选择和正交匹配追踪345
12.7.1线性模型和平方误差损失346
12.8证明349
12.8.1定理12.1的证明349
12.8.2定理12.2的证明351
12.8.3定理12.3的证明356
习题359
第13章图形化建模360
13.1章节内容组织360
13.2预备知识360
13.3无向图361
13.3.1无向图马科夫性质361
13.4高斯图形化建模362
13.4.1协方差矩阵和边集惩罚估计362
13.4.2Nodewise回归366
13.4.3基于无向图的协方差估计367
13.5二元随机变量Ising模型368
13.6信实假设369
13.6.1信实失效370
13.6.2信实图及高斯图形化建模371
13.7PC算法：迭代估计法372
13.7.1总体PC算法372
13.7.2样本PC算法374
13.8高维数据一致性376
13.8.1说明377
13.8.2PC算法理论分析377
13.9再论线性模型383
13.9.1部分信实384
13.9.2PC简化算法385
13.9.3数值结果387
13.9.4高维问题的渐进结果389
13.9.5相关筛选（真独立筛选）392
13.9.6证明393
习题397
第14章概率以及矩不等式398
14.1本章组织结构398
14.2单个随机变量结果398
14.2.1次指数随机变量398
14.2.2亚高斯随机变量399
14.2.3局部凹函数的Jensen不等式401
14.3Bernstein不等式402
14.4Hoeffding不等式403
14.5p的最大值平均值404
14.5.1Bernstein不等式的使用404
14.5.2Hoeffding不等式的使用406
14.5.3含有亚高斯随机变量的情形407
14.6集中不等式408
14.6.1Bousquet不等式409
14.6.2Massart不等式410
14.6.3亚高斯随机变量410
14.7对称性与收缩性411
14.8Lipschitz损失函数的集中不等式413
14.9随机设计的方差损失收缩性416
14.9.1噪声和线性函数的内积417
14.9.2平方线性函数418
14.9.3方差损失420
14.10仅存在低阶矩的情形420
14.10.1Nemirovski矩不等式420
14.10.2二次型一致不等式421
14.11熵表示的亚高斯情形集中性422
14.12熵结果427
14.12.1有限维空间和一般凸体的熵428
14.12.2限定系数集428
14.12.3小样本凸壳：对数形式熵429
14.12.4小样本凸壳：非对数形式熵430
14.12.5更多改进432
14.12.6举例：含第（m-1）阶有界变差衍生项的方程432
14.12.7本节证明(14.12节)433
习题441
参考文献445"