预测模型的介绍

1. 预测模型的介绍

常见的预测模型有一元线性回归模型，计算公式为Y=a+b*x.一元非线性回归模型：Y=a+bl*x1+b2*x2+…+bm*xm。

2. 模型参数估计

模型参数的估计采用数理统计中多元线性回归参数估计方法进行。对于m组有n+1个观测值（其中一个观测值为预测量，其余n个观测值作为自变量）的样本。则对（5.1）或（5.4）式可写出下列方程组。

水分在季节性非饱和冻融土壤中的运动

基于（5.5）式利用最小二乘法对模型参数β0，β1，β2，…βn作估计。作离差的平方和：

水分在季节性非饱和冻融土壤中的运动

选择β0，β1，β2，…βn使Q达到最小，即Q=min。对（5.6）式中的β0，β1，β2…βn求偏导并令其等于0，经化简、整理后得到式（5.7）。

水分在季节性非饱和冻融土壤中的运动

此时：

水分在季节性非饱和冻融土壤中的运动


水分在季节性非饱和冻融土壤中的运动


水分在季节性非饱和冻融土壤中的运动

式中，为βi 的估计值。求解（5.7）式便可得到βi 的估计值。
利用平遥宁固79组塑料膜未覆盖试验资料，分别采用（5.1）式和（5.2）式表示的模型，以四个变量（土壤结构、含水率、地温和水温）和三个变量（土壤结构、含水率、地温）作出的回归参数估计量见表5-2。

3. 预测模型建立

松散含水层含水量预测模型的建立，主要是将预测松散含水层含水量问题转化为利用支持向量机求解的数学模型，主要包括如下4个步骤:
1)选取训练集T={(x1，y1)，…，(xl，yl)}∈(χ×y)l。
2)选择适当的核函数K(x，x')，如线性核函数、径向基核函数、多项式核函数和Sigmoid核函数。
3)确定支持向量机中的参数，如C，ε，γ等。
4)建立模型。
(一)训练集的选取
1.预测基本输入特征量
选取合适的训练集，对于建立松散含水层含水量预测模型是非常重要的，本课题对预测模型输入特征量的选取遵循以下原则:
1)现有物探仪器设备可测、或可转换参数，具有实用性和可观测性。
2)要与所研究地下含水层结构的综合物探方法相配套，充分挖掘所获观测数据的信息资源。
3)优化组合，兼顾所利用的输入特征量间的互补性，避免或减少冗余性。
4)保障预测模型具有广泛的推广能力。
建模时要把所有的数据分为训练集和测试集，根据训练集，求出决策函数，而用测试集测试所得决策函数的准确率。那么选择一个合适的训练集，第一要满足训练集中的样本点数量不能过多，也不能太少;第二训练集中所含特征向量不能太少，如果太少则不能够反映实际情况，影响分类或者回归的准确性，但也不能太多，否则会增加计算难度，甚至影响训练速度和时间。除了样本点多少的选择以外，还要在数据中不能选择过多的属性。属性选择要达到以下3个目的:首先是确认哪些属性与预测输出特征量相关的特性;其次是尽量降低输入空间维数，缩小求解问题的规模;最后是提高准确率，得到更好的决策函数。
基于上述原则，将支持向量机预测模型的预测输入基本特征量选定为:反演电阻率值ρ、反演含水层厚度H，半衰时Th，衰减度D，视极化率ηs，纵波速度v等地面物探观测参数作为基本输入特征量讨论。
为了验证上述输入特征量选择原则的正确性，选择了石家庄市西马庄水源地现有电测深资料与单孔单位涌水量资料并进行了秩相关性分析，原始数据见表5-1所示。分析结果如表5-2所示。
表5-1 西马庄原始数据


表5-2 西马庄电性参数与涌水量相关分析


2.综合性参数的引入
鉴于第四纪含水层一般呈高阻性，在电测深反演解释过程中易产生Th等值现象的解释误差。依据含水层的富水性对应于一定的电阻率值，而单孔单位涌水量既与含水层富水性有关，又与其厚度有关。为了尽可能消除因等值现象导致解释所产生的误差，又能使输入特征量与预测量有更为密切的相关性，使预测模型具有良好的推广能力，对此，将电测深反演后的含水层电阻率与其层厚度相乘作为一个输入特征量T'，该特征量T'与含水层单孔单位涌水量相关分析结果表明，二者有更为密切的相关性，见表5-3所示。
表5-3 综合参数与涌水量相关分析


考虑到不同的地区地下水所含矿化度的不同，因其孔隙水的导电性不同，将会导致同类富水层电阻率有较大差别。为了消除孔隙水的导电性对预测精度的影响，突出含水层有效孔隙度特征，基于ρ=αΦ-ms-nρw式，引入了相对综合因子参数T″，其表达式为

含水层含水量预测综合物探技术

式中:ρf为孔隙流体的电阻率;ρt为岩石的电阻率;H为含水层厚度。
从而将原基本输入特征量ρ和H组合为一个输入特征量T″。
3.激发比的引入
考虑到激发比可以放大激电异常，对第四系含水层有更为灵敏的反应。因此将激电模型里的极化率、衰减度参量用激发比参量代替，其表达式为J=ηsD。由表5-4和表5-5可知，激发比的引入，改善了模型预测精度。
表5-4 未引入激发比模型预测结果


表5-5 引入激发比模型预测结果


4.输入特征量的归一化
由于各输入特征量的量度差异较大，在用支持向量回归机进行建模训练和使用时，有必要对输入特征量进行归一化。归一化是指将属性数据按比例缩放，使之落入一个小的特定区域，如［-1，1］或［0，1］范围内。
归一化可以帮助防止具有较大初始值域的属性与具有较小初始值域的属性相比，权重差距过大。本次所建模型采用最小-最大规范化方法:将输入特征量归一化到［0，1］范围内。归一化公式为

含水层含水量预测综合物探技术

式中:x为某个输入参数对应的值;xmin和xmax分别为该项特征量的设置最小值和最大值;xs为该输入参数的归一化值。
5.预测输入特征量的优选
在基本预测输入特征量归一化处理的基础上，需要进一步研究特征量组合结构的优化性问题，即确定预测模型最佳输入特征量的数量和成分。
通过电测深找水实践证明:
第四纪地下含水层结构对应特定的电测深异常特征，所获取的地电参数与单孔涌水量均存在着一定的对应关系，但深入研究还表明:作为预测输入量而言，每一参量与单孔涌水量间存在着不同的相关性，输入量相互之间可能还存在着冗余成分，为提高预测模型的预测精度和模型运算速度，探讨上述地电参量与地下水单孔涌水量的相关性和输入特征量的最佳组合问题，揭示地电参数与地下含水层含水量的内在关联是十分必要的，也是确定预测模型输入特征向量的基础。
鉴于地电参数与地下含水层含水量间不存在明确的函数关系，在优化分析过程中，以石家庄市西马庄水源地的已知8眼井孔的资料为基础，将现有的已知特征量参数:T″，Th，D，ηs及激发比J作为分析对象，利用高斯径向基核函数，C=1024，ε=0.5，γ=1.0和ε-SVR模型进行7+1循环式训练-预测方式。其分析结果如表5-6所示。
由表5-6所列预测精度可得到以下结论:
表5-6 特征量的优化分析表 单位:%


第一，随着特征数量的增大，其预测精度得到提高，四个特征量预测精度最好;
第二，若采用三个特征量时，其中的T″，Th，D组合最佳，其次为T″，D，ηs。以上结论对建模时输入特征量的优化筛选提供了重要的参考依据。
6.预测模型输入特征量的确定
基于上述分析，针对研究对象的尺度及精度要求，建立了4种预测模式。对于不同的预测模型，分别确定了其输入特征量。
模型一:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、含水层厚度h、含水层层数n和井孔孔径。该模型主要用于对精度要求不高的区域水文地质调查。
模型二:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、视极化率ηs、含水层的半衰时Th、含水层厚度h、含水层层数n和井孔孔径。该模型主要用于专门性水文地质调查。
模型三:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、视极化率ηs、半衰时Th、衰减度D、含水层厚度h、含水层层数n和井孔孔径。该模型主要用于对精度要求较高但探测深度要求不高的地下水源评价与开发工作。
模型四:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、视极化率ηs、纵波波速v、含水层厚度h、含水层层数n和井孔孔径。该模型主要用于对精度要求较高，探测深度较深的地下水源评价与开发工作。
(二)核函数的选择
在建立预测模型过程中，需要选择函数K(·，·)，即选择一个映射Φ(·)，把x所在的输入空间χ映射到另一个空间H。H是一个Hilbert空间，即可以是有限维空间也可以是无穷维空间。因此核函数方法的核心内容就是采用非线性变换Φ将n维矢量空间中的随机矢量x映射到高维特征空间，在高维特征空间中设相应的线性学习算法，由于其中各坐标分量间的相互作用只限于内积，因此不需要知道非线性变换Φ的具体形式，只要利用满足Mercer条件的核函数替换线性算法中的内积，就能得到原输入空间中对应的非线性算法。
支持向量回归机中的核函数对于预测模型的推广能力产生直接的影响，在选取核函数时，通常采用的方法有:一是利用专家的先验知识预先给定核函数;二是采用Cross-Validation方法，即在核函数选取时，分别试用不同的核函数，归纳预测误差最小的核函数就是最好的核函数。在本课题中我们采用了第二种方法进行核函数的选择。
为使确定的核函数具有最佳的预测效果，首先要对相应的核数的参数进行优化筛选。由(5-20)，(5-22)，(5-24)式可见，径向基核函数需要确定1个核参数，即系数γ;Sigmoid核函数需要确定2个参数，分别为:系数γ和常数r;多项式核函数需要确定3个参数，分别为:阶数d、系数γ和常数r。
在筛选过程中，将石家庄市西马庄水源地的井旁电测深成果和抽水试验数据作为研究基础，具体数据详见表5-1所示。
将其划分为两个子集，即一个训练集和一个预测验证集。由此对上述每一种核函数利用已确定的训练集进行建模参数优化筛选。具体方法为:对于径向基函数采取了交叉验证和网格搜索的方法，多项式核函数和Sigmoid核函数采用了试凑法。
试验一:径向基核函数交叉验证
对石家庄西马庄水源地8眼井作试验数据，选出7个作为训练样本，一个不参加训练的样本。再将选出的7个训练样本随机分为3组，选择其中两组进行训练，另外一组作为验证，这样一个接一个，进行3次。每次验证时，尝试所有的参数对，计算其交叉校验的平均性能MSE，最后以模型在3次验证数据上的性能平均值作为这一学习参数下的模型性能，然后循环8次，从而确定最佳参数值范围。确定的搜索范围分别为C(2-10，215)，ε(2-10，23)，γ(2-10，210)。为了增加搜索速度，我们步长选择的是2的指数倍。最终确定参数C=1024，ε=0.5，γ=1。
试验二:多项式核函数试凑法
借鉴试验一的分析结果，选择参数C=1024，ε=0.5。在选取核参数之前，我们需要对多项式核的阶数d做出限定，选择的阶数不易过大，如阶数太大，不仅增加了学习模型的复杂性，易出现“过拟合”现象，导致SVM的推广性能降低。因此，规定d的取值不超过4。另外对γ和r做了初步筛选，圈定了其范围分别为:γ∈［1，4］;r∈［0.1，1］。然后采用阶梯式搜索分别找出最优的阶数d、系数γ和常数r;
首先进行阶数d的选择，设定参数γ=1，r=0.2;从8眼井中选出7个作为训练样本，d依次选择1、2、3、4进行训练，预测那个没有参加训练的样本，循环8次然后将预测结果进行对比。本文采用两个误差指标来衡量模型的预测效果:均方误差(MSE)和平均绝对百分比误差(MAPE)，其表达式分别为

含水层含水量预测综合物探技术

式中: 为预测值;xi为实测值;N为试验次数，这里N取8。
由表5-7可以看出:当d=3或d=4时，预测精度相近，但考虑到阶数越大，学习模型的复杂性越大，因此选取d=3最佳参数。
表5-7 不同阶数多项式核函数对预测结果影响统计表


然后进行系数γ选择，设定参数d=3，r=0.2;γ依次选择1、2、3、4进行训练，然后将预测结果进行对比，可知γ=1为最佳参数(表5-8)。
表5-8 不同γ多项式核函数对预测结果影响统计表


最后进行常数r的选择，设定参数d=3，γ=1.0;r依次选择0.2、0.4、0.6、0.8和1进行训练，然后将预测结果进行对比，可知r=0.8为最佳参数(表5-9)。
表5-9 不同r多项式核函数对预测结果影响统计表


最终确定参数d=3，γ=1，r=0。
试验三:Sigmoid核函数试凑法
选取石家庄西马庄水源地8眼井作试验数据，仍借鉴试验一的分析结果，选择参数C=1024，ε=0.5。
对γ和r做了初步筛选后，确定γ为0.1;圈定r∈［0.01，1］。下边对参数r进行精细选择，设定r值分别为:0.01、0.1、0.2、0.4、0.8，从8眼井中选出7个作为训练样本，预测样本不参加训练集，经过8次循环，通过对预测结果的对比，从而确定r=0.01～0.1时预测效果最好。分析结果如表5-10所示。
表5-10 不同rSigmoid核函数对预测结果影响统计表


核函数的选择通常采用Cross-Validation法，即在核函数选取时，分别试用不同的核函数，归纳预测误差最小的核函数就是最好的核函数。
我们将石家庄西马庄8眼井的资料与北京潮白河水源地7眼井的资料组合建立新的建模集，从中任意选出14个作为训练集样本，另外1个样本组成预测集，这样进行了8组试验，通过图5-3我们看到基于RBF核函数的预测模型预测精度最高。因此我们认为利用RBF核函数建立的含水层含水量预测模型预测效果最佳。

图5-3 三种核函数预测精度对比

(三)参数确定
采用径向基核函数所建立的模型需要确定的参数共有三个，分别为核函数参数γ，惩罚系数C和松弛变量ε。
惩罚因子C为正常数，惩罚因子C决定了对超出误差ε的样本惩罚程度。从结构风险的角度考虑，C值取得过大，问题倾向于经验最小，忽略对结构复杂程度的考虑;反之则更多地考虑了问题的复杂程度，忽略了经验数据的作用。因此可以说，C是支持向量机回归和泛化能力的平衡参数。惩罚因子C取不同的常数值，对结果有不同的影响。
由表5-11可知当C值取1024和2048时预测精度相同，说明当C大于一定值时，其变化对分析结果产生的影响变小。
表5-11 不同C值对预测结果影响统计表


通过对比试验，最终取值C=1024，ε=0.5，γ=1.0。
(四)模型建立
构造并求解最优化问题

含水层含水量预测综合物探技术

得到最优解 每个支持值β=(a*i-ai)。
构造决策函数

含水层含水量预测综合物探技术

其中 
将所求得的核函数系数、β值及b值带入5-44式，即为ε-SVR预测模型。

4. 预测模型建立

(一)参数拟合原理
在得到单井涌水量与所测量的地球物理测井各种参数之间的关系方程之后,可以发现里面还有很多待定的常数,这些常数在各种不同的地方是不一样的,为了能够确定这些系数,就需要获得这个地区的单井涌水量和对应的测井参数,然后拟合得到对应于这个地区的待定参数,这个被称为参数拟合。本程序所采用的拟合方法是改进型阻尼最小二乘法进行多参数数据拟合[14]。下面介绍一下拟合方法的原理。
设按上述任一模型计算得到的第i个孔的单位涌水量为qi。抽水实测单位涌水量为qj,由前述诸个模型可见,qj是个非线性多元变量函数,因而采用下述两种函数作为目标函数。并用最优化方法求取选定模型的待定系数是适当的。
(A+λ2K)ΔP=B
(1)目标函数取各井单位涌水量相对误差的平方和

含水层含水量预测综合物探技术

式中:λ为阻尼系数。
(2)目标函数取各井单位涌水量绝对误差的平方和

含水层含水量预测综合物探技术

选用哪种目标函数,应根据预测区各井单井涌水量的差异大小以及预测要求而定。若涌水量差异较大,而对涌水量较小者的预测精度要求较高,则宜选择相对误差的平方和作为目标函数,此时,小水量钻孔的预测精度虽然提高了,但大水量钻孔的预测精度相对降低了。若涌水量变化较小,且对涌水量较小者并不要求与大水量钻孔有相同高的预测精度,则适宜采用绝对误差的平方和作为目标函数。拟合流程见图5-4。
(二)模型构建
使用最小二乘准则,待求的模型系数a、b、c、d、e、f、g、R的值,应使得目标函数取极小值。显然,这是个非线性多元变量函数求最小二乘极小的问题,可采用最优化方法中比较有效的马奎特法(或称阻尼最小二乘法)求解,通常经过几次迭代就可求得各个模型的待定系数。
马奎特法是最优化中求最小二乘极小解比较有效的算法,它比梯度法、共轭梯度法收敛快,又比高斯牛顿法稳定,因而早已在很多其他反演解释中得到广泛应用。
经典马奎特算法中,由模型系数组成的矢量及其修正量的各元素相互间差别很大时,阻尼系数必将取得较大,这将增加迭代次数,降低运算速度,同时他还要求模型系数初值应靠近极小点,否则不易收敛,也就是说稳定性不理想。因此,我们采用加权阻尼因子的方法,即将经典马奎特方程中的单位矩阵K修改为与模型系数的大小有关的对角阵K,效果是模型系数大,阻尼小;模型系数小,阻尼大。从而使各模型系数以同等速度向极小点收敛,提高了算法的运算速度与稳定性,这就是改进的阻尼最小二乘法,其方程为

含水层含水量预测综合物探技术


图5-4 多参数拟合流程图


含水层含水量预测综合物探技术

利用上述拟合方法所求取的预测模型的待定参量a、b、c、d、e、、fg、R代入(5-61)式,便得到利用地球物理测井电阻率参量预测含水层含水量模型。

5. 模型及参数估计

入渗模型参数预测的设计模型仍采用（5.1）式和（5.2）式两种模型结构。然后根据预测参数回归模型的显著性和模型变量的显著性检验结果选定最终采用模型结构。
根据预测土壤入渗过程的要求，预测变量分别为三参数入渗模型的入渗系数k、入渗指数α和相对稳定入渗率f0。关于模型自变量，在给定土质的情况下按两种组合考虑：①三变量组合，包括土壤容重、土壤含水率和地中负温绝对值；②四变量组合，包括土壤容重、土壤含水率、地中负温绝对值和入渗水水温。各变量的取值层次与土壤入渗能力预测模型相同。
回归模型参数估计方法和回归显著性检验以及自变量对预测量影响的显著性检验方法和计算公式与土壤入渗能力预测模型完全相同。
以平遥宁固土壤入渗资料为依据，按两种模型、两种变量组合计算得到平遥、宁固冻融土壤入渗模型参数（k、α和f0）回归模型的回归参数、回归模型显著性检验值F、参数显著性检验值Ti见表5-2。按回归显著性水平5%，参数显著性水平5%查得相应的Fα（n，m-n-1）和Tα/2（m-n-1）值见表5-2。由表5-2可以看出：
（1）对于入渗模型参数α和f0的回归，无论何种模型、何种变量组合，F值都大于F0.05值，表明其回归都是显著的。对于参数k值，F值小于F0.05值，其回归在给定的显著水平下是不显著的。
（2）对于变量4（入渗水水温），大多数情况下T4α/2，表明变量4对预测值的影响相对其他变量来讲是不显著的。对于变量4以外的其他变量，在参数α和f0的回归模型中，仅有个别变量在给定的显著性水平下对预测量的影响不明显，总体上看，对预测量的影响是显著的。
（3）三变量组合的回归显著性和变量影响显著性总体上看要比四变量组合的高。
（4）多元线性回归模型与连乘积模型相比，从回归显著性和变量影响显著性看，两者的差别不明显。对于参数α的回归，多元线性回归模型比连乘积模型略好，但对于参数f0的回归，后者比前者略好。但从表5-2中两模型的预测区间看，在给定的置信概率下，后者的预测区间要远远大于前者。
综合以上计算和检验结果的分析认为，土壤入渗模型的三个参数中，入渗指数α和稳定入渗率f0用所选定的模型预测是可行的；三参数组合回归的显著性要比四变量组合的高；多元线性回归模型的预测效果要比连乘积模型的略好。因此，可采用三变量组合的多元线性回归模型对土壤入渗模型参数进行预测。

6. 预测模型建立

(一)参数拟合原理
在得到单井涌水量与所测量的地球物理测井各种参数之间的关系方程之后，可以发现里面还有很多待定的常数，这些常数在各种不同的地方是不一样的，为了能够确定这些系数，就需要获得这个地区的单井涌水量和对应的测井参数，然后拟合得到对应于这个地区的待定参数，这个被称为参数拟合。本程序所采用的拟合方法是改进型阻尼最小二乘法进行多参数数据拟合［14］。下面介绍一下拟合方法的原理。
设按上述任一模型计算得到的第i个孔的单位涌水量为qi。抽水实测单位涌水量为qj，由前述诸个模型可见，qj是个非线性多元变量函数，因而采用下述两种函数作为目标函数。并用最优化方法求取选定模型的待定系数是适当的。
(A+λ2K)ΔP=B
(1)目标函数取各井单位涌水量相对误差的平方和

含水层含水量预测综合物探技术

式中:λ为阻尼系数。
(2)目标函数取各井单位涌水量绝对误差的平方和

含水层含水量预测综合物探技术

选用哪种目标函数，应根据预测区各井单井涌水量的差异大小以及预测要求而定。若涌水量差异较大，而对涌水量较小者的预测精度要求较高，则宜选择相对误差的平方和作为目标函数，此时，小水量钻孔的预测精度虽然提高了，但大水量钻孔的预测精度相对降低了。若涌水量变化较小，且对涌水量较小者并不要求与大水量钻孔有相同高的预测精度，则适宜采用绝对误差的平方和作为目标函数。拟合流程见图5-4。
(二)模型构建
使用最小二乘准则，待求的模型系数a、b、c、d、e、f、g、R的值，应使得目标函数取极小值。显然，这是个非线性多元变量函数求最小二乘极小的问题，可采用最优化方法中比较有效的马奎特法(或称阻尼最小二乘法)求解，通常经过几次迭代就可求得各个模型的待定系数。
马奎特法是最优化中求最小二乘极小解比较有效的算法，它比梯度法、共轭梯度法收敛快，又比高斯牛顿法稳定，因而早已在很多其他反演解释中得到广泛应用。
经典马奎特算法中，由模型系数组成的矢量及其修正量的各元素相互间差别很大时，阻尼系数必将取得较大，这将增加迭代次数，降低运算速度，同时他还要求模型系数初值应靠近极小点，否则不易收敛，也就是说稳定性不理想。因此，我们采用加权阻尼因子的方法，即将经典马奎特方程中的单位矩阵K修改为与模型系数的大小有关的对角阵K，效果是模型系数大，阻尼小;模型系数小，阻尼大。从而使各模型系数以同等速度向极小点收敛，提高了算法的运算速度与稳定性，这就是改进的阻尼最小二乘法，其方程为

含水层含水量预测综合物探技术

式中:

含水层含水量预测综合物探技术


图5-4 多参数拟合流程图


含水层含水量预测综合物探技术

利用上述拟合方法所求取的预测模型的待定参量a、b、c、d、e、f、g、R代入(5-61)式，便得到利用地球物理测井电阻率参量预测含水层含水量模型。

7. 预测模型建立

松散含水层含水量预测模型的建立,主要是将预测松散含水层含水量问题转化为利用支持向量机求解的数学模型,主要包括如下4个步骤:
1)选取训练集T={(x1,y1),…,(xl,yl)}∈(x×y')。
2)选择适当的核函数K(x,x′),如线性核函数、径向基核函数、多项式核函数和Sigmoid核函数。
3)确定支持向量机中的参数,如C,ε,γ等。
4)建立模型。
(一)训练集的选取
1.预测基本输入特征量
选取合适的训练集,对于建立松散含水层含水量预测模型是非常重要的,本课题对预测模型输入特征量的选取遵循以下原则:
1)现有物探仪器设备可测、或可转换参数,具有实用性和可观测性。
2)要与所研究地下含水层结构的综合物探方法相配套,充分挖掘所获观测数据的信息资源。
3)优化组合,兼顾所利用的输入特征量间的互补性,避免或减少冗余性。
4)保障预测模型具有广泛的推广能力。
建模时要把所有的数据分为训练集和测试集,根据训练集,求出决策函数,而用测试集测试所得决策函数的准确率。那么选择一个合适的训练集,第一要满足训练集中的样本点数量不能过多,也不能太少;第二训练集中所含特征向量不能太少,如果太少则不能够反映实际情况,影响分类或者回归的准确性,但也不能太多,否则会增加计算难度,甚至影响训练速度和时间。除了样本点多少的选择以外,还要在数据中不能选择过多的属性。属性选择要达到以下3个目的:首先是确认哪些属性与预测输出特征量相关的特性;其次是尽量降低输入空间维数,缩小求解问题的规模;最后是提高准确率,得到更好的决策函数。
基于上述原则,将支持向量机预测模型的预测输入基本特征量选定为:反演电阻率值ρ、反演含水层厚度H,半衰时Th,衰减度D,视极化率ηs,纵波速度v等地面物探观测参数作为基本输入特征量讨论。
为了验证上述输入特征量选择原则的正确性,选择了石家庄市西马庄水源地现有电测深资料与单孔单位涌水量资料并进行了秩相关性分析,原始数据见表5-1所示。分析结果如表5-2所示。
表5-1 西马庄原始数据


表5-2 西马庄电性参数与涌水量相关分析


2.综合性参数的引入
鉴于第四纪含水层一般呈高阻性,在电测深反演解释过程中易产生hT等值现象的解释误差。依据含水层的富水性对应于一定的电阻率值,而单孔单位涌水量既与含水层富水性有关,又与其厚度有关。为了尽可能消除因等值现象导致解释所产生的误差,又能使输入特征量与预测量有更为密切的相关性,使预测模型具有良好的推广能力,对此,将电测深反演后的含水层电阻率与其层厚度相乘作为一个输入特征量T″,该特征量T″与含水层单孔单位涌水量相关分析结果表明,二者有更为密切的相关性,见表5-3所示。
表5-3 综合参数与涌水量相关分析


考虑到不同的地区地下水所含矿化度的不同,因其孔隙水的导电性不同,将会导致同类富水层电阻率有较大差别。为了消除孔隙水的导电性对预测精度的影响,突出含水层有效孔隙度特征,基于,ρ=αΦ-ms-nρw引入了相对综合因子参数T″,其表达式为

含水层含水量预测综合物探技术

式中:ρf为孔隙流体的电阻率;ρt为岩石的电阻率;H为含水层厚度。
从而将原基本输入特征量ρ和H组合为一个输入特征量T″。
3.激发比的引入
考虑到激发比可以放大激电异常,对第四系含水层有更为灵敏的反应。因此将激电模型里的极化率、衰减度参量用激发比参量代替,其表达式为J=ηsD。由表5-4和表5-5可知,激发比的引入,改善了模型预测精度。
表5-4 未引入激发比模型预测结果


表5-5 引入激发比模型预测结果


4.输入特征量的归一化
由于各输入特征量的量度差异较大,在用支持向量回归机进行建模训练和使用时,有必要对输入特征量进行归一化。归一化是指将属性数据按比例缩放,使之落入一个小的特定区域,如[-1,1]或[0,1]范围内。
归一化可以帮助防止具有较大初始值域的属性与具有较小初始值域的属性相比,权重差距过大。本次所建模型采用最小-最大规范化方法:将输入特征量归一化到[0,1]范围内。归一化公式为

含水层含水量预测综合物探技术

式中:x为某个输入参数对应的值;xmin和xmax分别为该项特征量的设置最小值和最大值;xs为该输入参数的归一化值。
5.预测输入特征量的优选
在基本预测输入特征量归一化处理的基础上,需要进一步研究特征量组合结构的优化性问题,即确定预测模型最佳输入特征量的数量和成分。
通过电测深找水实践证明:
第四纪地下含水层结构对应特定的电测深异常特征,所获取的地电参数与单孔涌水量均存在着一定的对应关系,但深入研究还表明:作为预测输入量而言,每一参量与单孔涌水量间存在着不同的相关性,输入量相互之间可能还存在着冗余成分,为提高预测模型的预测精度和模型运算速度,探讨上述地电参量与地下水单孔涌水量的相关性和输入特征量的最佳组合问题,揭示地电参数与地下含水层含水量的内在关联是十分必要的,也是确定预测模型输入特征向量的基础。
鉴于地电参数与地下含水层含水量间不存在明确的函数关系,在优化分析过程中,以石家庄市西马庄水源地的已知8眼井孔的资料为基础,将现有的已知特征量参数:T″,Th,D,ηs及激发比J作为分析对象,利用高斯径向基核函数,C=1024,ε=0.5,γ=1.0和ε-SVR模型进行7+1循环式训练-预测方式。其分析结果如表5-6所示。
由表5-6所列预测精度可得到以下结论:
表5-6 特征量的优化分析表 单位:%


第一,随着特征数量的增大,其预测精度得到提高,四个特征量预测精度最好;
第二,若采用三个特征量时,其中的T″,Th,D组合最佳,其次为T″,D,ηs。以上结论对建模时输入特征量的优化筛选提供了重要的参考依据。
6.预测模型输入特征量的确定
基于上述分析,针对研究对象的尺度及精度要求,建立了4种预测模式。对于不同的预测模型,分别确定了其输入特征量。
模型一:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、含水层厚度h、含水层层数n和井孔孔径φ。该模型主要用于对精度要求不高的区域水文地质调查。
模型二:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、视极化率ηs、含水层的半衰时Th、含水层厚度h、含水层层数n和井孔孔径φ。该模型主要用于专门性水文地质调查。
模型三:输入特征量为含水层的反演电阻率ρ、隔水层的反演电阻率ρ隔、视极化率ηs、半衰时Th、衰减度D、含水层厚度h、含水层层数n和井孔孔径φ。该模型主要用于对精度要求较高但探测深度要求不高的地下水源评价与开发工作。
模型四:输入特征量为含水层的反演电阻率、ρ隔水层的反演电阻率ρ隔、视极化率ηs、纵波波速v、含水层厚度h、含水层层数n和井孔孔径φ。该模型主要用于对精度要求较高,探测深度较深的地下水源评价与开发工作。
(二)核函数的选择
在建立预测模型过程中,需要选择函数K(·,·),即选择一个映射φ(·),把x所在的输入空间x映射到另一个空间H。H是一个Hilbert空间,即可以是有限维空间也可以是无穷维空间。因此核函数方法的核心内容就是采用非线性变换φ将n维矢量空间中的随机矢量x映射到高维特征空间,在高维特征空间中设相应的线性学习算法,由于其中各坐标分量间的相互作用只限于内积,因此不需要知道非线性变换φ的具体形式,只要利用满足Mercer条件的核函数替换线性算法中的内积,就能得到原输入空间中对应的非线性算法。
支持向量回归机中的核函数对于预测模型的推广能力产生直接的影响,在选取核函数时,通常采用的方法有:一是利用专家的先验知识预先给定核函数;二是采用Cross-Validation方法,即在核函数选取时,分别试用不同的核函数,归纳预测误差最小的核函数就是最好的核函数。在本课题中我们采用了第二种方法进行核函数的选择。
为使确定的核函数具有最佳的预测效果,首先要对相应的核数的参数进行优化筛选。由(5-20),(5-22),(5-24)式可见,径向基核函数需要确定1个核参数,即系数γ;Sigmoid核函数需要确定2个参数,分别为:系数γ和常数r;多项式核函数需要确定3个参数,分别为:阶数d、系数γ和常数r。
在筛选过程中,将石家庄市西马庄水源地的井旁电测深成果和抽水试验数据作为研究基础,具体数据详见表5-1所示。
将其划分为两个子集,即一个训练集和一个预测验证集。由此对上述每一种核函数利用已确定的训练集进行建模参数优化筛选。具体方法为:对于径向基函数采取了交叉验证和网格搜索的方法,多项式核函数和Sigmoid核函数采用了试凑法。
试验一:径向基核函数交叉验证对石家庄西马庄水源地8眼井作试验数据,选出7个作为训练样本,一个不参加训练的样本。再将选出的7个训练样本随机分为3组,选择其中两组进行训练,另外一组作为验证,这样一个接一个,进行3次。每次验证时,尝试所有的参数对,计算其交叉校验的平均性能MSE,最后以模型在3次验证数据上的性能平均值作为这一学习参数下的模型性能,然后循环8次,从而确定最佳参数值范围。确定的搜索范围分别为C(2-10,215),ε(2-10,23),γ(2-10,210)。为了增加搜索速度,我们步长选择的是2的指数倍。最终确定参数C=1024,ε=0.5,γ=1。
试验二:多项式核函数试凑法
借鉴试验一的分析结果,选择参数C=1024,ε=0.5。在选取核参数之前,我们需要对多项式核的阶数d做出限定,选择的阶数不易过大,如阶数太大,不仅增加了学习模型的复杂性,易出现“过拟合”现象,导致SVM的推广性能降低。因此,规定d的取值不超过4。另外对γ和r做了初步筛选,圈定了其范围分别为:γ∈[1,4];r∈[0.1,1]。然后采用阶梯式搜索分别找出最优的阶数d、系数γ和常数r;
首先进行阶数d的选择,设定参数γ=1,r=0.2;从8眼井中选出7个作为训练样本,d依次选择1、2、3、4进行训练,预测那个没有参加训练的样本,循环8次然后将预测结果进行对比。本文采用两个误差指标来衡量模型的预测效果:均方误差(MSE)和平均绝对百分比误差(AMPE),其表达式分别为

含水层含水量预测综合物探技术

式中: 为预测值;xi为实测值;N为试验次数,这里N取8。
由表5-7可以看出:当d=3或d=4时,预测精度相近,但考虑到阶数越大,学习模型的复杂性越大,因此选取d=3最佳参数。
表5-7 不同阶数多项式核函数对预测结果影响统计表


然后进行系数γ选择,设定参数d=3,r=0.2;γ依次选择1、2、3、4进行训练,然后将预测结果进行对比,可知γ=1为最佳参数(表5-8)。
表5-8 不同γ多项式核函数对预测结果影响统计表


最后进行常数r的选择,设定参数d=3,γ=1.0;r依次选择0.2、0.4、0.6、0.8和1进行训练,然后将预测结果进行对比,可知r=0.8为最佳参数(表5-9)。
表5-9 不同r多项式核函数对预测结果影响统计表


最终确定参数d=3,γ=1,r=0。
试验三:Sigmoid核函数试凑法
选取石家庄西马庄水源地8眼井作试验数据,仍借鉴试验一的分析结果,选择参数C=1024,ε=0.5。
对γ和r做了初步筛选后,确定γ为0.1;圈定r∈[0.01,1]。下边对参数r进行精细选择,设定r值分别为:0.01、0.1、0.2、0.4、0.8,从8眼井中选出7个作为训练样本,预测样本不参加训练集,经过8次循环,通过对预测结果的对比,从而确定r=0.01~0.1时预测效果最好。分析结果如表5-10所示。
表5-10 不同rSigmoid核函数对预测结果影响统计表


核函数的选择通常采用Cross-Validation法,即在核函数选取时,分别试用不同的核函数,归纳预测误差最小的核函数就是最好的核函数。
我们将石家庄西马庄8眼井的资料与北京潮白河水源地7眼井的资料组合建立新的建模集,从中任意选出14个作为训练集样本,另外1个样本组成预测集,这样进行了8组试验,通过图5-3我们看到基于RBF核函数的预测模型预测精度最高。因此我们认为利用RBF核函数建立的含水层含水量预测模型预测效果最佳。

图5-3 三种核函数预测精度对比

(三)参数确定
采用径向基核函数所建立的模型需要确定的参数共有三个,分别为核函数参数γ,惩罚系数C和松弛变量ε。
惩罚因子C为正常数,惩罚因子C决定了对超出误差ε的样本惩罚程度。从结构风险的角度考虑,C值取得过大,问题倾向于经验最小,忽略对结构复杂程度的考虑;反之则更多地考虑了问题的复杂程度,忽略了经验数据的作用。因此可以说,C是支持向量机回归和泛化能力的平衡参数。惩罚因子C取不同的常数值,对结果有不同的影响。
由表5-11可知当C值取1024和2048时预测精度相同,说明当C大于一定值时,其变化对分析结果产生的影响变小。
表5-11 不同C值对预测结果影响统计表


通过对比试验,最终取值
(四)模型建立
构造并求解最优化问题

含水层含水量预测综合物探技术

得到最优解 每个支持值 。
构造决策函数

含水层含水量预测综合物探技术

将所求得的核函数系数、β值及b值带入5-44式,即为ε-SVR预测模型。

8. 预测模型

本研究建立的预测模型，表达的是三维空间地质空间中的矿化指标与控矿指标之间的定量关联关系，可用来对研究区内分布的隐伏矿体进行定位定量预测。
矿化分布实际上是矿化指标在三维地质空间上的分布，描述这些指标的变量称为矿化变量。矿化变量包括:①Cu—单元铜平均品位;②CuOre—单元铜金属量。
控矿指标描述了控矿地质因素的成矿有利度，反映了地质控矿作用在三维地质空间上的分布结果，故称为控矿变量。不同的矿化变量对应地有不同的控矿变量:矿化变量Cu对应的控矿变量———ddG1，ddF1，daIP1，dwr1G1，aIT1，wr2G1，ddD31;矿化变量CuOre对应的控矿变量———ddG2，ddF2，daIP2，dwr1G2，aIT2，wr2G2，ddD32。
矿化指标与控矿指标的关联关系，在数学上可以表达为控矿变量(控矿指标)空间到矿化变量(矿化指标)空间的映射，而矿化变量空间中的每个矿化变量均属于某个有界的实数域，故可以将这种映射看作为泛函，其函数化表达模型为MV=f(GV)，式中MV为矿化变量空间，GV为控矿变量空间。该泛函关系可以通过多元回归等统计方法来实现函数化表达。
由前述控矿地质因素定量分析知，提取出的控矿指标与矿化指标具有显著的线性相关性，所以泛函模型MV=f(GV)可以实例化为普通的多元线性函数模型:

危机矿山深部隐伏矿大比例尺定位定量预测技术研究

式中:MVk为MV中的矿化变量(Cu，CuOre)，GVj为GV中的控矿变量((ddG1，ddF1，daIP1，dwr1G1，aIT1，wr2G1，ddD31)和(ddG2，ddF2，daIP2，dwr1G2，aIT2，wr2G2，ddD32))，Bk0，Bk1，…，Bkp为线性函数的待求参数，ε为期望值为零的随机变量。参数Bk0，Bk1，…，Bkp可通过对GV和MV在地质空间控制区域中离散化单元的量化数据进行多元线性回归分析获得。
表13－1、13－2为用回归分析方法建立矿化泛函模型的计算结果。表中所示统计检验(F检验)表明，矿化变量Cu、CuOre分别与控矿变量(ddG1，ddF1，daIP1，dwr1G1，aIT1，wr2G1，ddD31)、(ddG2，ddF2，daIP2，dwr1G2，aIT2，wr2G2，ddD32)之间在统计意义上存在着显著的线性函数关系。
表13－1 矿化变量Cu与对应控矿变量的线性回归模型


表13－2 矿化变量CuOre与对应控矿变量的线性回归模型


矿化泛函模型定量地揭示了控矿变量与矿化变量之间的关联关系，可以用来对研究区内所有的立体单元的矿化指标Cu、CuOre进行估值预测。同时，为了对立体单元的含矿性进估计，定义单元含矿性指标IOre为:

危机矿山深部隐伏矿大比例尺定位定量预测技术研究

单元含矿性指标Iore相当于矿化指标值的概率化，故与矿化指标一样，对控矿变量具有函数依赖性，因而在控矿变量与含矿性指标之间也存在类似的泛函模型。由于IOre表示的是概率值，故采用逻辑斯蒂(Logistic)回归模型作为单元含矿性估计模型:

危机矿山深部隐伏矿大比例尺定位定量预测技术研究

式中:i为立体单元编号，IÔrei为立体单元i的含矿性指标的估计量，GVj为GV中的控矿变量(ddG2，ddF2，daIP2，dwr1G2，aIT2，wr2G2，ddD32)，Bk0，Bk1，…，Bkp为逻辑斯蒂模型的待求参数。参数Bk0，Bk1，…，Bkp可通过对GV和MV在地质空间控制区域中离散化单元的量化数据进行极大似然估计获得，结果如表13－3所示。
表13－3 含矿性指标Iore的逻辑斯蒂回归模型