气体传感器阵列常用模式识别算法

分享到:
431
下一篇 >

摘 要:模式识别在气体传感器阵列的测量中占有举足轻重的地位。介绍了k-近邻法、聚类分析、判别函数分析、反向传播人工神经网络、主元分析法、概率神经网、学习向量量化、自组织映射,自适应共振网、遗传算法等气体传感器阵列常用模式识别算法的原理和特点。同时,指出了在应用中模式识别算法选择和评价的标准。

关键词:气体传感器阵列;模式识别;算法

0 引 言

模式识别在气体传感器阵列中占有举足轻重的地位,目前,所采用的模式识别算法种类较多。国际上应用*为广泛的气体传感器阵列模式识别算法包括:k—近邻法(k-nearest neighbour,k—NN)、聚类分析(cluster analysis,CA),判别分析(discriminant analysis,DA),主元分析法(principal component analysis,PCA)、反向传播人工神经网络(back-propagation artificial neural Networks,BP-ANN),概率神经网:(probabilistic neural network,PNN)、自组织映射(self-organizing map,SOM)、学习向量量化(learning vector quantization,LVQ)、自适应共振网(adaptive resonance theory,ART)以及*近10年才发展起来的遗传算法(genetic algorithm,GA)等。前4种属于线性分类方法,是建立在统计理论上的;后5种是基于神经网络基础上的,与GA算法一起属于非线性分类方法。

目前,国内气体传感器阵列模式识别方法采用*多的还是PCA和BP-ANN,对于其他国际上流行的模式识别算法的了解很少。本文就前述10种模式识别方法的原理、特点及其应用范围进行了探讨,除在气体传感器阵列研究中具有指导意义外,在其他类型传感器阵列信号处理以及工程应用中也有广泛的实用价值。

1 基于统计理论的模式识别算法

1.1 k-近邻法

近邻法是一种*简单的非参数模式识别方法,它主要依据样本间的多维空间距离来实现分类。令Dn={x1,x2,…,xn},其中,每一个样本所属的类别均已知(已标记)。对于测试样本点x,在集合Dn中距离*近的点标记为x′。那么,近邻法就是把点x分为x′所属类别。k-近邻法是近邻规则的一个推广,它将测试样本分类为与它*接近的k个(为避免二义性,通常取k为奇数)近邻中出现*多的那个类别。显然,当众:k=1时,k—近邻法就是前述的近邻法。常用的距离计算函数为欧氏(Euclidean)距离函数,如果同时考虑样本分散程度的影响,可以改用马氏(Mahalanobis)距离函数来进行判别。需指出的是,样本间的距离计算是对其单位敏感的,如将其中一维的度量单位由伏改为毫伏,其计算结果可能会产生很大的变化。克服这一困难的常用方法是对数据进行归一化预处理。

1.2 聚类分析

聚类分析(CA)是基于整个数据集内部存在若干“分组”或“聚类”为出发点而产生的一种数据描述方法。CA是一种典型的无监督学习算法。由于每个子集中的点具有高度的内在相似性,凭借这些内在的相似性可以实现对样本空间的“自然分组”。相似性的度量是聚类算法成功的关键。*简单也是应用*多的相似性度量还是前面提到的欧氏距离和马氏距离。更一般的情况是采用非度量的相似性函数,但这种方法在气体传感器阵列应用中还没有人尝试过。有关相似性函数和CA的进一步了解可以参考文献。实际在气体传感器阵列模式识别中,采用的CA仅为一种特殊的名为层次聚类(hierarchical clustering)的聚类方法,其思想是一个大类包含很多子类,子类又包括很多更小的子类,就如生物学中的门-纲-类-子类-目-科的分类方法一样,分类的结果以树图(dendrogram)的方式表示。

虽然都是计算样本之间的距离,但CA与近邻法不同,它需要在样本距离之间设置一个阈值,小于该阈值就可归为一类。阈值的设定是非常关键同时又是很困难的,太大所有样本会被归为一类,太小每个样本又会单成一类,目前,很少单独使用CA进行模式识别,通常只扮演一个辅助的角色。

1.3 判别分析

判别分析(DA)又称为判别函数分析(discriminant function analysis,DFA),是指由x的各个分量的线性组合而成的函数

g(x)=wtx+w0,

式中 w为权向量;w0为阈值。对于两类问题,如果g(x)>0,则判定为w1类;如果(x)<0,则判定为w2类;如果g(x)=0,则x可以归到任意一类,或者把这种情况按拒识处理。由方程g(x)=0定义了一个判别面,在多维空间中,这个判别面称为超平面(hyperplane)。对于两类识别问题,该超平面将多维空间划分为2个区域,DA因此而得名。为了提高识别精度,可在式中引入二次或更高次项,此时,g(x)转变成为广义判别函数,超平面也随之变换为超曲面。一般气体传感器阵列中,传感器的数量较多,这给求解带来了“维数灾难”问题。所以,在DA中,*常用的是一次线性判别函数,*多不超过二次判别。理论上,求解权向量和阈值的方法很多,但在实际中常用的方法只有2种:基本梯度下降算法和*小均方算法(least-mean-squared,LMS)。LMS算法能大大缩短计算时间和减小存储空间。Claude等人应用DFA分析对CO2、氟利昂、CO2和氟利昂混合气体以及湿空气四类进行了识别,识别精度可以达到96.1%。

1.4 主元分析法

主元分析又称为主成分分析,是在气体传感器阵列领域应用*多的2种算法之一。由于主元分析应用很广,相应的资料比较多,本文不再介绍其原理,进一步了解可以参考文献。主元分析的实质就是寻找在*小均方意义下*能够代表原始数据的降维投影方法。与寻找有效分类方法的DA不同,主元分析寻找的是有效表示样本数据的主轴方向。主元分析对区分不同的类别没有太大的优势,被主元分析法所抛弃的那些分布方向有可能正是能够把不同类型区分开来的分布方向。然而,由于主元分析方法易于理解,便于实现,同寸,降维投影后的图形简明、直观,所以,主元分析反而成为了大家采用*多的算法之一。主元分析的结果通常取前2个或前3个主元进行绘图,为保证绘图的可靠性,要求前2个或前3个主元的累计贡献率应在75%以上。

主元分析自身并不具备分类识别能力,常用的方法是将经主元分析后的数据再通过感知器、DA等实现*后的分类过程。

2 基于神经网络理论的模式识别算法

2.1 反向传播人工神经网络

反向传播人工神经网络(BP-ANN)是在气体传感器阵列领域应用*多的另一种算法。该算法功能强大,易于理解。BP-ANN在概念和算法上的简便性以及它在众多的实际问题中的成功应用,使得它目前在气体传感器阵列模式识别中占据了主流地位。与主元分析法一样,关于BP-ANN的原理本文不再介绍;有关反向传播人工神经网络以及后续提到的基于神经网络的其他一些算法(PNN,LVQ,SOM,ART)的原理和进一步的知识可以参考文献。与前述基于统计理论的算法相比,BP-ANN*大的优点是:它可以实现输入和输出数据之间的非线性映射。在气体传感器阵列信号处理巾,输入和输出之间往往是非线性的,这就使得BP-ANN应用广泛,且效果很好,Yolanda等人比较了不同算法对141个植物油样本的识别情况,BP-ANN*好,识别率可达94%。BP-ANN在应用中的难点包括网络结构的设计、隐含层神经元个数的选择、激励函数的选取、权值的初始化、网络误差的设定等,目前,还没有一个统一的标准,通常根据研究人员的经验进行选择。一些改进算法,如,增加动量项、自适应调节学习率等可以在一定程度上改善BP-ANN算法,但还不能从根本上解决上述难题。

2.2 概率神经网

概率神经网络(PNN)是一种非参数的概率密度估计方法。PNN网络通过下面的方式进行训练:首先,将训练样本归一化。**个归一化后的样本被置于输入层单元上,同时,将连接输入单元和模式层单元的连接初始化为w1=x1;然后,从模式层的**单元到类别层中代表x1所属类别的那个单元之间建立一个连接。同样的过程对剩下的各个模式单元都重复进行,即wd=xd。这样操作后,可以得到一个输入层与模式层之间完全连通,而模式层到类别层之间稀疏连接的网络。

训练好的网络就可以用于分类:首先,将归一化的测试样本x提供给输入节点,每一个模式层单元都计算一个净值;然后,通过激励函数(通常为高斯函数)映射到类别层单元,每个类别单元把与它相连的模式层单元的输出结果相加,得到每一类的条件概率密度,根据概率密度的大小进行分类。将PNN用于5种茶叶的分类,精度可达94%。PNN*大的优点是学习速度很快,因为每个样本仅需提供一遍,但对存储空间要求比较高。PNN算法的另一个优点是:新的训练样本很容易加入到训练好的分类器中,这一特点对于在线的应用特别有意义。

2.3 自组织映射

自组织映射(SOM)是一种基于竞争学习的特殊神经网络。网络的输出神经元之间相互竞争以求被激活,结果在每一时刻只有一个输出神经元,所以,该算法又被称为胜者为王(winner-takes-all)算法。在自组织映射里,神经元被放置在网格节点上,这个网格通常是一维或二维的。在竞争学习过程中,神经元依据不同的输入进行选择性地调整,从而实现由输入模式到输出模式之间的拓扑有序映射(to-pologically ordered map)。该算法的目标就是用低维目标空间的点去表示高维原始空间的点,使得这种表示尽可能地保留原始的距离或相关性。SOM算法的实现过程可以简述为:初始化→取样→相似性匹配→更新→重复上述过程直到无明显变化。自组织映射对存储容量要求不高。而且,如果从原始空间到目标空间存在非线性映射结构,该算法表现得非常出色。李啸等人通过SOM结合BP-ANN对酒精和汽油的混合气体进行了分析,识别精度由单一BP-ANN的72.2%提高到复合网络的83.3%。从对数据进行降维处理来看,SOM算法正好和前面提到的主元分析法形成互补,即线性输入-输出适合用PCA法进行降维,而非线性输入-输出则应采用SOM网络降维。

2.4 学习向量量化

学习向量量化(LVQ)网络属于一种混合型网络,它由竞争层和线性层两部分组成,采用监督学习方式对竞争层进行训练。学习向量量化的分类结果取决于输入向量之间的距离。LVQ网络与竞争网络十分相似,区别在于LVQ网络的竞争层不是直接输出分类信息,而是给出一个子类信息,一个类可以有几个不同的于类构成。LVQ网络利用线性层实现子类到类的组合,这样,就克服了竞争网络只能产生凸的判定边界的局限,可以产生复杂的类边界。LVQ网络目前应用不多,但其分类能力十分强大。有学者曾对比了DA,PCA,NN,BP-ANN,PNN,LVQ等多种算法在传感器阵列信号处理中的应用,结果表明:LVQ具有*佳的分类效果。

2.5 自适应共振网

竞争型网络虽然在实现非线性映射过程中有独特的优点,但其中一个关键性的问题是��网络不能总是形成稳定的聚类(或分类)。学习过程的不稳定性源于竞争型网络的自适应性,这种自适应性导致新输入的样本必然会对已经记忆的模式样本产生抵消或遗忘。自适应共振网(ART)就是为解决自适应性和稳定性2个难题而设计的,当样本输入时,首先,考察该输入模式与所有存储模式之间的相似度,对于相似度超过参考阈值的所有模式类,选择*相似的作为该模式的代表类,并调整与该类别相关的权值。若相似度都不超过参考阈值,建立新的模式类,同时,建立与该模式类相连的权值。ART网络的基本思想是采用竞争学习策略,同时,加上一个自稳机制。通过对ART网络原理的简单了解可以知道,参考阈值的设定对于权衡自适应性和稳定性两者之间的关系是至关重要的,实际应用中,需要比较不同参考阈值的分类效果,以获得*佳的ART网络结构。

3 遗传算法

遗传算法(GA)是基于达尔文(Darwin)的生物进化论和孟德尔(Mendel)的遗传学基础上的一种随机、迭代、进化,具有广泛适用性的搜索方法。GA模拟了进化论中遗传、变异、生存斗争和适者生存的现象,以及遗传学中染色体分离律和自由组合律,利用优胜劣汰的自然法则,*终搜索到**个体,即**解。其基本步骤是:编码、产生初始群体、选择、交叉、变异,经过选择、交叉、变异后,可以产生一代新的群体,或者说经历了一代进化,然后,对新群体的适应度进行判断,如果符合优化准则,输出*佳个体代表**解,否则,开始下一代进化。与传统的搜索和优化方法相比,GA具有自组织、自适应和自学习的智能性、本质并行性、无需求导或其他辅助信息、采用概率转换规则、可获得一组而非一个**解等特点。同时,GA算法的优越性还体现在在搜索过程中不容易陷入局部*小,即使在有噪声的情况下,也能以很大的概率找到整体**解。

GA在气体传感器阵列中既用于模式识别,又可用于特征的提取和传感器阵列的优化。虽然GA算法本身可以直接用于模式识别,但就已发表的文献看,这种应用较少。原因在于传感器阵列信号多,且连续变化,这给编码带来了很大的困难。比较成功的应用是将GA算法和人工神经网络结合,利用GA算法强大的搜索功能来确定人工神经网络的结构参数,既可以提高网络的识别精度,又可以缩短训练时间,同时,还能避免神经网络陷于局部*小的问题。GA算法的研究历史不长,但一些成功的应用说明:它是一种新兴的具有发展前途的算法。

4 模式识别算法的选择和评价

在上述提到的10种气体传感器阵列常用模式识别算法中,PCA和BP-ANN应用得*为广泛。前者模型简单,且计算结果可以通过图表直观显示,后者易于理解,同时,适合非线性映射,所以,这2种算法得到大家的偏爱。然而,针对如此多的不同算法,每个人可能会疑惑究竟哪一种算法是*好的?遗憾的是,没有任何一种模式识别算法具有“与生俱来”的优越性,只有了解问题的具体类型、先验分布情况以及其他一些信息,才能确定哪种类型的算法能提供*好的性能。一些研究比较过上述部分算法,同时,推荐采用其中的某一种或两种。但是,如果某种算法对某个问题看上去比另外的算法更好,仅仅只能说明它更适合这一特定的模式识别任务,不能因此就泛泛地认为该算法优越。不存在与问题无关的“优越的”或“*好的”模式识别方法。掌握更多的不同种类的技术,是研究者面对任何新的分类问题时仍能保持从容不迫态度的*佳保证。

对于所给定的问题,评价模式识别算法包括2个方面:一个是评价算法的性能;另一个是比较不同的方法,选出**的设计方案。Shaffer在比较不同算法时指出**的模式识别算法具备以下6个特征:(1)高精度;(2)运算速度快;(3)易于训练;(4)存储空间小;(5)抗干扰能力强;(6)能对测量不确定性进行估计。虽然目前还没有任何一种算法能满足上述所有特征,但这些特征为人们评价模式识别算法提供了一个很好的标准。

5 结束语

本文对气体传感器阵列常用的模式识别算法进行了总结,重点讨论了不同算法的原理和特点,并结合各自算法的特点讨论了其应用范围以及应用中应注意的一些问题。在此基础上,对如何在气体传感器阵列研究中选择和评价模式识别算法的标准进行了探讨,这些选择和评价的标准对于模式识别的应用具有指导意义,本文所讨论的方法并不包括气体传感器阵列应用中的所有模式识别方法,其他一些方法,如,模糊分类(fuzzy classification,FC)、径向基函数网络(radial basis function,RBF)、*小生成树算法(minimal spanning tree,MST)以及独立成分分析(independent compo-nent analysis,ICA)也有一定程度的应用。正如本文在算法选择中所谈到的,没有天生优越的模式识别算法,只有充分了解不同模式识别算法,深入分析算法的使用条件,才能做到*佳选择。

你可能感兴趣: 气体传感器 知识原理
无觅相关文章插件,快速提升流量