当前位置: 首页 > 范文大全 > 办公范文

地理数据的特征范例(3篇)

时间:

地理数据的特征范文

【关键词】主成分分析特征值特征向量

1问题提出

下面是就该地区的8个小区321人关心的影响购房因素所作的调查统计:

2问题分析

2.1建模分析

我准备应用主成分分析法,因数据运算量大,故应用Sas程序计算。

2.2应用主成分分析的方法

综合指标用F1的方差表达,即Var(F1)越大,F1包含的信息越多。因此在所有的现行组合中所选取的F1应该是方差最大的,故称F1为第一主成分。

2.3运算的算法和步骤

对得到数据处理,求特征值和特征相量,继而得出关于影响因素的第一主成分,第二主成分……,进而分析出要讨论的主要因素。

2.3.1给出样本数据阵计算均值和协差阵

平均值向量=(,,,……,);协差S=()p*p

2.3.2原始数据的标准化,消除量纲的影响:

=

2.3.3计算样本相关阵

=();==;

2.3.4求R的特征根及相应的标准正交特征向量,确定主成分

由特征方程求得特征根,对应于特征值的特征向量为U(i),将标准化的指标变量转换为主成分:Fi=;F1为第一主成分,F2为第二主成分,……。

2.3.5求方差的贡献率,确定主成分的个数

主成分分析法就是选取尽量少的主成分进行综合评价,要使损失的信息尽量可能少。M的值由方差贡献率来决定。

2.3.6对m个主成分进行综合评价

先算每个主成分的线性加权值Fi=,再对主成分加权求和。

2.4结果分析

通过对各个相互独立的主成分进行分析总结,用较少的综合指标代替原有指标,尽量做到满足其主成分的要求。

3模型假设

(1)假设构成这地区的影响购房因素,如表1;(2)假设所调查人群都有购房意愿,考虑的是上述因素;(3)假设各数据能表达影响因素;(4)假设特征值累计贡献率达到85%,就满足要求。

4变量设置

(1)Y表示统计数值对应矩阵,表示影响因素的平均值,Yij表示Y矩阵的第i行j列;(2)X表示对Y进行数据标准化的矩阵;(3)R为X的相关系数矩阵;(4)λ是R的特征根;(5)A是R的特征根λ相应的特征向量;(6)Fx是影响因素中第x个主成分。

5建立模型及模型求解

5.1数据统计

由上面数据统计得出各影响因素对八个小区影响因素的均值。

5.2应用主成分分析法计算,将数据标准化

利用公式X=(Xij),Xij=把数据进行标准化,Rij=消除量纲影响。用Sas得到标准化数据矩阵。

5.3求R的特征值和特征向量及所占比重

用公式:|λ-R|=0,求得p个特征根,并从大到小排序。继而求特征向量,特征贡献率,分别由Sas运行结果。

5.4主成分表达式

一般方差贡献率≥85%即可表达原有信息,主成分表达式取前三个即达到88.249%,故我们取三个主成分F1、F2、F3。

5.5主成分分析

在第一主成分反映购房前后花销方面的影响因素;在第二主成分反映地理位置的影响因素;第三主成分反映人群对休闲、娱乐等环境方面影响因素。

6结果分析

从分析结果来看,“购房花销”首先制约着当地人们的购买欲望,成为购买商品房的主要因素,同时他们还会考虑如物业费用情况、后期交通情况等;“地理位置”被关心的程度其次,涵盖了楼盘项目周边的自然环境等比较直观的因素;“周边环境”是紧随地理位置的又一重要影响因素。

需要说明的是,由于本次调查研究针对某个具体的地区而言,对于具体的项目还必须进行具体分析。

参考文献:

地理数据的特征范文

关键词:云计算;数据特定特征;特征挖掘技术;提取精度

中图分类号:TN911?34;G420文献标识码:A文章编号:1004?373X(2017)13?0178?03

Abstract:Fortheimprecisedataspecificinformationextractionintheprocessoftraditionalcloudcomputing,aspecificcharacteristicminingmethodofmassivedataincloudcomputingenvironmentispresented.Thematrixnodedifferencemodelisusedtoarrangethedataorderly,andavoidtheimpreciseextractiondatacausedbydataconfusionofthetraditionalmethod.Thehugeclouddatamakesthedatapositioningimprecise.Inordertoeliminatetheaboveproblem,themultidimensionaldatapositioningcalculationisadoptedtosolvetheproblemofimprecisepositioningeffectively,andextractthedatainformationsuccessfully.Inordertoverifytheeffectivenessofthemassivedataspecificcharacteristicminingmethodincloudcomputingenvironment,thecontrastsimulationexperimentwasdesigned.Theexperimentalresultsfullyprovethatthemethodcanimprovetheaccuracyofthedataextractioneffectively.

Keywords:cloudcomputing;dataspecificcharacteristic;featureminingtechnology;extractionaccuracy

0引言

随着科技的快速发展,数据信息时代逐渐向着云时代变迁,数据的运算存储已经由传统的硬盘存储逐渐发展成为云端计算存储[1]。通过云端的计算存储已经在很大程度上摒弃了原有的算法规则,能够更大程度的进行数据统计和数据运算[2]。在使用云端计算的环境下,存储在云端的海量数据都是通过数据定位以及数据分析进行计算的,使用适当的调度方法可以在很大程度上进行数据的特征提取。所以,有效的数据调度可以充分提高数据的特征提取能力,但是传统的云端计算过程由于数据存储量过于繁杂,并且在进行数据定位的过程中需要进行数据识别。传统的方法是使用数据的属性进行标识识别,但是为了数据的存储方便一般会进行适当的数据压缩和数据转换,数据进行调用过程中十分的繁琐,并且数据的调用过程是一个识别提取的过程,这种方式极大地影响了数据特征提取的速度以及准确性[3?4]。在进行数据特征提取的过程中还存在一些数据节点,这些节点极大程度上限制了提取的精度[4?5]。综上所述,本文设计了一种云计算环境下的海量数据特定特征挖掘方法,该方法能够有效解决上述问题[6]。

1运用矩阵节点差分计算方法进行数据特定特

征挖掘

使用矩阵节点差分计算可以提高数据提取的精准度,在计算之前需要进行数据的方位确定以及数据的预处理[7?8]。

式中:为单位下数据信息量;为数据的信息坐标;为提取条件下的属性条件;为实际的傩灾涤颉

当限制节点传输信息至时,传输单位需要经过个节点才能进行属性提取。关系式为:

保证数据的正确性和快速性是通过区域的划分得到的,划分前需要预设参数,通过设定能够对选择精度进行控制,避免误差的产生。

式中:为离散参数;为整合参数域;为区域值;表示提取深度;代表数据衡量值。

进行数据的特征提取过程中,使用矩阵节点差分方法,因此需要进行数据的预处理[9],预处理之后才可以使用,首先是数据编续:

经过序号的排列以后,方便数据在大量数据中进行准确提取,但是排序之后的数据不能直接使用,需要一定的调用计算,方便在提取过程中属性的搭配:

式中:表示单位时间数据能够调用的属性;表示实际区域范围内数据的识别码;是实际计算中的属性参数;表示计算常量。

通过上述计算便可以进行矩阵节点差分方程的计算,建立如下矩阵:

通过化简的公式可以看出数据与实际调用的关系,把公式进行加权处理就可以得到关系公式,这样可以更加精确的在海量数据中完成特征提取。

限定好实用的属性参数及属性目标,进行加权计算:

本文运用矩阵节点差分计算方法进行数据特定特征挖掘,在计算前进行数据的预处理保证了数据的有效性,提高了结果的精准度,最后用条件进行限定保证在大量的数据中能够进行精准的计算。

2实验验证

为了验证本文设计的云计算环境下的海量数据特定特征挖掘方法的有效性,设计了对比仿真实验。选定某网络数据公司大型云端数据库进行数据特征提取,首先使用传统的方法进行云端数据提取,然后使用本文设计的云算环境下的海量数据特定特征挖掘方法进行数据的特征提取。

2.1参数设置

为了保证实验的有效性,同时进行实验,设置调配参数为65.8;数据坐标分别为150,100;为了保证数据提取的速度,设置为68.5;设置分别为55,60,100。

2.2数据对比分析

实验对比结果如图1,图2,表1所示。

通过图1可以看出本文设计的方法能够在更短的时间内得到结果,同时所用的时间是传统方法的一半左右。

通过图2的误差对比结果可以看出,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地降低误差,保证在海量数据下的特征提取。

表1的实验结果能够充分证明,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地提高数据特征百分比,同时能够在更短的时间内进行更多的特征提取。

3结语

本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地解决数据特征提取过程中提取不精确的问题,同时所需要的时间更短,得到的结果不需要进行修正,能够更好地完成对海量数据的特征提取。本文的研究能够为云端数据提取提供良好的理论依据。

参考文献

[1]廉文武,傅凌玲,黄潮.云计算环境下数据弱关联挖掘模型的仿真[J].计算机仿真,2015,32(4):359?362.

[2]卢小宾,王涛.Google三大云计算技术对海量数据分析流程的技术改进优化研究[J].图书情报工作,2015,59(3):6?11.

[3]何清,庄福振,曾立,等.PDMiner:基于云计算的并行分布式数据挖掘工具平台[J].中国科学:信息科学,2014,44(7):871?885.

[4]刘辉.云计算环境下海量激光点云数据的高密度存储器逻辑结构设计[J].激光杂志,2016,37(9):91?95.

[5]白红伟,马志伟,朱永利.基于云计算的绝缘子状态监测数据的处理[J].电瓷避雷器,2011(4):19?22.

[6]钱维扬,王俊义,仇洪冰.基于Hadoop的数据挖掘技术在测光红移上的研究[J].电子技术应用,2016,42(9):111?114.

[7]刘海龙,宿宏毅.利用Hadoop云计算平台进行海量数据聚类分析[J].舰船科学技术,2016(14):148?150.

地理数据的特征范文篇3

关键词:高光谱分类;组合光谱特征;光谱导数特征;导数光谱技术

中图分类号:TN919?34;TP751.1文献标识码:A文章编号:1004?373X(2013)14?0104?04

Researchoncombinationalspectralfeaturesofhyperspectralimages

CHANGWen?juan,HEMing?yi

(EarthObservationResearchCenter,ShaanxiKeyLabofInformationAcquisitionandProcessing,NorthwesternPolytechnicalUniversity,Xi’an710129,China)

Abstract:Thespectralcharacteristiccurvesoftypicalvegetation,minerals,soilandwaterbody,andsimilaritiesanddifferencesoftheirfirst?orderandsecond?orderderivativesareanalyzed.Theresearchdemonstratesthattherelevantcharacteristicsofthereflectionpeakandtheabsorptionvalleybandsofhyperspectralspectralcharacteristiccurvescanbequicklyobtainedbyanalysisandspectrumderivativetechnology,andtherearedifferentsensitivebandsbetweenoriginalspectralcurveandvariousorderspectralderivativecurvesofdifferentcategoriesobjectives.Therefore,itisproposedthatthecompositionofthesesensitivebandsofhyperspectraloriginaldataandeachorderderivativecurvecanconstitutecombinationalspectralfeaturestooptimizetheperformanceofhyperspectralfeaturesandreducetheclassificationdifficulty.Theexperimentalresultsshowthatthiscombinationalspectralfeaturescanrealizetheeffectiveclassificationofhyperspectralimages.

Keywords:hyperspectralclassification;combinationalspectralfeature;spectrumderivativefeature;derivativespectrumtechnology

0引言

近年来,高光谱遥感数据处理受到特别关注,IEEE高光谱遥感图像与信号处理?遥感进化(IEEEWorkshoponHyperspectralImageandSignalProcessing?EvolutionalRemoteSensing,WHISPERS1)2009在法国召开首届大会,第4届大会于2012年6月在上海召开,IEEE遥感学报、传感器学报及图像处理学报等近来先后出版了有关高光谱遥感数据处理的多个专辑[1?4]。

高光谱遥感影像具有光谱分辨率高及图谱合一等特点,包含了丰富的空间、辐射和光谱三类直接信息,提供了比多光谱传感器更丰富和更精确的光谱信息,极大地提高了对目标与环境的识别能力,可有效地用于目标及环境的全像素、单像素、甚至亚像素级分类、识别与混合成分分析。

高光谱分类是高光谱数据分析和信息提取的重要工具,在当前乃至今后一段时间内都将是遥感领域的研究热点。与传统分类方法相比,高光谱分类面临的两个主要问题是:一是光谱分辨率高、光谱曲线近乎连续、数据量大、数据冗余严重、谱间相关性强;另一是空间分辨率有限、存在大量混合像元,“Hughes”现象凸现。影响目标分类与识别结果的主要因素包括3个方面:

(1)问题本身的复杂度,包括目标形态及尺寸,特别是目标材料对光谱的吸收、反射及散射特性,以及所处的时空、电磁及气象等环境情况;

(2)描述目标的高光谱图像特征的性能;

(3)分类器的分类能力与推广性。因此,高光谱特征中新信息的挖掘和高性能计算的技术在高光谱图像分析系统中变得非常重要。本文主要讨论优化高光谱图像特征的性能来提高高光谱遥感数据分类性能。

优化高光谱特征的方法有多种,其中一种有效的方法是从原始高光谱数据中寻找最有用的特征信息来挖掘有利于分类的光谱特征,譬如(1)采用从高光谱遥感数据中选择或保留敏感的有代表性的波段形成的数据集,称为特征选择或波段选择;(2)将高光谱遥感数据中经过某种测度指标和变换形成的新的数据集,称为特征提取。

另外一种优化高光谱特征的方法是使用附加信息,通常组合多种特征都能得到良好的分类性能。大多数高光谱处理技术的传统方法通常仅仅使用图像的光谱强度信息。近年来,已有研究人员在高光谱数据处理中利用从高光谱遥感原始数据中通过导数光谱技术提取的光谱梯度特征。在高光谱遥感特征分析等数据处理中,利用光谱梯度特征作为附加信息可以提升高光谱处理的性能。Wessman等使用森林光谱的一阶、二阶导数对树冠化学成分进行研究,并确定树冠化学成分与生物量以及导数光谱数据相关最密切的波段组合[5?6]。Demetriades?shah等综述了遥感中高分辨率导数光谱的应用潜力[7]。童庆禧等利用导数光谱分析方法对鄱阳湖湿地进行了生物量填图[8]。Tsai等研究了在高光谱数据分析中应用导数信息探测光谱特征[9]。Chang等提出使用光谱导数来提高光谱识别和鉴定的性能,提出一种称作光谱导数特征编码的方法用于高光谱特征分析[10]。

1组合光谱特征

1.1导数光谱技术

导数光谱(DerivativeSpectrum)技术来源于测谱学,利用相邻波段间的梯度变化特征化高光谱光谱的变化信息,是分析高光谱遥感数据较为常用的一种有效技术和强有力的波形分析手段。采用如下公式分别计算光谱反射率的一阶、二阶和三阶导数:

(1)

(2)

(3)

式中:是波段i的波长值;;;分别是波长处的一阶、二阶、三阶导数;是波长的光谱反射率;是波长到的波段间隔。导数光谱技术具有一系列优越性:

导数光谱技术通过数学模拟反射光谱,计算不同阶数的微分值以便迅速地确定光谱弯曲点及最大最小反射率的波长位置,强调曲线的变化和压缩均值的影响。一般用的较多的是一阶或二阶导数技术。利用不同阶数的导数光谱则可以提取吸收波段的位置信息。对原始光谱反射率求解一阶导数光谱,即光谱曲线的斜率值,可以反映原始光谱曲线的变化速率,正极值处代表的是反射率增速最大的波段,负极值则是反射率减速最大的波段。而在一阶导数的基础上可以进一步计算二阶导数光谱,反映原始光谱曲线的曲率变化,正值代表反射率吸收区域,即“凹形”光谱曲线处,负值代表反射率反射区域,即“凸形”光谱曲线处。

导数光谱技术可以消除光谱数据之间的系统误差、减弱大气辐射、散射和吸收对目标光谱特征的影响,以便提取可识别地物的光谱吸收峰参数;亦可分辨重叠光谱,减缓光谱失真,去除背景噪声或不理想的信息影响,因而可能得到更好的精度。

1.2组合光谱特征

物质的光谱特性是由物质本身包含的原子、分子与电磁波的关系所决定的,因此分析物质的光谱特性曲线是识别物质的有效手段。地物光谱特性研究在高光谱遥感技术及应用的研究发展中占有重要地位。根据地物的光谱特性不同可将地物分成植被、岩矿、土壤、水体和人工地物五大类。在给定目标情况下,根据光谱曲线上各个物体的特点,例如吸收谱、峰值谱及敏感谱等特点,可以用较少的谱段来有效区分并鉴别出各种目标,通常把这样的谱段组合称为目标的光谱特征。

由于组合多种特征作为优化的特征通常可以取得更好的分类性能,而且导数光谱技术虽是高光谱特征分析的有效手段,但是光谱梯度特征通常包含的信息量较少,致使仅仅使用光谱梯度特征的高光谱图像分类性能较差。因此本文提出组合光谱强度特征和导数特征作为组合光谱特征来提升高光谱分类的性能。

计算原始高光谱特性的一阶导数,由于一阶导数光谱曲线上量值为零的点,对应于原反射率光谱曲线上的极值点,由此可得出反射率光谱中极值点波长位置。在此基础上进行二阶微分处理后,可进一步区分原反射率光谱的极大值点与极小值点,即二阶导数大于零的一阶导数光谱过零点为原反射率光谱的极小值点,二阶导数小于零的一阶导数光谱过零点为原反射率光谱的极大值点。因此,利用不同阶数的导数光谱便可以迅速确定原始光谱曲线的吸收谷和反射峰的位置信息和相关特征信息,获得目标的敏感波段信息。而在给定目标的情况下,根据各个物体的吸收谱、峰值谱和敏感谱等特点,便可以用较少的谱段来有效区分、鉴定出各种目标。如此可将原始高光谱遥感特性曲线的敏感波段、一阶导数特征的敏感波段、二阶导数特征的敏感波段组合构成特征波段,有效实现高光谱遥感分类。

然而由于大量的光谱梯度特征附加在原始高光谱遥感数据上,简单的组合这些特征必然加重高光谱遥感的维数灾难,引起过维问题,因此须在分类之前,采用特征提取或特征选择方法降低高光谱数据的维数,提升运算效率,利于后续高光谱分类。

2实验与结果分析

2.1典型地物光谱特征分析

实验说明:绘制典型植被、岩矿、土壤、水体的高光谱特性曲线及其一阶导数和二阶导数曲线,分析各类典型地物高光谱原始数据及一阶、二阶导数的特点。

如图1所示,植被的光谱特征与其他地物迥然不同,有非常鲜明的特点,利用植被的光谱特征可以区分植被与其他地物。观察不同植被的原始及其一阶、二阶导数光谱曲线,可以看出不同植被的光谱曲线虽形态各异,但植被的光谱特征及其一阶和二阶导数均呈现相似性。不同植被的反射率光谱曲线,光谱曲线总是呈现明显的“峰和谷”的特征。植被一阶、二阶导数值虽各不相同,但是一阶导数过零点的位置以及相应位置二阶导数的正负值却惊人的相似,说明原各植被光谱曲线的吸收谷和反射峰位置相近,即这些光谱曲线在0.55μm,1.6μm,2.2μm左右存在反射峰,在0.65μm,1.4μm,1.9μm左右存在吸收谷,0.7~1.3μm范围内反射率值较高,反映了植被的光谱特性的相似性。总之,不同植被之间的光谱变化主要体现在吸收谷、反射峰和反射率平台的强度上的差别,然这些特征的反射峰、吸收谷所在的位置基本没有变化。

不同矿物原始及其各阶导数光谱曲线图说明不同类型的矿物其反射率光谱曲线及其一阶和二阶导数曲线大不相同,吸收谷、反射峰所在位置及特性差别较大,通过主要特征和次要特征不同组合的分析比较,便可得到每类矿物区别于其他矿物的有效参数和无效参数。

不同土壤原始及其各阶导数光谱曲线图表明不同土壤的光谱反射率均随着波长的增加而逐渐升高。二阶导数基本围绕零值上下波动,且波动幅度较小,无明显规律。因此导数光谱技术能消除植被光谱分析中土壤成分的影响,土壤光谱的影响可在很大程度上得以消除,二阶导数便可非常好的消除土壤背景。

不同水体原始及其各阶导数光谱曲线图表明水体的反射率总体上比较低,不超过10%,一般为4%~5%,并随着波长的增大逐渐降低,二阶导数基本为零。

综上所述,通过导数光谱技术,可以快速分析出高光谱特性曲线的反射峰和吸收谷谱带的相关特征,这些特征可作为附加信息与其他特征构成组合光谱特征应用于高光谱检测、分类与识别中。

2.2组合光谱特征的建立

实验说明:采用原始、一阶导数及二阶导数光谱特征的组合光谱特征对斜辉石和天青石进行分类。实验数据来自USGS光谱库。实验结果表明组合光谱特征可有效实现高光谱分类。图2(a),(b)分别为斜辉石的反射率曲线和组合光谱特征,(c),(d)分别为天青石的反射率曲线和组合光谱特征。可见,组合光谱特征差异较大,易于分类。

图2组合光谱特征高光谱分类

3结语

本文研究了光谱一至三阶导数特征,分析了典型植被、岩矿、土壤和水体地物的特性曲线及其一阶和二阶导数的特点与异同。研究表明不同类别地物目标在原始光谱曲线和各阶光谱导数曲线上存在不同敏感波段。进而提出了将原始数据和各阶导数曲线的敏感波段综合起来构成组合光谱特征用于高光谱遥感分类的方法,实验表明综合利用这些特征波段可大大降低对分类器的要求并可提高分类性能。关于多类别组合光谱特征的建立等另文讨论。

参考文献

[1]CHANUSSOTJ,CRAWFORDMM,KUOBC.Forewordtothespecialissueonhyperspectralimageandsignalprocessing[J].IEEETrans.onGeoscienceandRemoteSensing,2010,48(11):3871?3876.

[2]PLAZAA,DUQ,BIOUCAS?DIASJM,etal.Forewordtothespecialissueonspectralunmixingofremotelysenseddata[J].IEEETrans.onGeoscienceandRemoteSensing,2011,49(11):4103?4110.

[3]CAMPS?VALLSG,BENEDIKTSSONJA,BRUZZONEL,etal.Introductiontotheissueonadvancesinremotesensingimageprocessing[J].IEEEJournalofSelectedTopicsinSignalProcessing,2011,5(3):365?369.

[4]JENSENJO,TREWRJ,WOOLARDDL,etal.Editorialspecialissueonenhancementalgorithms,methodologiesandtechnologyforspectralsensing[J].IEEEJournalofSensors,2010,10(3):373?378.

[5]WESSMANCA,ABERJD,PETERSONDL.Anevaluationofimagingspectrometryforestimatingforestcanopychemistry[J].Int.J.ofRemoteSensing,1989,10(8):1293?1316.

[6]WESSMANCA,ABERJD,PETERSONDL,etal.Remotesensingofcanopychemistryandnitrogencyclingin:temperateforestecosystems[J].Nature,1988,335:154?156.

[7]DEMETRIADES?SHAHTH,STEVENMD,CLARKJA.Highresolutionderivativespectrainremotesensing[J].RemoteSensingofEnvironment,1990,33(1):55?64.

[8]童庆禧,郑兰芬,王晋年,等.湿地植被成像光谱遥感研究[J].遥感学报,1997(1):50?57.

[9]TSAIF,PHILPOTWD.Derivativeanalysisofhyperspectraldatafordetectingspectralfeatures[C]//IEEEGeoscienceandRemoteSensing.Singapore:IGARSS,1997:1243?1245.

[10]CHANGCI,CHAKRAVARTYS.Spectralderivativefeaturecodingforhyperspectralsignatureanalysis[J].ProceedingsoftheSPIE,2006,6302:1?12.

[11]TSAIF,PHILPOTWD.Aderivative?aidedhyperspectralimageanalysissystemforland?coverclassification[J].IEEETransactionsonGeoscienceandRemoteSensing,2002,40(2):416?425.

[12]DEMIRB,ERTRUKS.Spectralmagnitudeandspectralderivativefeaturefusionforimprovedclassificationofhyperspectralimages[C]//Proc.ofIEEEGeoscienceandRemoteSensing.Boston,MA:IGARSS,2008,3:1020?1023.

[13]WANGQing?yan,ZHANGJun?ping,CHENJia?wei,etal.Animprovedspectralreflectanceandderivativefeaturefusionforhyperspectralimageclassification[C]//IEEEGeoscienceandRemoteSensingSymposium.Vancouver:IGARSS,2011:1696?1699.