学术期刊网 > 学术资讯 > 测绘大数据时代数据处理理论面临的挑战与发展

测绘大数据时代数据处理理论面临的挑战与发展

学术期刊网 学术资讯 2021-08-07

以下文章来源于经纬石旁话遥测 ,作者朱建军等 经纬石旁话遥测

武汉大学学报信息科学版编辑部

↑ 点击上方「中国测绘学会」

可快速关注我们

摘要

随着信息技术的发展、测绘大数据和人工智能的兴起,数据缺乏不再是一个问题。可是,现有的测绘数据处理技术一直追求数据的准确性(微观),而大数据研究则恰恰允许数据的混杂性、不确定性(宏观)。

因此,尽管传统测绘数据处理理论在微观数据处理方面积累了大量的技术优势,而大数据的规模性和复杂性使得传统的计算模型和分析算法无法有效地支撑大数据的高效分析处理。

作为开启智能时代“大门钥匙”的数据处理理论与方法,如何适应新技术的挑战与机遇是值得深入思考的问题。在大数据驱动下,大规模的数据挖掘、机器学习和深度学习等新思想和新方法正在蓬勃发展,极大地促进了场景内外多源异质大数据的融合,从而有效地从多种传感器数据中提取地表特征信息,不断提升测绘信息获取和分析能力。因此,测绘数据处理理论也需要同步跟进,现有的数据处理方法也需要进行智能化。

结合智能测绘的前沿热点、发展趋势和存在的挑战,探索数据处理理论扩展的方向,一是希望能够推动测绘数据处理理论的进一步发展,二是希望为有兴趣研究测绘大数据领域的研究生提供学习参考。智能测绘是人工智能与测绘科学技术相融合的新技术,它使测量数据的类型、规模发生了深刻变化,传统的测绘数据处理方法转向了智能数据处理方向,一些新的数据处理方法在测绘数据处理中不断呈现,如基于深度机器学习的方法、人工神经网络方法、智能目标识别算法等。

在实际测绘工程中,位置服务和测绘技术需要测量数据具有准确性,而这些新型的测量数据并不满足这一要求,它通常具有混杂性、不确定性。对于小规模数据,虽然经典的数据处理理论有着丰富的算法,但对于大数据时代的新型数据也无能为力。

在智能测绘中,只能近似或逼近地描述工程实际问题,无法建立精确的数学模型,这是因为模型参数和环境等多种因素的影响,总会出现一些不可忽略、难以估计或预测的不确定性。虽然现有的观测数据丰富,可很难满足独立性和平稳性等经典统计假设。

如何实现某些非结构化和半结构化测绘数据的结构化,如何从大量非规范的数据中提取符合规范的数据,如何对位置大数据的复杂性、不确定性特征进行描述,如何降低位置大数据的异构性并从中获取有用的信息,是测绘大数据时代面临的挑战。

从数据处理研究的角度来说,这些问题可以描述为:一是对于带有不确定性的大数据如何保证参数估计或自适应学习算法的有效性,以及保证大数据中含有多少有效信息量;二是如何建立自适应学习或识别算法与控制算法的理论;三是如何计算由数据驱动的反馈控制机制应对不确定性的最大能力;四是如何调控复杂系统中具有“博弈”行为的对象等。

上述4个问题是数据处理中基本的科学问题,这需要我们研究宏观数据处理层面的新方法、新思维。作为开启智能时代“大门钥匙”的数据处理理论与方法,如何适应人工智能新技术的挑战与机遇,是值得深入思考的问题。

经典参数估计理论必须建立一个准确的数学模型(平差模型)。测绘大数据来源于多种不确定性数据,且混杂许多的错误信息和粗差,其表现为不准确、不精确、不完整以及过时和冗余特征,这些特征对于建立准确的数学模型通常非常困难。

大数据研究中使用的方法主要是数据挖掘和机器学习,其强调的是数据之间的关联性,而对于数据的精确性和数据间的因果联系并不注重,表现为重数据、轻模型。随着大数据与超级计算方法等技术的飞速发展,基于深度神经元网络的机器学习算法得到了迅速发展。

来自各种反馈机制的复杂开放动态系统的学习数据通常不会满足经典统计分析所关注的独立性和平稳性等假设。因此,我们需要利用类似自适应估计的思想,研究和探讨测绘大数据场景下机器学习算法的预测或收敛情况。

测绘大数据的特征以及测量数据处理面临的挑战
测绘大数据时代数据处理理论面临的挑战与发展杂志位列学术资讯
广告位