控制与决策

作者：李玉,崔书琳,赵泉华

单位：辽宁工程技术大学 测绘与地理科学学院,辽宁 阜新 123000,,辽宁工程技术大学 测绘与地理科学学院,辽宁 阜新 123000,,辽宁工程技术大学 测绘与地理科学学院,辽宁 阜新 123000,

关键词：Spark平台;单机大数据处理;大尺度遥感图像;RDD优化;图像分割;并行K-means算法

基金：辽宁省自然科学基金项目(2022-M S-400)；辽宁省教育厅重点攻关项目(LJ2020ZD003).

大尺度遥感图像分割对单机处理方式而言是巨大挑战.Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能.当Spark平台内置的K-means算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(RDD)分区一般采用缺省设置,尽管这种RDD设置简单便捷,但对大尺度图像分割任务容易造成“多分区、小数据”现象,极大影响图像分割速度.为此,采用覆盖部分上海市区的WorldView-3遥感图像为测试数据,在K-means算法初始化聚类中心阶段自定义影响RDD分区的参数spark.sql.shuffle.partitions,在迭代计算阶段调用coalesce()算子减少分区数;与串行K-means算法对比验证单机处理大数据的可行性与有效性,与优化前的Spark并行K-means算法对比实现了大尺度遥感图像快速分割.实验结果表明,在K-means算法初始化聚类中心和迭代计算阶段,将RDD分区数设置在CPU核数的1sim10倍,总用时由优化前的145s缩减到97s,尤其在初始化聚类中心阶段的时间效率上,优化后是优化前的500sim1000倍.

来源：2024年第5期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第5期