【论文翻译】Hyperspectral Image Classification with Mixed Link Networks

Author： wzy1999
发布时间：March 6, 2021
1808 views
No comments
5801 words
Categories：论文翻译

# 基于混合链路网络的高光谱图像分类

Zhe Meng , Member, IEEE, Licheng Jiao , Fellow, IEEE, Miaomiao Liang , and Feng Zhao , Member, IEEE
[点击查看原文](https://ieeexplore.ieee.org/document/9335013)
</div>
回复后可下载中文PDF
<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

## Abstract

卷积神经网络（CNN）大大提高了高光谱图像（HSI）分类的准确性。 但是，CNN模型通常会生成大量的特征图，从而导致高度冗余，并且不能保证有效地提取区分特征来很好地表征HSI的复杂结构。本文提出了两种新的混合链路网络(MLNets)，以增强CNNs在HSIs分类中的表示能力。 具体而言，提出的混合链路架构融合了残差网络的特征重用特性和密集卷积网络有效挖掘新特征的能力，并从HSIs中提取了更多的判别特征。 与双路径架构相比，所提出的混合链路架构可以进一步改善网络中的信息流。 在三个高光谱基准数据集上的实验结果表明，与其他最新的HSI分类方法相比，我们的MLNets具有竞争优势。

索引词——卷积神经网络（CNN），深度学习，高光谱图像（HSI）分类，混合链接网络（MLNet）

## Introduction

遥感高光谱图像（HSI）通常包含数百个光谱带，这些光谱带记录了地球表面各种物体的丰富而独特的信息。 因此，HSI已被广泛应用于各种应用中，包括灾难监视[1]，异常检测[2]和精确农业[3]。 近年来，在高光谱领域中，HSI的分类已经引起了人们的极大关注，因为从本质上讲，许多高光谱应用都是分类任务，目的是将HSI的像素分类为有意义的类[4]。

传统的HSI分类算法主要是利用高光谱像素的光谱特征来确定其类别，例如多项逻辑回归[5]，决策树[6]和支持向量机（SVM）[7]。 然而，由于光谱的类内变异性高、类间变异性低，单独利用光谱信息很难对不同目标进行准确识别[8]。 考虑到HSIs中强烈的局部空间一致性，提出了融合空间背景信息的方法，该方法允许联合利用空间和光谱信息来区分每个高光谱像素并进一步提高分类精度[9]。 例如，Li等人[10]提出了一种基于多特征的HSI分类范式，利用局部二值模式（LBP）提取局部空间特征，由Gabor滤波器捕获的全局空间特征和原始光谱特征进行分类。 另外，还研究了多核学习（MKL）[11]，超像素[12]和稀疏表示算法[13]，[14]，将空间上下文信息与光谱特征结合起来，以实现良好的分类精度。 在文献[15]中，系统地回顾了传统的基于谱空间特征的HSI分类方法。 但是，上述方法（例如LBP，超像素和稀疏表示）会从原始数据中提取固定模式特征，这些特征高度依赖于先验知识和适当的参数设置，通常会导致性能不令人满意[16]。

如今，深度学习技术允许以端到端的方式自动提取提取鲁棒性和层次性特征，在许多计算机视觉任务（例如图像分类[17]和目标检测[18]）中取得了重大突破。在遥感领域，Chen等人 [19]首先引入了堆叠式自动编码器（SAEs），用于学习深光谱特征以及用于HSI分类的深空间主导特征。之后，深度学习模型如深度信念网络（DBN）[20]，卷积神经网络（CNN）[21]，递归神经网络（RNN）[22]，[23]和胶囊网络（CapsNet）[24] ，[25]也成功地应用于处理HSI分类。由于CNN模型具有自动发现空间上下文特征的能力，因此在HSI分类中越来越受到研究者的关注[26]-[28]。例如，文献[26]中的工作联合使用了平衡局部判别嵌入算法和CNN进行空间光谱HSI分类。 Pan等人[29]提出了一种多粒度网络（MugNet），该网络充分利用了不同粒度的光谱和空间关系进行HSI分类。在[30] –  [32]中，提出了三维CNN模型，直接从原始高光谱数据中学习空间光谱表示。

最近，通过设计功能更强大的CNN架构，在准确的HSI分类中已经取得了很大进展[33] – [37]。例如，在[33]中，Lee等人引入了残差学习以提高传统CNN模型的学习效率，并采用多尺度卷积滤波器组来开发HSIs的局部空间光谱关系。在[34]中，Song等人建立了非常深的残差网络（ResNets）以学习区分特征，然后采用特征融合机制进一步提高性能。 Paoletti等人[38]提出使用深金字塔ResNet进行HSI分类。在文献[39]中，提出了一种基于密集卷积网络（DenseNet）[40]的HSI分类框架，该框架在网络中引入了密集连接以增强特征传播，同时增强了特征判别能力和分类性能。在文献[41]和[42]中，提出了一些基于DenseNet的改进的深度网络，可以充分利用HSIs的多尺度信息。考虑到ResNets中的快捷连接（也称为残留连接）有助于有效地重用特征，而密集连接对于新特征探索是有效的，Kang等人在文献[43]引入了双路径网络（DPN），该网络继承了ResNet和DenseNet的优点，以从高光谱数据中学习更多区分特征[44]。最近，Wang等人[45]发现并证明ResNet和DenseNet本质上都源自相同的致密拓扑结构，其中每一层都与前面的所有层相连。另外，他们还证明了这两个网络的路径拓扑结构的唯一区别在于连接形式，即ResNet中的添加和DenseNet中的连接。

本文受文献[45]的启发，提出了两种新型的端到端混合链路网络（MLNets）用于HSI分类。在MLNets中，采用混合链路结构将加性链路和级联链路结合起来，获得双方的优势。具体来说，在建议的网络中组装的级联链接可以避免重复学习冗余特征，而专注于一些新的和更有效的特征探索，而加性链接可以实现合理的特征重用，并避免不必要的先前信息丢失，所有这些都有助于模型提取HSIs的区别特征。混合链接改善了整个网络的信息流。此外，通过引入移位加法，在所提出的混合链路结构中对原始特征的修改可以在一定程度上缓解特征冗余。在三个高光谱基准数据集上的实验结果表明，与ResNet，DenseNet和DPN等几种最新的CNN模型相比，本文所提出的模型在HSI分类中可以获得更好的性能。特别是，所提出的MLNets与DPN网络相比需要更少的参数，同时可以获得更好的结果。值得注意的是，在休斯顿大学数据集上，MLNets的参数比DPN的参数少了3.23倍。

本文的其余部分组织如下。第二节简要回顾了DenseNet和ResNet，并揭示了它们都来自相同的密集拓扑结构。第三节介绍了所提出的方法。第四节介绍了在三个基准HSI数据集上进行的实验结果。最后，第五节对本文进行了总结。

## DENSE TOPOLOGY IN BOTH DENSENET AND RESNET

网络体系结构在分类性能中起着至关重要的作用。为了准确地进行HSI分类，工程网络体系结构已经取得了很大的进展[46]-[48]。尤其是，大多数基于深度神经网络的现代HSI分类框架都是基于ResNet或DenseNet构建的，这两种方法在许多计算机视觉任务[18]，[49]中都取得了最先进的性能。

ResNets可以通过顺序堆叠微块（也称为残留块）来构建。对于每个残差块，通过标识快捷方式连接将输入要素逐元素添加到输出要素中，这不仅有助于信息传播，而且还简化了网络的训练[50]。在DenseNet中，密集的连接使每一层都可以接收所有先前层产生的原始信息，并通过有效的新特征探索来获得表征能力。具体来说，将先前层学习到的特征图进行级联并输入到所有后续层中，这将进一步增强信息流[40]。

考虑具有$L$个层的网络，每个层都实现非线性变换$H_l(⋅)$。 $l$指的是层索引，并且$H_l(⋅)$可能是包括卷积（Conv），线性变换，批量归一化（BN）[51]，激活[52]和池化[53]在内的几种运算的复合函数。假设$x_l$是$H_l(⋅)$的即时输出。

图1（左）说明了DenseNet中的连接模式。对于网络的第$l$层，它接收$c_{l-1}$作为输入，这是先前所有输出（即$x_0,x_1,\dots,x_{l-1}$）的拼接结果。在数学上，第$l$层的输出可以表示为

$$
\begin{align*} x_l &= H_l(c_{l-1}) \\ &= H_l(x_0\parallel x_1\parallel \cdots \parallel x_{l-1}) \tag{1} \end{align*}
$$

其中$||$表示连接操作。式（1）清楚地表明DenseNet属于密集拓扑，即网络中的每一层都与所有先前的层相连，并且连接功能是串联的，如图1的右侧所示。

图2（左）显示了ResNet中的连接模式，其中引入快捷连接以绕过每个转换$ H(\cdot)。$让$ r $表示快捷连接后的加法结果，而$ r_ {0} $等于$ x_ {0} $。我们可以将残差学习过程表述为

$$
\begin{equation*} r_l = H_l(r_{l-1})+r_{l-1}. \tag{2} \end{equation*}
$$

请注意，$ H_ {l}(\cdot)$以$ r_ {l-1} $作为输入，其直接输出为$ x_ {l} $，即$ x_ {l} = H_ {l} \left (r_ {l-1} \right)$。考虑到（2）的递归性质，可以将$ x_ {l} $重写为

$$
\begin{align*} x_l &= H_l(r_{l-1}) \\ &=H_l(H_{l-1}(r_{l-2})+r_{l-2}) \\ &=H_l(H_{l-1}(r_{l-2})+H_{l-2}(r_{l-3})+r_{l-3}) \\ &=\cdots \\ &=H_l\left(\sum ^{l-1}_{i=1}H_i(r_{i-1})+r_0\right) \\ &=H_l\left(\sum ^{l-1}_{i=1}x_i+x_0\right) \\ &=H_l(x_0+x_1+\cdots +x_{l-1}). \tag{3} \end{align*}
$$

![Fig. 1. Dense topology in the DenseNet.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng1-3053567-large.gif)

![Fig. 2. Dense topology in the ResNet.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng2-3053567-large.gif)

由（3）式可知，$r_ {l-1}$是先前$l-1$层输出的元素之和，即$r_ {l-1} = x_ {0} + x_ { 1} + \cdots + x_ {l-1}$。（3）式的图形视图如图2的右侧所示，可以看到ResNet也属于密集拓扑。另外，通过比较（1）式和（3）式，我们可以发现DenseNet和ResNett的拓扑结构的唯一区别在于连接形式，即DenseNet中的“$||$”与ResNet中的“$+$”

## METHODOLOGY

DenseNet和ResNet的成功证明了密集拓扑的有效性。然而，ResNet中的附加连接使来自不同层的特征聚集在同一特征空间中，这可能会阻碍整个网络的信息流[40]。对于DenseNet，级联连接允许每一层接收之前所有层的原始特征，这对于探索新特征是有效的，但是不同层可能有相同类型的原始特征，从而导致特征冗余[43]。为了结合加性和级联连接的优点并克服它们的缺点，提出了两种新的基于密集拓扑的MLNets用于HSI分类。

图3示出了所提出的分类方法的流程图。以标记像素为中心的图像块被提取并输入到MLNet，其中一部分用于训练网络，其余部分用于评估训练网络的分类性能。如图3所示，混合链接块（MLB）是我们提出的MLNet的主要部分。在本文中，我们提出了两种不同的MLB，即MLB-A和MLB-B，以便将加性连接和串联连接的优点相结合，将在下面进行详细介绍。

![Fig. 3. Flowchart of the proposed MLNet-based HSI classification method.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng3-3053567-large.gif)

### A. Mixed Link Blocks

图4（a）说明了MLB-A的体系结构。让我们将$X$视为具有$K$个通道的MLB-A的输入。上层附加链接首先将X作为输入，并生成$k(k <K)$个特征映射，被添加到输入$X$的最后$k$个通道中。计算过程可表示为

$$
\begin{equation*} \hat{X} = X + H_{\text{Add}}(X) \tag{4} \end{equation*}
$$

其中$\hat{X}$表示临时学习的特征，$H_{\text {Add}}(\cdot)$为添加链接生成特征映射的函数。至于连接链接，它在过渡学习的特性$\hat{X}$之外附加$k$新特性映射

$$
\begin{align*} Y &= \hat{X}\parallel H_{\text{Concat}}(X) \\ &= (X + H_{\text{Add}}(X))\parallel H_{\text{Concat}}(X) \tag{5} \end{align*}
$$

其中$Y$表示MLB-A的输出，||表示串联操作，$H_{\text {Concat}}(\cdot)$表示串联链接中学习的函数。由于添加链接不会改变特性映射的数量，所以输入$X$和过渡学习特性$\hat{X}$都有$K$个通道，而输出$Y$包含$K+ k$个通道。

![Fig. 4. Architectures of the proposed twomixed link blocks (MLBs). (a)MLBA.(b) MLB-B.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng4-3053567-large.gif)

混合链路体系结构旨在利用加法链路和级联链路的优点。基于此动机，提出了一种名为MLB-B的替代体系结构，其在加性链接之前执行了级联链接，如图4（b）所示。具体来说，串联链接首先将$X$作为输入并生成$k$个特征映射，这些特征映射将附加在输入$X$的外部。计算过程可以表示为

$$
\begin{equation*} \hat{X} = X\parallel H_{\text{Concat}}(X). \tag{6} \end{equation*}
$$

然后，将由附加链接生成的特征映射添加到临时学习特征$\hat{X}$的最后$k$个通道中

$$
\begin{align*} Y &= \hat{X} + H_{\text{Add}}(X) \\ &= X\parallel H_{\text{Concat}}(X) + H_{\text{Add}}(X). \tag{7} \end{align*}
$$

因此，在MLB-B中，临时特征$\hat{X}$和输出$Y$的通道数为$K+ K$。

请注意，尽管可以选择很多加法位置，但是由于无法直接推导其位置，因此目前无法使用学习变量定位。因此，我们做出了妥协，在MLB-A中，我们选择将加法部分的位置与整个特征嵌入的增长边界对齐，如图4（a）所示。在MLB-B中，加法部分的位置与由级联链路引起的新添加的通道对齐，如图4（b）所示。

另外，如图4所示，为提高[50]和[40]中的计算效率，$ H_ {Add（⋅）} $和$ H_ {Concat（⋅）} $是通过瓶颈复合层实现的，即BN-ReLU-Conv（1×1）- BN-ReLU-Conv（3×3）。在我们的实验中，由1×1和3×3转换层生成的特征图的数量分别为$ 4k $和$ k $，其中k = 36。

在MLB-A中，输入$X$和输出$Y$之间只有$K-k$个通道保持不变。$Y$中的其余通道将被修改或具有新的特征，如图4（a）所示。对于MLB-B，具有$K$个通道的输入$X$保持不变，导致将更多数量的未修改特征传递到后续层，如图4（b）所示。因此，与MLB-A相比，MLB-B具有更高的特征冗余。但是，在MLB-B中，由于即将到来的附加链接，级联链路所产生的功能也会进行更新，这有助于学习更复杂的功能。因此，与MLB-A相比，MLB-B在特征探索方面表现更好。总体而言，我们提出的架构中的两种集成方式均显示出它们的优势。这在我们后续的实验中得到了进一步的证实。

考虑到在ResNet和DPN中，过多的特征在相同的特征空间上通过添加的方式合并在一起（在本文中称为固定加法），这可能会阻碍信息流[40]，[43]。如图5（a）所示，对于残差架构，所有提取的特征通过加法合并在一起。对于DPN中的双路径架构[图5（b）]，将附加特征（用紫色表示）合并在相同的固定空间上。但是，对于所提出的混合链接架构，在随后的特征空间中沿着多个MLB移动附加位置（由红色表示）可以缓解该问题，如图6所示。

![Fig. 5. Illustration of the fixed additions in the (a) residual architecture 50 and (b) dual path architecture 43.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng5-3053567-large.gif)

![Fig. 6. Illustration of the shifted additions in the proposed two mixed link architectures.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng6-3053567-large.gif)

### B. MLNets for HSI Classification

基于MLB，本文设计了两个网络，包括MLNet-A和MLNet-B。例如，通过堆叠几个MLB-A来构造MLNet-A。图3为所提出的基于MLNet的HSI分类框架。以印度松树场景为例，该网络旨在将每个高光谱像元划分为特定的土地覆盖类别。可以看出，它将以每个像素为中心的图像块作为输入。这样，对于每个高光谱像素，除了其自身独特的光谱特征外，还可以同时考虑相邻像素的光谱信息和空间上下文信息，这减少了类内变异性和标签不确定性[38]。首先将提取的图像块馈送到3×3的Conv层，以学习初始光谱空间特征。初始Conv层的输出特征映射的数量设置为$2k$。然后，通过三个MLB对获得的特征进行进一步处理。最后，利用全局平均池（GAP）[54]层将提取的光谱空间特征（具有$5k$个通道）转换为一维矢量以进行分类。具体来说，我们采用一个全连接（FC）层，再加上softmax函数来预测每个类别的条件概率，概率最大的类别就是预测结果。

## EXPERIMENTS

### A. Hyperspectral Datasets

实验中使用了三个著名的高光谱基准数据集：Indian Pines，University of Pavia和University of Houston。采用[55]推荐的标准训练集和测试集。表I–III总结了这三个数据集的训练样本和测试样本的数量。

![TABLE I Number of Training and Test Samples on the Indian Pines Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t1-3053567-large.gif)

![TABLE II Number of Training and Test Samples on the University of Pavia Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t2-3053567-large.gif)

![TABLE III Number of Training and Test Samples on the University of Houston Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t3-3053567-large.gif)

印度松树（Indian Pines）数据集是通过AVIRIS仪器在印第安纳州西北部捕获的，其空间分辨率为每像素20 m(mpp)。在丢弃了20个因吸水而损坏的波段和4个零波段之后，它包括145×145像素和200个光谱带，覆盖了从400到2450 nm的范围。该场景包含16个感兴趣的类别。印度松树的假彩色合成图像、训练图和测试图如图7所示。

![Fig. 7. Indian Pines dataset. Top (left to right): False color composite image, the training map, and the test map. Bottom: The legend.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng7-3053567-large.gif)

帕维亚大学（University of Pavia）数据集由ROSIS参议员收集，位于意大利帕维亚市上空，空间分辨率为1.3 mpp。它由640×340像素和103个光谱带组成，覆盖了12个噪声带，覆盖了430至860 nm的范围。该场景有9个参考类。University of Pavia的假彩色合成图像、训练图和测试图如图8所示。

![Fig. 8. University of Pavia dataset. From left to right: False color composite image, the training map, the test map, and the legend.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng8-3053567-large.gif)

休斯敦大学数据集是由CASI传感器在休斯敦大学和周边地区的校园内收集的。它包括349×1905像素和144个光谱带，覆盖380至1050 nm的范围。空间分辨率为2.5 mpp。该数据集包含15个类。University of Houston的假彩色合成图像，训练图和测试图如图9所示。

![Fig. 9. University of Houston dataset. From top to bottom: False color composite image, the training map, the test map, and the legend.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng9-3053567-large.gif)

### B. Experimental Setup

我们将批次大小和训练时期都设置为100，然后选择Adam算法[56]来优化所提出的网络。初始学习率和权重衰减惩罚分别设置为0.001和0.0001。另外，采用了余弦形状学习速率表，从0.001开始逐渐减小到0。使用Pytorch框架设计并实现了所提出的网络。请注意，在输入网络之前，将输入的HSI数据标准化为零均值和单位方差。所有实验均在配备AMD Ryzen 7 2700X CPU和单个NVIDIA GeForce RTX 2080的图形处理单元（GPU）的个人计算机上进行。

为了评估分类性能，使用了总体准确性（OA），平均准确性（AA）和Kappa系数（$\kappa$）。将所有实验重复五次，并报告平均分类精度。

### C. Classification Results

为了验证我们的MLNet-A和MLNet-B在HSI分类中的有效性，将提出的模型与两种不同的方法进行了比较：1）三种经典方法，包括SVM [7]，扩展形态学特征（EMP）[9]和3-D离散小波变换（3DDWT）[57]；2）八种基于深度学习的方法，包括3-D CNN [31]，混合谱卷积神经网络（HybridSN）[58]，全卷积层融合网络（FCLFN）[59]，DenseNet [39]，深金字塔ResNet （pResNet）[38]，MixNet [45]，DPN [44]和基于空间光谱的挤压和激励ResNet（SSSERN）[60]。

SVM是使用径向基函数（RBF）作为内核的光谱分类器。对于EMP和3DDWT方法，它们用于从HSI提取空间特征。提取的特征与原始光谱特征串联在一起，并馈入SVM分类器以进行光谱空间分类。 3-D CNN使用3-D卷积从HSI同时提取光谱和空间信息，而无需依赖任何预处理。 HybridSN是3D和2D混合模型，与单独的3D CNN相比，它降低了模型的复杂性。 FCLFN融合了CNN中所有Conv层提取的光谱空间特征，用于HSI分类。 DenseNet引入了层之间的级联链接，其中每一层都以前馈方式与其他每一层连接。 pResNet是一种改进的ResNet，它在纯CNN中引入了附加链接，并逐渐增加了所有Conv图层上的特征图尺寸。 MixNet包含三个阶段，每个阶段均由大量与MLB-A具有相似架构的模块组成。 DPN还结合了用于HSI分类的附加链接和串联链接的优点。但是，在DPN中，附加要素会在相同的固定空间上合并在一起，这可能会阻碍信息流。 SSSERN使用空间光谱压缩和激励模块来自适应地优化残差块学习到的特征，从而提取HSIs的更多判别特征。

对于所有基于CNN的比较方法，都是根据相应的参考文献设置网络体系结构的。考虑到输入HSI补丁的空间大小对分类性能有很大影响，为了公平起见，当比较不同的基于CNN的方法时，我们将输入补丁大小固定为$11×11$，如[38]，[39] ，[60]。

表IV和图10给出了Indian Pines数据集上不同方法的数值和视觉结果。表I总结了用于该实验的训练样本和测试样本的数量。如表IV所示，提议的MLNet-A和MLNet-B的OA，AA和κ值高于其他比较方法。具体来说，我们的MLNet-A能够达到最佳的OA（97.27％），AA（98.38％）和$\kappa$（0.9687）值。 MLNet-B实现了非常相似的值，因为其OA，AA和$\kappa$分别仅比MLNet-A低0.07％，0.06％和0.0008。此外，与其他方法相比，通过所提出的MLNet-A获得的OA分数增加了22.91％（SVM），9.15％（EMP），8.54％（3DDWT），5.73％（3-D CNN），6.31％ （HybridSN），3.67％（FCLFN），3.44％（DenseNet），2.64％（pResNet），2.82％（MixNet），0.87％（DPN）和0.75％（SSSERN）。 AA分数的提升分别为15.07％（SVM），5.17％（EMP），4.99％（3DDWT），2.55％（3D CNN），2.96％（HybridSN），1.63％（FCLFN），1.15％（DenseNet），1.14 ％（pResNet），1.13％（MixNet），0.38％（DPN）和0.36％（SSSERN）。 $\kappa$值的改进为0.2582（SVM），0.1040（EMP），0.0972（3DDWT），0.0653（3-D CNN），0.0717（HybridSN），0.0420（FCLFN），0.0392（DenseNet），0.0301（pResNet），0.0323 （MixNet），0.0100（DPN）和0.0087（SSSERN）。另外，从图10可以看出，我们的模型获得的分类图接近于地面真相图。这些令人鼓舞的结果证明了针对Indian Pines数据集的拟议模型的有效性。

![TABLE IV Classification Accuracies of Different Approaches on the Indian Pines Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t4-3053567-large.gif)

![Fig. 10. Classification maps for the Indian Pines dataset.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng10-3053567-large.gif)

表V和图11展示了帕维亚大学数据集上不同方法的数值和视觉结果。表II总结了用于该实验的训练样本和测试样本的数量。从表V的观察中，我们可以很容易地发现，所提出的MLNet-B和MLNet-A在OA，AA和κ评分方面均达到了最佳和次佳的效果。与其他方法相比，拟议的MLNet-B获得的OA值改进为17.34％（SVM），16.25％（EMP），7.68％（3DDWT），15.68％（3-D CNN），10.32％（HybridSN） ，4.34％（FCLFN），4.52％（DenseNet），4.06％（pResNet），4.61％（MixNet），4.99％（DPN）和1.74％（SSSERN）。 AA值的提升分别为7.48％（SVM），8.73％（EMP），4.36％（3DDWT），8.76％（3-D CNN），4.89％（HybridSN），4.98％（FCLFN），6.13％（DenseNet） ，5.74％（pResNet），6.19％（MixNet），5.32％（DPN）和0.64％（SSSERN）。 $\kappa$值的增加是0.2149（SVM），0.2049（EMP），0.0998（3DDWT），0.1964（3D CNN），0.1312（HybridSN），0.0598（FCLFN），0.0631（DenseNet），0.0562（pResNet），0.0643（MixNet） ），0.0693（DPN）和0.0227（SSSERN）。此外，如图11所示，我们的MLNet-A和MLNet-B减少了误分类的像素并提供了更清晰的分类图（特别是与3-D CNN和HybridSN相比）。这些结果表明，MLNet-A和MLNet-B模型对于帕维亚大学数据集有效。

![TABLE V Classification Accuracies of Different Approaches on the University of Pavia Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t5-3053567-large.gif)

![Fig. 11. Classification maps for the University of Pavia dataset.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng11-3053567-large.gif)

表VI和图12显示了University of Houston数据集上不同方法的数值和视觉结果。表III总结了用于该实验的训练和测试样品的数量。如表VI所示，我们的MLNet-A从总体上实现了最佳性能。 OA，AA和κ分数分别为86.65％，88.65％和0.8556。对于MLNet-B，OA，AA和$\kappa$的值分别高达86.43％，88.54％和0.8532，这表明MLB-B的体系结构还可以捕获判别特征。此外，与其他方法相比，通过MLNet-A获得的OA分数增加了5.24％（SVM），4.32％（EMP），3.38％（3DDWT），3.50％（3D CNN），0.26％（HybridSN） ，2.95％（FCLFN），4.28％（DenseNet），4.18％（pResNet），4.10％（MixNet），1.95％（DPN）和1.24％（SSSERN）。 AA分数的提高分别为4.67％（SVM），3.90％（EMP），2.33％（3DDWT），3.39％（3-D CNN），0.05％（HybridSN），3.10％（FCLFN），4.66％（DenseNet） ，5.28％（pResNet），5.00％（MixNet），1.88％（DPN）和1.05％（SSSERN）。 $\kappa$值的增强为0.0563（SVM），0.0465（EMP），0.0371（3DDWT），0.0382（3-D CNN），0.0032（HybridSN），0.0316（FCLFN），0.0461（DenseNet），0.0452（pResNet），0.0443 （MixNet），0.0208（DPN）和0.0131（SSSERN）。另外，从图12可以看出，提出的MLNet-A和MLNet-B可以很好地预测大多数类别。例如，所提出的模型显示出“铁路”类别的更好的连通性，这与表VI中的数值结果一致。具体来说，对于“铁路”类别（11类），所有比较中的最高性能为84.76％（SSSERN）。但是，我们的MLNet-A和MLNet-B可以分别达到97.95％和96.53％的性能。这些积极的结果表明，提出的MLNets对University of Houston数据集也有效。

![TABLE VI Classification Accuracies of Different Approaches on the University of Houston Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t6-3053567-large.gif)

![Fig. 12. Classification maps for the University of Houston dataset.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng12-3053567-large.gif)

表VII提供了不同网络的参数总数。从表VII可以很容易地看出，建议的MLNet中的参数数量明显少于DenseNet，pResNet和MixNet中的参数数量。此外，MLNets的性能优于DPN，而在Indian Pines，University of Pavia和University of Houston的数据集上，参数分别减少了1.35倍，2.17倍和3.23倍。尽管我们的MLNet比SSSERN包含更多的参数，但是它们能够实现更好的分类性能。

![TABLE VII Number of Parameters of Different Networks](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t7-3053567-large.gif)

从表IV-VI中可以看出，HybridSN，FCCLN和DPN方法产生的分类精度不尽人意。主要原因是这些网络需要较大的输入HSI补丁来进行空间特征提取。接下来，我们进一步将提出的MLNet-A和MLNet-B与这三种方法进行比较。请注意，在本实验中将使用相应参考文献中报告的最佳结果进行比较。表VIII报告了HybridSN，FCCLN，MLNet-A和MLNet-B在Indian Pines数据集上获得的分类精度。继HybridSN [58]和FCLFN [59]之后，将10％的可用标记像素（按类别随机选择）用作训练样本。表IX说明了DPN，MLNet-A和MLNet-B在休斯顿大学数据集上获得的结果。根据DPN [44]，从每个类别中随机选择各种数量的标记样本（即30、40和50）作为训练样本。从表VIII中可以看出，所提出的MLNets比HybridSN和FCLFN具有更好的性能。具体而言，拟议的MLNet-B达到的OA比HybridSN高0.66％个百分点，比FCLFN高0.49个百分点。另外，从表IX中可以看出，当使用不同数量的训练样本时，我们的MLNet-A在OA，AA和κ值方面始终优于DPN。这些比较结果再次证明了我们的MLNets的有效性。

![TABLE VIII Classification Results of the FCLFN, HybridSN, and the Proposed MLNet-A and MLNet-B on the Indian Pines Dataset When Using 10% of the Labeled Pixels as Training Samples](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t8-3053567-large.gif)

![TABLE IX Classification Results of the DPN and the Proposed MLNet-A and MLNet-B on the University of Houston Dataset When Using Different Number of Training Samples per Class](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t9-3053567-large.gif)

综上所述，MLNet-A和MLNet-B可以在三个真实的HSI数据集上获得类似的优越性能，表明所提出的两种混合链接体系结构对HSI分类的有效性。

### D. Comparison With Other Popular Building Blocks

现代深度神经网络利用模块化设计来降低神经体系结构的复杂性。通常将图层分组为块，例如ResNet中的剩余块。在本节中，将提议的MLB-A和MLB-B与三个流行的构建块进行比较，包括残差块，密集块和双路径块。该实验是在Indian Pines数据集上实现的。具体来说，我们将块数设置为3，并根据不同的构建块构建网络。为了公平比较，不同网络的参数数量大致相同。结果显示在表X中。我们发现基于MLB-A和MLB-B的网络可以实现更好的性能。

![TABLE X Classification Results of Networks With Different Building Blocks on the Indian Pines Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t10-3053567-large.gif)

### E. Effect of Proportion of Training Data

图13总结了所提出的MLNet-A和MLNet-B的OA，其中有Indian Pines和University of Pavia数据集上不同百分比的训练数据。具体来说，每个类别随机选择1％，3％，5％，10％，15％和20％的样本进行训练。然后，其余样本用于测试。这里，以DPN和SSSERN模型作为参考，在先前的实验中表现良好。

![](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng13-3053567-large.gif)

可以看出，随着训练样本比例的增加，所有方法的性能都有所提高。特别是当训练百分比从1%增加到10%时，不同方法的OAs显著增加。从图13中还可以看出，MLNet-A和MLNet-B在大多数情况下优于其他两种比较方法，特别是在训练集非常小的情况下。例如，MLNet-A和MLNet-B在每类训练样本中仅占1%的情况下，在两个数据集上分别取得了最好和第二好的性能。这些结果证明了该方法在HSI分类中的优异性能。

### F. Effect of Shifted Additions

在本节中，我们在Indian Pines、University of Pavia和University of Houston的数据集上分析了提出的MLNet-A和MLNet-B中移位添加的有效性。为了进一步比较，我们构造了一个具有固定加性位置的MLNet(用MLNet- f表示)。对于MLNet-F，通过加性链接学习到的特征总是添加到输入的前k个通道中。因此，附加特征总是在固定的空间内合并，这可能会阻碍信息的流动。为了保证公平的比较，我们让不同的网络包含相同数量的参数。这三个网络之间唯一的区别在于相加位置。表11显示了实验结果，我们可以很容易地发现移位加法对分类任务有积极的贡献，证明了所提出的混合链接架构的有效性。

![TABLE XI OA (%) and the Number of Parameters of the MLNet With and Without Shifted Additions](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t11-3053567-large.gif)

### G. Effect of Parameter $k$

在本节中，我们使用三个数据集对参数k进行分析。参数k控制每个链路生成的特征图的数量，这决定了提议的MLNets的表示能力。图14显示了在不同$k=\{12,24,36,48\}$条件下，MLNet-A和MLNet-B在三个数据集上的OAs。可以看出，$k=36$的MLNet-A在Indian Pines和University of Houston数据集上表现最好。对于University of Pavia数据集，参数k的最佳选择是24，略优于36。对于MLNet-B，当参数k设置为36时，三个数据集的曲线均达到最佳OA值。为了保持模型的一致性和通用性，我们选择36作为参数k的默认设置。

![Fig. 14. OAs obtained by the proposed (a) MLNet-A and (b) MLNet-B with different k settings over the three hyperspectral datasets.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng14-3053567-large.gif)

### H. Visualization of Features Extracted by Different Networks

为了更直接地比较特征学习的有效性，我们从每个网络中随机选择16个特征图，这些特征图都是从GAP之前的最终判别特征中提取出来的，并在图15中可视化了它们的分布。在图15中，我们可以看到由于输入HSI块，DenseNet和MixNet学习到的特征映射比较粗糙，局部精细的空间信息丢失。此外，与pResNet和DPN相比，可以看到，本文提出的MLNet-A和MLNet-B的特征图具有更精细的局部表示和空间位置，这有助于识别面积更小的目标。

![Fig. 15. Feature maps extracted by different networks on ametal sheet sample.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng15-3053567-large.gif)

### I. Effect of the Number of MLBs

从图3中可以看到，所提出的MLNet主要是通过堆叠几个MLB来构造的。 MLB的数量决定了网络深度，这对所提出模型的代表容量具有重要影响。增加MLB的数量通常可以提高分类性能，但是网络中更多的MLB可能会遭受过度拟合的困扰。

表XII总结了在三个数据集中具有不同数量的MLB的拟议MLNet-A和MLNet-B的OA。该实验是使用标准训练和测试集进行的，训练和测试样本的数量如表I–III所示。可以看出，Indian Pines，University of Pavia和University of Houston数据集的MLB数量的最佳选择分别是3、2和1。

![TABLE XII OA (%) Obtained by the Proposed MLNet-A and MLNet-B With Different Number of MLBs](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t12-3053567-large.gif)

为了找到所有数据集的MLB数量的次优值，我们进一步进行了广泛的实验。具体来说，我们将不同数量的MLB与不同数量的训练数据进行分类准确性（以OA表示）进行比较。对于Indian Pines数据集，训练数据的百分比在集合$\{10％,20％,30％\}$中变化。对于University of Pavia和University of Houston数据集，训练数据的百分比在集合$\{1％,2％,3％\}$中有所不同。 MLB的数量在集合$\{1,2,3,4,5,6\}$中有所不同。表XIII和XIV中报告了通过提议的MLNet-A和MLNet-B获得的相应OA。可以看出，当MLB的数量大于2时，建议的MLNet-A和MLNet-B能够为所有数据集实现相对稳定的高精度。考虑到更大数量的MLB将导致更高的计算成本，建议在更一般的情况下将MLB的数量设置为3。

![TABLE XIII OA (%) Obtained by the Proposed MLNet-A With Different Number of MLBs When Using Different Percentages of Training Samples](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t13-3053567-large.gif)

![TABLE XIV OA (%) Obtained by the Proposed MLNet-B With Different Number of MLBs When Using Different Percentages of Training Samples](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t14-3053567-large.gif)

### J. Effect of the Size of Input HSI Patch

如第三节所述，选择以每个像素为中心的图像块作为拟议MLNet的输入。在本节中，将对这三个数据集研究具有不同补丁大小的MLNet。表XV报告了当补丁大小从5×5到13×13变化时，所提议的MLNet-A和MLNet-B的OA。如表XV所示，对于每个数据集，OA值首先会随着色块大小的增加而上升。这是合理的，因为具有较大尺寸的输入色块允许将更多的空间和光谱信息用于特征提取。但是，太大的补丁大小也会导致性能下降，尤其是对于Indian Pines数据集而言。其背后的原因是，大尺寸的HSI补丁中可能包含来自不同类别的多种材料，这会损害分类任务。

![TABLE XV OA (%) Obtained by the Proposed MLNet-A and MLNet-B With Different Patch Sizes](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t15-3053567-large.gif)

## Conclusion

本文提出的MLNets结合了加性链接和级联链接，实现了有效的特征重用和新特征探索，不仅减少了冗余特征的再学习，而且有助于提取信息丰富的空间光谱特征。此外，通过移位的添加，提出的混合连接进一步增强了网络中各层之间的信息流动。为了验证所提出的MLNets的性能，在三个高光谱基准数据集上进行了实验。实验结果表明，所提出的MLNets优于几种最先进的方法，如DenseNet, ResNet和DPN。

在未来的工作中，我们将进行进一步的研究，并尝试通过整合注意力机制来弄清每个链接的重要性，这可能有助于从HSIs中提取更多的鉴别特征。

## Acknowledgment

作者要感谢匿名审稿人对本文的有益评论和建设性建议。

## REFERENCES

[1] S. Veraverbeke et al., “Hyperspectral remote sensing of fire: State-of-theart and future perspectives,” Remote Sens. Environ., vol. 216, pp. 105–121, Oct. 2018.
[2] J. Lei, W. Xie, J. Yang, Y. Li, and C.-I. Chang, “Spectral-spatial feature extraction for hyperspectral anomaly detection,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 10, pp. 8131–8143, Oct. 2019.
[3] S. W. Shivers, D. A. Roberts, and J. P. McFadden, “Using paired thermal and hyperspectral aerial imagery to quantify land surface temperature variability and assess crop stress within California orchards,” Remote Sens.
Environ., vol. 222, pp. 215–231, Mar. 2019.
[4] P. Ghamisi, J. Plaza, Y. Chen, J. Li, and A. J. Plaza, “Advanced spectral classifiers for hyperspectral images:Areview,” IEEE Geosci. Remote Sens. Mag., vol. 5, no. 1, pp. 8–32, Mar. 2017.
[5] J. Li, J. M. Bioucas-Dias, and A. Plaza, “Semisupervised hyperspectral image classification using soft sparse multinomial logistic regression,” IEEE Geosci. Remote Sens. Lett., vol. 10, no. 2, pp. 318–322, Mar. 2012.
[6] S. Delalieux, B. Somers, B. Haest, T. Spanhove, J. V. Borre, and C. Möcher, “Heathland conservation status mapping through integration of hyperspectral mixture analysis and decision tree classifiers,” Remote Sens. Environ., vol. 126, pp. 222–231, Nov. 2012.
[7] F.Melgani and L. Bruzzone, “Classification of hyperspectral remote sensing images with support vector machines,” IEEE Trans. Geosci. Remote Sens., vol. 42, no. 8, pp. 1778–1790, Aug. 2004.
[8] J. M. Bioucas-Dias, A. Plaza, G. Camps-Valls, P. Scheunders, N. Nasrabadi, and J. Chanussot, “Hyperspectral remote sensing data analysis and future challenges,” IEEE Geosci. Remote Sens. Mag., vol. 1, no. 2, pp. 6–36, Jun. 2013.
[9] J. A. Benediktsson, J. A. Palmason, and J. R. Sveinsson, “Classification of hyperspectral data from urban areas based on extended morphological profiles,” IEEE Trans. Geosci. Remote Sens., vol. 43, no. 3, pp. 480–491, Mar. 2005.
[10] W. Li, C. Chen, H. Su, and Q. Du, “Local binary patterns and extreme learning machine for hyperspectral imagery classification,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 7, pp. 3681–3693, Jul. 2015.
[11] Y. Gu, J. Chanussot, X. Jia, and J. A. Benediktsson, “Multiple kernel learning for hyperspectral image classification: A review,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 11, pp. 6547–6565, Nov. 2017.
[12] T. Lu, S. Li, L. Fang, X. Jia, and J. A. Benediktsson, “From subpixel to superpixel: A novel fusion framework for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 8, pp. 4398–4411, Aug. 2017.
[13] Y. Chen, N. M. Nasrabadi, and T. D. Tran, “Hyperspectral image classification using dictionary-based sparse representation,” IEEE Trans. Geosci. Remote Sens., vol. 49, no. 10, pp. 3973–3985, Oct. 2011.
[14] Q. Gao, S. Lim, and X. Jia, “Spectral-spatial hyperspectral image classification using a multiscale conservative smoothing scheme and adaptive sparse representation,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 10, pp. 7718–7730, Oct. 2019.
[15] L. He, J. Li, C. Liu, and S. Li, “Recent advances on spectral-spatial hyperspectral image classification: An overview and new guidelines,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 3, pp. 1579–1597, Mar. 2018.
[16] X. Cao, F. Zhou, L. Xu, D. Meng, Z. Xu, and J. Paisley, “Hyperspectral image classificationwith Markov random fields and a convolutional neural network,” IEEE Trans. Image Process., vol. 27, no. 5, pp. 2354–2367, May 2018.
[17] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Proc. Adv. Neural Inf. Process. Syst., Dec. 2012, pp. 1097–1105.
[18] Z.-Q. Zhao, P. Zheng, S.-t. Xu, and X. Wu, “Object detection with deep learning:Areview,” IEEE Trans.NeuralNetw. Learn. Syst., vol. 30, no. 11, pp. 3212–3232, Nov. 2019.
[19] Y. Chen, Z. Lin, X. Zhao, G. Wang, and Y. Gu, “Deep learning-based classification of hyperspectral data,” IEEE J. Sel. Top. Appl. Earth Observ. Remote Sens., vol. 7, no. 6, pp. 2094–2107, Jun. 2014.
[20] P. Zhong, Z. Gong, S. Li, and C.-B. Schönlieb, “Learning to diversify deep belief networks for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 6, pp. 3516–3530, Jun. 2017.
[21] L. Jiao,M. Liang, H. Chen, S. Yang, H. Liu, and X. Cao, “Deep fully convolutional network-based spatial distribution prediction for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 10, pp. 5585–5599, Oct. 2017.
[22] L. Mou, P. Ghamisi, and X. X. Zhu, “Deep recurrent neural networks for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 55, no. 7, pp. 3639–3655, Jul. 2017.
[23] W. Qi, X. Zhang, N. Wang, M. Zhang, and Y. Cen, “A spectral-spatial cascaded 3D convolutional neural networkwith a convolutional long shortterm memory network for hyperspectral image classification,” Remote Sens., vol. 11, no. 20, Oct. 2019, Art. no. 2363.
[24] M. E. Paoletti et al., “Capsule networks for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 4, pp. 2145–2160, Apr. 2018.
[25] K. Zhu, Y. Chen, P. Ghamisi, X. Jia, and J. A. Benediktsson, “Deep convolutional capsule network for hyperspectral image spectral and spectralspatial classification,” Remote Sens., vol. 11, no. 3, Jan. 2019, Art. no. 223.
[26] W. Zhao and S. Du, “Spectral–spatial feature extraction for hyperspectral image classification: A dimension reduction and deep learning approach,” IEEE Trans. Geosci. Remote Sens., vol. 54, no. 8, pp. 4544–4554, Aug. 2016.
[27] M. Zhang, W. Li, and Q. Du, “Diverse region-based CNN for hyperspectral image classification,” IEEE Trans. Image Process., vol. 27, no. 6, pp. 2623–2634, Jun. 2018.
[28] Q. Gao and S. Lim, “Classification of hyperspectral images with convolutional neural networks and probabilistic relaxation,” Comput. Vis. Image Underst., vol. 188, Nov. 2019, Art. no. 102801.
[29] B. Pan, Z. Shi, andX.Xu, “MugNet: Deep learning for hyperspectral image classification using limited samples,” ISPRS J. Photogramm. Remote Sens., vol. 145, pp. 108–119, Nov. 2018.
[30] Y. Chen, H. Jiang, C. Li, X. Jia, and P. Ghamisi, “Deep feature extraction and classification of hyperspectral images based on convolutional neural networks,” IEEE Trans. Geosci. Remote Sens., vol. 54, no. 10, pp. 6232–6251, Oct. 2016.
[31] Y. Li, H. Zhang, and Q. Shen, “Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network,” Remote Sens., vol. 9, no. 1, Jan. 2017, Art. no. 67.
[32] Z. Zhong, J. Li, Z. Luo, and M. Chapman, “Spectral-spatial residual network for hyperspectral image classification:A3-D deep learning framework,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 2, pp. 847–858, Feb. 2018.
[33] H. Lee and H. Kwon, “Going deeper with contextual CNN for hyperspectral image classification,” IEEE Trans. Image Process., vol. 26, no. 10, pp. 4843–4855, Oct. 2017.
[34] W. Song, S. Li, L. Fang, and T. Lu, “Hyperspectral image classification with deep feature fusion network,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 6, pp. 3173–3184, Jun. 2018.
[35] X. Ma,A. Fu, J.Wang, H.Wang, andB.Yin, “Hyperspectral image classification based on deep deconvolution network with skip architecture,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 8, pp. 4781–4791, Aug. 2018.
[36] N. Audebert, B. Le Saux, and S. Lefévre, “Deep learning for classification of hyperspectral data: A comparative review,” IEEE Geosci. Remote Sens. Mag., vol. 7, no. 2, pp. 159–173, Jun. 2019.
[37] Z. Gong, P. Zhong, Y. Yu, W. Hu, and S. Li, “A CNN with multiscale convolution and diversified metric for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 6, pp. 3599–3618, Jun. 2019.
[38] M. E. Paoletti, J. M. Haut,R. Fernandez-Beltran, J. Plaza, A. J. Plaza, and F. Pla, “Deep pyramidal residual networks for spectral-spatial hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 2, pp. 740–754, Feb. 2019.
[39] M. Paoletti, J. Haut, J. Plaza, and A. Plaza, “Deep&dense convolutional neural network for hyperspectral image classification,” Remote Sens., vol. 10, no. 9, Sep. 2018, Art. no. 1454.
[40] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely connected convolutional networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jul. 2017, pp. 4700–4708.
[41] Z. Meng, L. Li, L. Jiao, Z. Feng, X. Tang, and M. Liang, “Fully dense multiscale fusion network for hyperspectral image classification,” Remote Sens., vol. 11, no. 22, Nov. 2019, Art. no. 2718.
[42] C. Zhang, G. Li, and S. Du, “Multi-scale dense networks for hyperspectral remote sensing image classification,” IEEE Trans. Geosci. Remote Sens., vol. 57, no. 11, pp. 9201–9222, Nov. 2019.
[43] Y. Chen, J. Li, H. Xiao, X. Jin, S. Yan, and J. Feng, “Dual path networks,” in Proc. Adv. Neural Inf. Process. Syst., Dec. 2017, pp. 4467–4475.
[44] X. Kang, B. Zhuo, and P. Duan, “Dual-path network-based hyperspectral image classification,” IEEE Geosci. Remote Sens. Lett., vol. 16, no. 3, pp. 447–451, Mar. 2018.
[45] W. Wang, X. Li, J. Yang, and T. Lu, “Mixed link networks,” in Proc. Int. Joint Conf. Artif. Intell., Jul. 2018, pp. 2819–2825.
[46] W. Wang, S. Dou, Z. Jiang, and L. Sun, “A fast dense spectral-spatial convolution network framework for hyperspectral images classification,” Remote Sens., vol. 10, no. 7, Jul. 2018, Art. no. 1068.
[47] Z. Meng, L. Li, X. Tang, Z. Feng, L. Jiao, and M. Liang, “Multipath residual network for spectral-spatial hyperspectral image classification,” Remote Sens., vol. 11, no. 16, Aug. 2019, Art. no. 1896.
[48] S. K. Roy, S. Chatterjee, S. Bhattacharyya, B. B. Chaudhuri, and J. Platoš, “Lightweight spectral-spatial squeeze-and-excitation residual bagof- features learning for hyperspectral classification,” IEEE Trans. Geosci. Remote Sens., vol. 58, no. 8, pp. 5277–5290, Aug. 2020.
[49] Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, “Residual dense network for image super-resolution,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 2472–2481.
[50] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2016, pp. 770–778.
[51] S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” in Proc. IEEE Int. Conf. Mach. Learn., Jul 2015, pp. 448–456.
[52] X. Glorot, A. Bordes, and Y. Bengio, “Deep sparse rectifier neural networks,” in Proc. Int. Conf. Artif. Intell. Statist., Apr. 2011, pp. 315–323.
[53] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” Proc. IEEE, vol. 86, no. 11, pp. 2278–2324, Nov. 1998.
[54] M. Lin, Q. Chen, and S. Yan, “Network in network,” in Proc. IEEE Int. Conf. Learn. Represent., Apr. 2014, pp. 1–8.
[55] P. Ghamisiet al., “New frontiers in spectral-spatial hyperspectral image classification: The latest advances based on mathematical morphology, Markov random fields, segmentation, sparse representation, and deep learning,” IEEE Geosci. Remote Sens. Mag., vol. 6, no. 3, pp. 10–43, Sep. 2018.
[56] D. P. Kingma and J. L. Ba, “Adam: A method for stochastic optimization,” 2014, arXiv:1412.6980.
[57] X. Cao, L. Xu,D.Meng, Q. Zhao, and Z. Xu, “Integration of 3-dimensional discrete wavelet transform and Markov random field for hyperspectral image classification,” Neurocomputing, vol. 226, pp. 90–100, Feb. 2017.
[58] S. K. Roy, G. Krishna, S. R. Dubey, and B. B. Chaudhuri, “HybridSN: Exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification,” IEEE Geosci. Remote Sens. Lett., vol. 17, no. 2, pp. 277–281, Jun. 2019.
[59] G. Zhao, G. Liu, L. Fang, B. Tu, and P. Ghamisi, “Multiple convolutional layers fusion framework for hyperspectral image classification,” Neurocomputing, vol. 339, no. 28, pp. 149–160, Apr. 2019.
[60] L. Wang, J. Peng, and W. Sun, “Spatial-spectral squeeze-and-excitation residual network for hyperspectral image classification,” Remote Sens., vol. 11, no. 7, Apr. 2019, Art. no. 884.

Last modification：December 28, 2021

如果觉得我的文章对你有用，请随意赞赏

【论文翻译】Hyperspectral Image Classification with Mixed Link Networks

wzy1999 • 2021 年 03 月 06 日

# 基于混合链路网络的高光谱图像分类

## Abstract

索引词——卷积神经网络（CNN），深度学习，高光谱图像（HSI）分类，混合链接网络（MLNet）

## Introduction

## DENSE TOPOLOGY IN BOTH DENSENET AND RESNET

$$
\begin{align*} x_l &= H_l(c_{l-1}) \\ &= H_l(x_0\parallel x_1\parallel \cdots \parallel x_{l-1}) \tag{1} \end{align*}
$$

其中$||$表示连接操作。式（1）清楚地表明DenseNet属于密集拓扑，即网络中的每一层都与所有先前的层相连，并且连接功能是串联的，如图1的右侧所示。

$$
\begin{equation*} r_l = H_l(r_{l-1})+r_{l-1}. \tag{2} \end{equation*}
$$

请注意，$ H_ {l}(\cdot)$以$ r_ {l-1} $作为输入，其直接输出为$ x_ {l} $，即$ x_ {l} = H_ {l} \left (r_ {l-1} \right)$。考虑到（2）的递归性质，可以将$ x_ {l} $重写为

![Fig. 1. Dense topology in the DenseNet.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng1-3053567-large.gif)

![Fig. 2. Dense topology in the ResNet.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng2-3053567-large.gif)

## METHODOLOGY

![Fig. 3. Flowchart of the proposed MLNet-based HSI classification method.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng3-3053567-large.gif)

### A. Mixed Link Blocks

$$
\begin{equation*} \hat{X} = X + H_{\text{Add}}(X) \tag{4} \end{equation*}
$$

$$
\begin{align*} Y &= \hat{X}\parallel H_{\text{Concat}}(X) \\ &= (X + H_{\text{Add}}(X))\parallel H_{\text{Concat}}(X) \tag{5} \end{align*}
$$

![Fig. 4. Architectures of the proposed twomixed link blocks (MLBs). (a)MLBA.(b) MLB-B.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng4-3053567-large.gif)

$$
\begin{equation*} \hat{X} = X\parallel H_{\text{Concat}}(X). \tag{6} \end{equation*}
$$

然后，将由附加链接生成的特征映射添加到临时学习特征$\hat{X}$的最后$k$个通道中

$$
\begin{align*} Y &= \hat{X} + H_{\text{Add}}(X) \\ &= X\parallel H_{\text{Concat}}(X) + H_{\text{Add}}(X). \tag{7} \end{align*}
$$

因此，在MLB-B中，临时特征$\hat{X}$和输出$Y$的通道数为$K+ K$。

### B. MLNets for HSI Classification

## EXPERIMENTS

### A. Hyperspectral Datasets

![TABLE I Number of Training and Test Samples on the Indian Pines Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t1-3053567-large.gif)

![TABLE II Number of Training and Test Samples on the University of Pavia Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t2-3053567-large.gif)

![TABLE III Number of Training and Test Samples on the University of Houston Dataset](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t3-3053567-large.gif)

### B. Experimental Setup

为了评估分类性能，使用了总体准确性（OA），平均准确性（AA）和Kappa系数（$\kappa$）。将所有实验重复五次，并报告平均分类精度。

### C. Classification Results

![Fig. 10. Classification maps for the Indian Pines dataset.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng10-3053567-large.gif)

![Fig. 11. Classification maps for the University of Pavia dataset.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng11-3053567-large.gif)

![Fig. 12. Classification maps for the University of Houston dataset.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng12-3053567-large.gif)

![TABLE VII Number of Parameters of Different Networks](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng.t7-3053567-large.gif)

综上所述，MLNet-A和MLNet-B可以在三个真实的HSI数据集上获得类似的优越性能，表明所提出的两种混合链接体系结构对HSI分类的有效性。

### D. Comparison With Other Popular Building Blocks

### E. Effect of Proportion of Training Data

![](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng13-3053567-large.gif)

### F. Effect of Shifted Additions

### G. Effect of Parameter $k$

### H. Visualization of Features Extracted by Different Networks

![Fig. 15. Feature maps extracted by different networks on ametal sheet sample.](https://ieeexplore.ieee.org/mediastore_new/IEEE/content/media/4609443/9314330/9335013/meng15-3053567-large.gif)

### I. Effect of the Number of MLBs

### J. Effect of the Size of Input HSI Patch

## Conclusion

在未来的工作中，我们将进行进一步的研究，并尝试通过整合注意力机制来弄清每个链接的重要性，这可能有助于从HSIs中提取更多的鉴别特征。

## Acknowledgment

作者要感谢匿名审稿人对本文的有益评论和建设性建议。

## REFERENCES

【论文翻译】Hyperspectral Image Classification with Mixed Link Networks

Leave a Comment Cancel reply
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

记一次失败的面试经历

使用电脑本地代理加速GitHub clone的速度

线代基础课公式（持续更新中......）

有馬公生様への手紙

【论文翻译】Hyperspectral Image Classification with Mixed Link Networks

【洛谷】P3654 First Step (ファーストステップ) （DFS）

2004年数学二（120/150）

2020/05/11

2020/07/07

2020/03/30

【论文翻译】Hyperspectral Image Classification with Mixed Link Networks

Leave a Comment Cancel reply 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

【论文翻译】Hyperspectral Image Classification with Mixed Link Networks

Leave a Comment Cancel reply
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款