2. 温州大学 计算机与人工智能学院, 温州 325035
2. College of Computer Science and Artificial Intelligence, Wenzhou University, Wenzhou 325035, China
海洋渔业资源的开发和利用对人类生存和发展具有不可替代的作用, 是现代社会主要经济活动的一部分. 随着海洋捕捞技术的提高, 海洋的战略地位也日益凸显, 开发和利用海洋渔业资源已经被世界各国所重视[1]. 但由于不完善的海洋资源保护与海洋环境管理措施, 非法、过度捕捞等现象的产生, 使得海洋生态环境遭到了不同程度的破坏, 海洋渔业资源锐减[2]. 在海洋资源衰退的条件下, 许多管理者已意识到海洋资源精确管理的重要性. 实现渔业资源的精细化预测对于保障渔业资源的可持续发展具有重要的意义. 事先了解渔情信息, 当局可以制定更好的渔业资源配置策略; 同时捕捞者也可以规划捕鱼路线, 减少捕鱼的时间成本、经济损失与能源消耗, 提高捕鱼产量.
1 相关工作介绍为实现渔情预测, 研究者从不同角度提出了许多不同的预测方法. 传统的预测方法集中在对海洋环境数据进行分析. 众所周知, 鱼类对环境因素有一个合适的范围, 只有当某个区域满足一定的环境条件时, 该区域才会出现鱼群. 环境阈值法就是假设鱼群出现在适当的环境条件下, 而不会在环境条件不适宜的情况下出现. 文献[3]使用环境阈值法分析预测渔场的空间分布. 环境阈值法模型构造简单, 易于实现, 特别适用于海洋遥感反演得到的环境网格数据, 因此在渔情预测领域得到了相当广泛的应用. 在文献[4]中, 作者使用栖息地指数模型来分析鱼类的栖息地, 并进行渔情预测. 这些研究都考虑到了环境特征, 值得肯定. 但也存在不足之处, 比如这些数据在时间和空间上都不是细粒度的.
此外, 随着人工智能的兴起, 研究者也开始将机器学习、深度学习等技术应用于鱼情预测. Aoki等人搭建包含3层隐层的BP人工神经网络模型, 实现对日本远东拟沙丁鱼渔获量的预测[5]; 毛江美等人搭建BP人工神经网络模型, 并调整模型结构及参数, 以月份、经度、纬度、SST (海表温度)、SSH (海表盐度)等作为时空变量进行了分析, 从而实现对渔场单位捕捞量渔获量(CPUE)值的预测[6]. 袁红春等人基于人工神经网络模型实现了对西北太平洋鱿鱼的潜在钓鱼区的预测研究[7]. 神经网络方法并不要求渔业数据满足任何假设, 也不需要分析鱼类对于环境条件函数和各环境条件之间的相互关系, 因此应用起来较为方便.
同时, 船舶自动识别系统(AIS)的广泛应用, 为研究者进行渔情分析挖掘提供了一个新视角. 装有AIS的渔船可以定期将其静态信息, 如国际编码、渔船ID, 以及动态信息, 如当前位置、航速和航向等自动传送给其他船只以及沿海当局[8]. 通过AIS获得的数据提供了描述船只轨迹的时空数据, 它可以用作船舶移动行为、整体海上交通以及进行渔情分析挖掘的一致信息源. Guiet等人通过分析2015–2017年全球的AIS渔船轨迹, 研究得出全球捕捞努力量空间季节性变化的主导因素[9]. Guyader等人基于AIS数据, 提出了一种半自动和通用的方法, 分析了布雷斯特湾(法国)的捕捞努力的空间和时间季节性变化, 为科学家和地方决策者提供了高分辨率信息[10]. 不同于基于环境因素的分析方法, 利用渔船轨迹数据进行分析, 理论上可以对时间和空间进行任意细粒度的划分. 在AIS与深度学习结合进行渔情预测方面, Hong等人通过将海域进行网格划分, 融合海洋环境数据与渔船轨迹数据, 利用深度残差网络实现了对未来捕捞努力量的预测[11].
上述基于海洋遥感数据、渔船轨迹数据采用深度学习进行预测的方法大大提高了渔情预测的准确性. 但是, 大多数尝试都采用单任务预测模型(single task prediction model, STP model). 这存在两个重要的问题, (1)从微观角度看, 不同捕鱼方式的渔船适应的作业区域可能会不同, 比如张网通常设置在具有一定水流速度的区域或鱼类等捕捞对象的洄游通道上, 依靠水流的冲击, 迫使捕捞对象进入网中, 从而达到捕捞目的; 围网适合捕捞进行群体活动的鱼类. 因此, 我们可以将在任何时隙观察到的渔情状况实际分解为一系列隐藏的渔况分布基础的组合, 如图1所示. 通过划分, 可以进一步提高预测的准确度, 而且更符合实际情况. (2)从宏观角度看, 不同渔具进行捕鱼时, 在空间和时间上都紧密相关, 相互影响, 进行单任务预测无法捕获到不同渔具之间的相互作用.
因此, 与以往研究不同, 本文提出一种新型的模型框架——多任务预测模型(multi task prediction model, MTP model), 旨在挖掘隐藏在不同渔具捕鱼之间的复杂的相互关系, 并同时预测适合不同渔具进行作业的区域以及该区域的渔情状况. 本文, 我们关注4种主要的渔具类型: 围网、刺网、拖网和张网.
2 相关概念(1)时间间隔、区域划分: 为了提取时空特征, 需要将原始的时空数据进行转换. 本文采取了文献[11]中所使用的方法, 并进一步对经纬度精度进行细化. 我们将所关注的海域(Latitude: 28°N~34°N, Longitude: 121°E~128°E)按照经纬度精度为0.083°×0.083°进行均匀划分, 形成72×84个区域. 该精度受海洋遥感数据空间精度的限制[12]. 时间间隔设置为一天, 即24小时, 利用历史数据来预测接下来一天的渔情分布状况.
(2)作业轨迹: 渔船在进行捕鱼活动时的一系列轨迹点. 作业点往往具有一定的特征, 如低速、角度变化快等. 本文首先需要从完整的渔船轨迹中识别出渔船进行作业的轨迹点, 进而求得渔船在每个区域的作业时间.
(3)渔业资源丰度: 一个区域内鱼量的多少即该区域的资源丰度. 在一个区域内, 渔船数量的多少、渔船作业时间的长短都能够反应该区域鱼量的多少. 因此, 本文中我们用一段时间内渔船在该区域内的总作业时间来表示该区域的资源丰度, 以小时为基本单位. 资源丰度表示如下:
$ g_{(m, n)}^t = \sum\limits_{{v_{\rm id}}} {({t_{\rm out}} - {t_{\rm in}})} $ | (1) |
其中,
(4)目标: 给定历史渔船轨迹数据, 通过处理得到每一个区域的渔业资源丰度, 并结合海洋遥感数据预测未来的每一个区域的渔业资源丰度.
3 模型方法本节讨论了用于渔船轨迹分析处理和模型搭建的建议方法.
(1)提取捕鱼轨迹与转换数据格式
利用渔船轨迹进行鱼情预测的一种典型的方法是: 对所关注的海域进行网格划分, 然后统计每一个网格内渔船作业的总时间, 用该时间来表示资源的丰富度. 这样, 原始的时间序列就形成了类似于图片的二维矩阵数据, 然后再利用CNN, RNN等神经网络搭建模型进行预测. 在本文中, 我们将所关注的海域(Latitude: 28°N~34°N , Longitude: 121°E~128°E)均匀划分为(72×84)个栅格, 每个栅格的经纬度精度为0.083°×0.083°. 该精度受海洋遥感数据精度的限制, 由于所获取的海洋温、盐、叶绿素浓度等海洋遥感数据的经纬度精度为0.083°×0.083°[12], 为了实现数据的匹配, 在此本文将栅格的精度定为0.083°×0.083°. 从渔船轨迹中识别出作业轨迹, 研究者已经做了很多研究. 本文我们采用文献[13]中的方法, 这是渔船轨迹识别研究中最新的算法. 随后将获得的作业轨迹在该区域进行投影, 利用式(1)求得一段时间内每一区域的渔船总作业时间, 通过这种方法将序列数据转化为容易被神经网络接收的矩阵形式. 获取作业轨迹与转换数据的过程如图2所示. 转换后的数据可以直观地描述鱼群位置与资源丰度的时空分布状况, 同时能更好的利用神将网络提取时空特征. 用
$ {x}_{t}{}^{围}=\left[{g}^{t}{}_{1, 1}, {g}^{t}{}_{1, 2}, \cdots, {g}^{t}{}_{72, 84}\right] $ | (2) |
其中,
(2)搭建多任务模型
① 模型内核的选择
我们知道, 一个区域的渔况会受到临近区域渔况的影响. 比如, 当鱼群被捕捞时, 那么很有可能导致接下来邻近区域鱼量的减少. 另一方面, 不同种群之间存在着的捕食追赶现象, 也会影响鱼群的空间分布. 这些现象都表明了鱼群位置与资源丰度的时空依赖性. 文献[14]中, 作者提出了卷积神经网络(CNN), 该网络在捕获空间结构信息方面已展现出强大的能力, 但CNN缺乏捕获数据的时间依赖性方面的能力. 另一方面, RNN模型[15]对时间数据有利, 并且已经完成了许多尝试[16,17]. 但RNN对空间依赖不敏感, 且会产生梯度消失和梯度爆炸等问题[18]. 文献[19]显示通过结合CNN与RNN, 取得了更好的结果. 同时LSTM模型的应用克服了传统RNN梯度消失和梯度爆炸的问题. 考虑到这些改进, 我们选择了ConvLSTM作为核心层搭建我们的框架. ConvLSTM模型可以同时捕获到时间与空间依赖性, 在处理时空序列数据预测方面具有独特的优势[20].
通过这种卷积网络和循环网络结合的结构, 可以更好地学习渔情预测的复杂时空特征. 类似于LSTM神经网络的过程, ConvLSTM中的3个门通过以下等式计算:
$ {i_t} = \sigma \left( {{W_{xi}} * {X_t} + {W_{hi}} * {h_{t - 1}} + {W_{ci}} \circ {c_{t - 1}} + {b_i}} \right) $ | (3) |
$ {f_t} = \sigma {W_{xf}} * {X_t} + {W_{hf}} * {h_{t - 1}} + {W_{cf}} \circ {c_{t - 1}} + {b_f} $ | (4) |
$ {c_t} = {f_t} \circ {c_{t - 1}} + {i_t} \circ \tanh\left( {{W_{xc}}{X_t} + {W_{hc}}{h_{t - 1}} + {b_c}} \right) $ | (5) |
$ {o_t} = \sigma {W_{xo}} * {X_t} + {W_{ho}} * {h_{t - 1}} + {W_{co}} \circ {c_t} + {b_o} $ | (6) |
$ {h_t} = {o_t} \circ \tanh({c_t}) $ | (7) |
其中,
② 多任务模型
图3展示了多任务预测模型框架, 与单任务预测(STP)模型不同, MTP模型的学习过程可以划分为3个层次. 在第1层次中, 对每个链接的渔情预测模型分别进行训练, 以提取浅层特征. 然后, 在Merge层(即第2层)将第1层中学习到的特征进行融合, 以捕获不同任务的时空特征之间的相互影响. 然后将其馈送到第3层中再对各主线任务分别进行预测训练. 在执行多个任务的情况下, 多任务学习方法可以保留各个任务自己的特点, 同时能捕获装备不同渔具的渔船之间的相互影响关系, 这是单任务学习无法做到的. 首先, 各主线任务经过一层卷积核大小为3×3的ConvLSTM层完成浅层特征的提取. 随后为捕获各任务之间的相互影响, 在Merge层将这些浅层特征进行合并. 由于各任务之间的影响程度不同, 因此Merge层的合并方式如下:
$ {X}_{*}={W}_{1}^{*}\circ {X}_{围}+{W}_{2}^{*}\circ {X}_{拖}+{W}_{3}^{*}\circ {X}_{刺}+{W}_{4}^{*}\circ {X}_{张} $ | (8) |
其中,
随后, 将融合后的数据分别送入经过特殊设计的网络层内. 该网络层结合了Inception-Net 和 Residual-Net. 由于经过格式转换所取得的矩阵数据是非常稀疏的, 为了能更好的提取空间特征, 提高预测的准确度, 需要正确的选择卷积核的大小. 因此, 受文献[21]的启发, 采取Inception-Net的设计, 如图3 “Model block”中的第二、三分支. 该模块包含并行不同尺寸的内核, 其中较大尺寸的内核5×5能够提取较远距离的空间依赖性, 较小尺寸的内核3×3提取较近距离的空间依赖性. 此外, 随着模型深度的增加, 其训练结果会出现变差的情况, 残差网络可以很好的解决这一问题. 因此, 本文也引入了残差网络的设计, 如图3“Model block”中的第一个分支, 将输入直接与经过ConvLSTM层的两个分支的输出进行拼接, 有效的解决了神经网络过拟合, 梯度弥散, 梯度消失等问题.
③ 嵌入遥感数据
鱼群都具有特定的生存环境, 海洋的温、盐等环境因素会极大地影响鱼群的分布与渔业资源的丰度[4]. 为此, 本文将海洋温度、盐度以及叶绿素浓度这3种外部因素考虑在内. 由于该遥感数据是在经纬度坐标点的数据, 但是我们感兴趣的是一个区域的数据, 该区域为4个经纬度坐标点所围成的矩形区域. 因此在将外部因素数据送入卷积层进行特征提取之前, 我们设置了一层均值池化层(mean-pooling), 其窗口大小为2×2, 步长为1. 通过均值池化层, 实现了利用4个坐标点数据的平均值来表示由这4个点所围成区域的温、盐以及叶绿素浓度. 随后经过两层卷积核大小为3×3的卷积层完成特征的提取. 最后将遥感数据与轨迹数据进行合并, 并采用tanh激活层完成最终预测.
4 实验结果为了验证我们模型的有效性, 在本节中, 我们将通过对真实海洋遥感以及渔船轨迹数据集的详细实验来评估我们的模型. 我们首先描述用于实验的数据集, 然后列出评估方法. 最后, 对比单、多任务的实验结果, 并进行进一步的讨论.
4.1 数据集(1)海洋遥感数据: 对于海洋环境数据的获取, 我们从哥白尼计划所收集的数据集中获取海洋温度、盐度与叶绿素浓度等数据. 这些数据可以在该网站获取:
(2) AIS数据: 对于渔船轨迹数据, 我们选取了北纬28°~34°, 东经121°~128°范围内的8066只渔船在2017–2018年的轨迹数据. 其中围网222艘, 刺网2410艘, 拖网4339艘, 张网1095艘.
4.2 评估方法本文采用均方根误差(RMSE)和平均绝对误差(MAE)来测量和评估不同方法的性能. 相关定义如下:
$ \textit{RMSE} = \sqrt {\frac{1}{{M \times N}}\sum\limits_i {{{({g_{(m, n)}} - {{\hat g}_{(m, n)}})}^2}} } $ | (9) |
$ MAE = \frac{1}{{M \times N}}\sum\limits_i {\mid {g_{(m, n)}} - {{\hat g}_{(m, n)}}\mid } $ | (10) |
其中,
为评估本文提出的多任务预测方法的有效性, 我们与一些基线进行了比较. 包括历史平均模型(HA), 向量自回归模型(VAR), 差分整合移动平均自回归模型(ARIMA), ST-ResNet[11]以及ConvLSTM模型(单任务). 为了公平, 本文采用同样的参数设置, 包括batch的大小以及学习率. 表1呈现了我们的实验结果. 从表中的结果可以看出, HA, VAR与ARIMA这些传统的时间序列预测算法的结果误差较大, 这是因为这些方法只能提取时间依赖性, 而无法获取空间依赖性, 因此损失较大. ST-ResNet作为CNN在时空序列中的经典应用, 能够很好的捕获空间依赖性, 同时采用残差网络结构, 使得损失进一步降低. 但CNN对时间依赖型的提取能力不足. 通过将CNN与LSTM结合, ConvLSTM能够同时捕获时间依赖性和空间依赖性性, 可以取得较好的预测结果. 如表1所示, 单任务ConvLSTM的结果要优于其他单任务预测方法的结果损失. 为验证本文提出的多任务预测方法的有效性, 我们以ConvLSTM为基础模型搭建了多任务模型. 多任务模型的预测结果都有了明显的提升. 其中围网、刺网、拖网和张网预测结果的RMSE分别提升了20.7%、16.9%、8.3%和23.4%, MAE分别提升了14.4%、16.8%、20.1%和21.4%. 其中张网受其他渔船作业方式的影响最为明显. RMSE和MAE表示了预测结果与真实值之间的差距, 其值越小越好. 根据实验结果, 多任务ConvLSTM通过Merge层将多个任务建立起联系, 进而通过ConvLSTM捕获时空依赖, 取得了更加精确的预测结果. 图4为单任务ConvLSTM与多任务ConvLSTM预测结果的可视化. 图4(a)表示刺网、围网、张网和拖网的真实时空分布, 图4(b)表示通过单任务ConvLSTM模型分别得出的预测结果, 图4(c)为本文的多任务ConvLSTM模型预测得出的结果. 从图中用红色框标出的部分可以看出, 多任务预测的结果明显好于单任务预测的结果.
5 结论和展望本文提出了一种新颖的渔情预测方法, 即基于海洋遥感数据与AIS渔船轨迹数据, 利用时空神经网络的实现多任务预测. 它由3个模块组成: (1)任务融合模块, 可以提取多项任务之间的相互作用; (2)主线任务单独训练模块, 在多任务进行融合之后, 再对每一个主线任务进行单独训练预测; (3)整合模块, 整合了海洋遥感环境因素数据, 进一步提高了预测的准确性. 受益于渔况分解表示多任务预测方法的性能优于现有的预测方法. 为了测试所提出的方法, 已经在浙江海域的海洋遥感数据集和渔船轨迹数据集上进行了实验, 结果证明在预测准确性和鲁棒性方面的有效性. 这项研究从微观和宏观的角度预测研究提供了新的见识.
[1] |
袁媛, 袁永明, 代云云, 等. 中国参与涉渔国际组织现状、问题与对策建议. 中国渔业经济, 2020, 38(5): 27-36. DOI:10.3969/j.issn.1009-590X.2020.05.004 |
[2] |
Ali MAB, Rosdian RAJSIJOL, Justice C. Implementation of fisheries resources protection from illegal unreported and unregulated fishing practices. Scholar International Journal of Law, Crime and Justice, 2020, 3(11): 389.
|
[3] |
Sadly M, Hendiarti N, Sachoemar SI, et al. Fishing ground prediction using a knowledge-based expert system geographical information system model in the South and Central Sulawesi coastal waters of Indonesia. International Journal of Remote Sensing, 2009, 30(24): 6429-6440. DOI:10.1080/01431160902865780 |
[4] |
范秀梅, 唐峰华, 崔雪森, 等. 基于栖息地指数的西北太平洋日本鲭渔情预报模型构建. 海洋学报, 2020, 42(12): 34-43. |
[5] |
Aoki I, Komatsu T. Analysis and prediction of the fluctuation of sardine abundance using a neural network. Oceanolica Acta, 1997, 20(1): 81-88. |
[6] |
毛江美, 陈新军, 余景. 基于神经网络的南太平洋长鳍金枪鱼渔场预报. 海洋学报, 2016, 38(10): 34-43. |
[7] |
袁红春, 陈骢昊. 基于融合深度学习模型的长鳍金枪鱼渔情预测研究. 渔业现代化, 2019, 46(5): 74-81. DOI:10.3969/j.issn.1007-9580.2019.05.012 |
[8] |
Natale F, Gibin M, Alessandrini A, et al. Mapping fishing effort through AIS data. PLoS One, 2015, 10(6): e0130746. DOI:10.1371/journal.pone.0130746 |
[9] |
Guiet J, Galbraith E, Kroodsma D, et al. Seasonal variability in global industrial fishing effort. PLoS One, 2019, 14(5): e0216819. DOI:10.1371/journal.pone.0216819 |
[10] |
Le Guyader D, Ray C, Gourmelon F, et al. Defining high-resolution dredge fishing grounds with Automatic Identification System (AIS) data. Aquatic Living Resources, 2017, 30: 39. DOI:10.1051/alr/2017038 |
[11] |
Hong F, Wu Z, Tian Y, et al. Spatio-temporal fine-grained fishing vessel density prediction through joint residual network. Proceedings of the OCEANS 2019-Marseille. Marseille, 2019. 1–5.
|
[12] |
Lellouche JM, Greiner E, Galloudec OL, et al. Recent updates to the Copernicus Marine Service global ocean monitoring and forecasting real-time 1/12° high-resolution system. Ocean Science, 2018, 14(5): 1093-1126. DOI:10.5194/os-14-1093-2018 |
[13] |
Wei ZK, Xie XL, Lv WH. Self-adaption vessel traffic behaviour recognition algorithm based on multi-attribute trajectory characteristics. Ocean Engineering, 2020, 198: 106995. DOI:10.1016/j.oceaneng.2020.106995 |
[14] |
Krizhevsky A, Sutskever I, Hinton GE, et al. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 2017, 60(6): 84-90. DOI:10.1145/3065386 |
[15] |
Connor JT, Martin RD, Atlas LE. Recurrent neural networks and robust time series prediction. IEEE Transactions on Neural Networks, 1994, 5(2): 240-254. DOI:10.1109/72.279188 |
[16] |
Cheng XY, Zhang RQ, Zhou J, et al. DeepTransport: Learning spatial-temporal dependency for traffic condition forecasting. Proceedings of 2018 International Joint Conference on Neural Networks. Rio de Janeiro: IEEE, 2018. 1–8.
|
[17] |
Xu J, Rahmatizadeh R, Bölöni L, et al. Real-time prediction of taxi demand using recurrent neural networks. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(8): 2572-2581. DOI:10.1109/TITS.2017.2755684 |
[18] |
Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780. DOI:10.1162/neco.1997.9.8.1735 |
[19] |
Li YG, Yu R, Shahabi C, et al. Graph convolutional recurrent neural network: Data-driven traffic forecasting. arXiv: 1707.01926, 2018.
|
[20] |
Shi XJ, Chen ZR, Wang H, et al. Convolutional LSTM network: A machine learning approach for precipitation nowcasting. arXiv: 1506.04214, 2015.
|
[21] |
Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning. arXiv: 1602.07261, 2016.
|