能检查出渔场中渔网破洞的“超级检查眼”!

   自动化那些事        

该研究报告了用于监测养鱼场水质的遥控潜水器(ROV)解决方案的集成。该机器人系统包括一个用于实时视频捕捉的RGB摄像机和一套用于测量水文气候数据的集成传感器。计算机视觉算法的实施旨在检查养鱼场的网笼。


研究者开发了一个综合软件解决方案,以允许无缝使用这项工作中提出的视觉算法。研究者的系统被设计用来处理ROV捕获的水下图像,以确定与网箱故障相关的网箱模式。该系统在一个大坝中进行了真实条件下的测试。ROC数据被计算出来,以证明所提出的系统在水下鱼笼检查的准确性。


平均而言,研究者获得了0.91的精度关于网状模式重建任务,而在不同的水下场景下,网状损伤检测的精度为0.79。本文以“An integrated ROV solution for underwater net-cage inspection in fish farms using computer vision”为题于2020年11月5日发布于《SN Applied Sciences》杂志上。

能检查出渔场中渔网破洞的“超级检查眼”!


研究背景


近年来,鱼类蛋白的需求量迅速增加。据联合国粮农组织(FAO)统计,2018年,全球水产养殖生产的动物产量达到7380万吨,预计首次销售价值为1600.2亿美元。其中,约50%的海产品是在养鱼场生产的。

能检查出渔场中渔网破洞的“超级检查眼”!


图为OpenROV 2.8增加传感器


最近,遥控潜水器(ROV)、自主水下潜水器(AUV)和自主水面潜水器(ASV)的使用在测绘和环境监测任务中得到了广泛的应用。这些ROV解决方案在鱼类养殖中大多用于检查、清洗和水质监测。对机器人驱动的环境监测的传感器技术和专用仪器进行了全面的修订,确定了采用这些机器人解决方案需要解决的几个挑战。


(一) 可靠性、安全性和耐久性;(二) 人与机器人的接口;(三) 自适应任务规划;(四) 实时动态过程跟踪;(五) 事件检测和分类。在这项工作中,研究者通过考虑可靠性、人机界面以及事件检测和分类等相关挑战,提出了一种集成遥控车(ROV)解决方案的方法。


该研究介绍了商业化的OpenROV系统Footnote 2的部署和计算机视觉算法在鱼场水下检测的集成。在鱼场中,人工采集水样的过程非常耗时,而且由于水的浑浊度,人工检测网笼可能是一个挑战。在这个意义上,研究者的方法有两个方面。(i)研究者描述了用于水质监测的传感器的集成和(ii)用于检测网笼损坏和障碍物的计算机视觉算法的描述。


OpenROV是为水下探测设计的开源平台。该系统配备了一个高清摄像头和一个阵列的4个发光二极管,以实现清晰的水下图像。该机器人可以通过以太网远程操作,这要归功于100米的可扩展电缆。

能检查出渔场中渔网破洞的“超级检查眼”!


图为水质电子学:a溶解氧(DO)和氢(PH)传感器的电位,b氧化还原电位(ORP)传感器,c温度传感器d伊佐嵌入式电路e触须盾


OpenROV导航系统的核心是一个开源的、低成本的传感器模块,它支持高度精确的深度、罗盘航向和滚动俯仰导航数据。

能检查出渔场中渔网破洞的“超级检查眼”!


图为OpenROV-驾驶舱和OpenROV-软件-Arduino


整个系统由外部计算机通过以太网连接通过TCP/IP协议控制,该协议便于通过Web浏览器进行通信。因此,研究者可以将机器人传感器的所有信息实时传输到笔记本电脑,包括视频。


水生生物的正常生长高度依赖于水质。多种因素可以改变水的物理和化学性质。水中溶解氧浓度或温度的剧烈变化会造成大量动植物的破坏。此外,不太剧烈的变化可能会影响生物体抵抗总是存在于作物水中的病原体的能力。条件不佳的慢性问题将导致较慢的增长率和较高的死亡率。要想获得良好的生产,就必须将水的环境条件保持在对栽培物种的容许范围内。


PH值是由氢离子浓度决定的,它指示水是酸性的还是碱性的,在0~14的范围内表示。从这个意义上说,pH=7是一种中性的测量。PH值的变化主要与强烈酸性的二氧化碳浓度有关。个别植物需要二氧化碳来进行光合作用,因此这一过程在一定程度上决定了pH的波动,因为它在白天上升,晚上下降。此外,pH稳定性是由所谓的碱性储备或平衡系统(缓冲液)对应于碳酸盐或碳酸氢盐的浓度。在实际应用中,pH值对4以下或11以上的鱼类种群有一定的影响。


氧化还原电位(ORP)测量水中的氧.更高的价值意味着更多的氧气,以及养鱼场的健康程度。同样,OPR允许消除污染物和死植物。ORP可以提供水质和污染的额外信息。

能检查出渔场中渔网破洞的“超级检查眼”!


图为基于视觉的网箱损伤检测软件体系结构


OpenROV能够在水下拍摄和录像,多亏了高清摄像头。本节介绍了一套用于检测和检测网箱损伤(裂缝和孔)的计算机视觉算法的发展。


GUI允许用户监视和配置与ROV水下检查有关的所有方面,例如任务的可视化、图像处理选项和一般配置参数。

能检查出渔场中渔网破洞的“超级检查眼”!


图中a为软件的主GUI显示ROV的视频流和待检测的图像,b为用于网箱损伤检测的GUI,c为用于鱼阻检测的GUI


研究者的软件有四种降噪方法:高斯滤波、齐次滤波、均值滤波和双向滤波。默认情况下应用高斯滤波器。该滤波器被认为是保证高斯钟形核平滑响应的最优滤波方法。


Otsu阈值技术是一种著名的获取二值图像的自适应方法。

能检查出渔场中渔网破洞的“超级检查眼”!


图为实验结果。几种二元阈值化技术的比较


利用著名的Hough变换(HT)方法实现了线检测和图像透视校正。HT需要Otsu方法给出的阈值输入图像。该方法依赖于使用梯度(G)用于检测图像中的线条和圆圈的信息,以正确使用调整透视图的旋转矩阵。

能检查出渔场中渔网破洞的“超级检查眼”!


图中a为Hough变换空间b为直线检测与透视校正

能检查出渔场中渔网破洞的“超级检查眼”!


图为实验结果。a为样本图像;b为直方图归一化用于图中所示的颜色校正


凸赫尔算法用于通过连接节点来重建网络模式,如图所示。该算法可分为种子点识别、区域分割和顶点连接三个阶段。在研究者的应用中,种子点对应于先前用HT和中心矩计算的节点点。对于区域分裂阶段,必须找到质心,才能根据顶点分布确定上、下区域,方法是引入一条划分两个区域的线。因此,凸包方法开始沿顶点连接。

能检查出渔场中渔网破洞的“超级检查眼”!


图为凸包算法在网型重构中的应用


下图为鱼笼的细节。大坝位于哥伦比亚的一个小城市涅瓦以南30公里处。大坝有几个用途:发电、灌溉土地和养鱼。它的面积为7400公顷,最大深度为76米,总面积为1971百万米。

能检查出渔场中渔网破洞的“超级检查眼”!


图为哥伦比亚Betania大坝的鱼笼

能检查出渔场中渔网破洞的“超级检查眼”!


图为可变测量:apH值b溶解氧c温度dORP


如前所述,ROV在每个深度捕获物理化学变量。这些实验是在一个生产罗非鱼的渔场进行的,罗非鱼是该地区生长的一种淡水鱼。在水温25.0-32.0的条件下,该鱼获得了适当的生长。


罗非鱼养殖的另一个重要因素是溶解氧的浓度和有效性。正常情况下,营养丰富的水域在午后显示出丰富的氧气水平。导致氧含量有很大变化的一个因素是光线,特别是当它是多云的时候。

能检查出渔场中渔网破洞的“超级检查眼”!


图为网箱检查:(左)小损伤(右)大伤害。

能检查出渔场中渔网破洞的“超级检查眼”!


图为关于净损伤检测过程的总体计算步骤


展示了利用车载摄像机对鱼网网箱中的故障和缺陷进行检测的结果。照明条件是最佳的,允许良好的能见度,而不使用LED照明系统集成在ROV机器人。检查是在笼子内外进行的。在这次检查中,研究者发现一些地方的网有小的和大的洞,如图所示。


业潜水员可以探测到较大的洞,但很难发现小孔。研究者进行了几个实验,在不同的场景下捕获网络图像。计算机视觉算法采用了Otsu阈值化的自适应分割方法。然后,利用Hough变换作为特征提取技术,通过分析网箱的形状和连接来判断网箱的损伤程度。

能检查出渔场中渔网破洞的“超级检查眼”!


图为基于风险的精度测试:网络模式计算和损伤检测


显示结果。当网络中存在多重损伤时,研究者的方法往往更准确(场景B),从而降低了FPR。同样,在场景C中,透视图和失真很难对这些图像进行损伤检测,而且总体上是精确的。考虑到所有的测试场景,研究者的平均损伤检测精度为0.79。


研究结论


研究者拟议的系统比贝塔尼亚大坝使用的传统方法更快地检查鱼笼。传统方法需要2小时的潜水服务来检查网笼,而研究者的系统能够在10分钟内覆盖整个区域。


通过集成水质传感器,研究者获得了可靠的测量结果,使养殖户能够轻松评估水质。此外,通过开发用于损伤检测的计算机视觉算法,可以以平均0.79的精度检测网箱损伤。传统的计算机视觉算法使用OpenCV库进行集成,并实现了一个服装设计的软件,以方便使用所提出的方法。


Hough Transform和二维大津方法的使用目的是基于边界和眼点检测来识别整个网状图案,最终计算出结点连接,从而实现损伤的识别。在整个图像后处理阶段,还沿用了其他计算机视觉算法,如形态学操作(侵蚀和扩张)、开闭和图像轮廓分析等。


即将到来的工作计划包括一个低成本的侧扫声纳,以提高水下能见度。此外,侧扫声纳将使研究者能够创建高清晰度的地下地图,以便通过SLAM实现精确的水下测绘。


参考文献:J. Betancourt, W. Coral & J. Colorado An integrated ROV solution for underwater net-cage inspection in fish farms using computer vision   SN Applied Sciences 1946 (2020)



最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐