用于吸烟行为检测的可解释特征学习框架
源代码：https://arxiv.org/pdf/2112.08178.pdf
计算机视觉研究院专栏
作者：Edison_G
随着世界迈向第四次工业革命，需要采取可靠的环保侦探措施，以应对这种在智能城市内外对公共健康有害的醉酒行为。
一、前言
事实证明，在公共场所吸烟对非吸烟者的危害更大，使其成为一个巨大的公共卫生问题，迫切需要当局采取积极措施和关注。随着世界迈向第四次工业革命，需要采取可靠的环保侦探措施，以应对这种在智能城市内外对公共健康有害的醉酒行为。
有研究者开发了一个用于吸烟行为检测的可解释特征学习框架，它利用深度学习VGG-16预训练网络对输入图像进行预测和分类，在最相关的学习特征/像素或神经元上，使用逐层相关性传播 ( Layer-wise Relevance Propagation，LRP) 来解释基于吸烟行为的网络检测或预测。网络的分类决策主要基于位于嘴部的特征，尤其是烟雾似乎对网络决策非常重要。“烟雾”的轮廓突出显示为相应课程的证据。一些元素被视为对神经元“烟雾”有负面影响，因此以不同的方式突出显示。有趣的是，网络根据图像区域区分重要特征和不重要特征。该技术还可以检测其他可吸烟药物，如杂草、水烟、大麻等。该框架允许可靠地识别不安全区域（如学校、购物中心、公交车站、铁路车厢或其他“违规”吸烟场所）中的吸烟者。根据政府的监管健康政策。通过在吸烟区明确定义安装，该技术可以检测到范围外的吸烟者。
二、背景
智慧城市的公共卫生监测需要可靠的技术方法，以环保的方式监测人群的健康生活方式。不幸的是，吸烟是一种生活方式，不仅会污染环境，而且如果在公共场合吸烟也会伤害非吸烟者。作为肺癌、心脏病、孕产妇疾病、发病率和支气管炎的重要因素，吸烟行为正在增加智慧城市的整体医疗保健成本和环境污染。
第四次工业革命和智慧城市趋势需要可靠的技术方法来检测公共场所的吸烟行为，无论使用的风格或吸烟材料的类型如何，例如香烟、水烟、大麻等。现有技术无法可靠地基于image sequencing检测违反吸烟政策的人和烟雾探测器，并进行昂贵的监控和维护以获得准确的检测结果。他们忽略了吸烟方式、模式和行为的各种变化，检测过程是模棱两可的（无法解释）。上述挑战和机器视觉的进步促使研究者们提出、开发和测试一种可解释的吸烟行为检测解决方案，该解决方案具有可解释和可信赖的检测，以改善智慧城市中的公共卫生监测和监测，以实现更健康的环境。
三、框架设计
除了机器视觉深度学习的进步和智能城市中相机的快速普及之外，对公共卫生的需求帮助我们提出了使用VGG16相关深度神经网络进行特征学习和分类的吸烟行为检测计算机视觉解决方案。
这个可解释的神经网络根据其性能进行评估，并使用LRP、遮挡分析和Integrated Gradient (SmoothGrad) 解释其检测决策，比较学习特征的可解释性以评估烟雾行为检测的可信度，基于在训练中学到的最相关的吸烟特征。
3.1
Dataset Description
在这项研究中，研究者使用了SmokerVsNonsmoker数据集，其中包含吸烟和不吸烟的图像。该数据集共包含2400张原始图像，其中1200张图像属于吸烟（吸烟者）类别，其余一半属于未吸烟（non-smokers）类别。对于一定程度的类间混淆（对于
更好的模型训练），考虑两个类别中的通用图像；
- 吸烟类别包括多个角度的吸烟者图像和各种手势
- 不吸烟类别包含不吸烟者的图片，诸如人们喝水、拿着手机、咬指甲等类似吸烟图像的手势
还使用了Google搜索中的一组图片（关键词如吸烟、吸烟者、人、咳嗽、打电话、饮用水等）。
3.2
Data preparation and Processing
随机选择六个图像并缩放它们以获得相似的尺寸。然后，执行通用数据可视化以识别和学习任何指示吸烟的特征。在这个实现中，我们只关注两个类（吸烟/不吸烟）并保存各自的图像标签。
四、实验及可视化
Training and Validation Accuracy and Loss
Relevance Maps for Smokers
Relevance Maps for Non-Smokers
? The Ending
转载请联系本公众号获得授权