FaceAnti-SpoofingFAS综述-创新互联
在AntiSpoofing Wiki中对PA进行了详细的划分，总的分为：恶意（下面重点记录）与非恶意。
恶意的PA中分为两类：基于合成的PA和基于人类的PA。
基于合成的PA通常是使用假的肢体部件、合成图像、深度伪造的视频、带特殊纹理的眼镜片（虹膜PA）、遮挡的面部图像，它们可以是静态的、动态的或是混合的。
基于人类的PA通常是活体或者是死物直接呈现给系统（但必须是真实的人），可能是使用活体或者死体的部位，或是模仿攻击
细分的小类中下面仅记录Facial attacks。
面具：现存的面具攻击所使用的面具可能在各方面都极为精致，比如带有放热的硅胶面具，以模拟人体体温。
Deepfake（深度伪造）：使用AI，可以对静态图像和动态视频实时实现AI换脸，从而绕过活体检测。
打印的照片：简单粗暴的方式，直接使用照片用于识别。
重播攻击：使用预先录制的结合了Deepfake的视频，投放到高清屏幕上，用于识别。
Presentation Attacks Detection（FAD）
传统方法大多基于：生理活性信号（如：眨眼、头部面部运动等）、人为研究出的特征（在不同的颜色空间中发现伪造的痕迹）。后者也是2018年后的主要研究方向。
生理活性信号可以被高质量的视频伪造，而且不方便部署。
而后产生了基于人工特征+深度学习、端到端深度学习的方法。在此类方法中，FAS通常被视为二分类问题（活体/非活体），使用交叉熵损失函数即可描述训练目标。
但不同于传统的二分类问题（如：性别检测），FAS问题的特征没有语义性（其实就是不可解释），而且非常细节，因此顺理成章地引入CNN用于检测伪造痕迹。但CNN+二分类方法也会学习到无关紧要的伪造痕迹（如：图像边框），而且会出现过拟合状态。
由于大部分的伪造痕迹都和位置感知的辅助任务相关（比如：在面具或照片的表面会出现不和谐的反光等），同时高质量的图像接收放大了这些线索，有利于深度模型的学习。因此，基于上面的辅助任务，学者提出了像素级辅助监督方法、松弛像素级重建约束（对欺骗模式的本质进行建模）。
Face Spoofing Attacks
作者将FSA大致分为两类：数字操作、物理上的表示攻击（PA），作者主要讨论后者，其操作流程大致如下：
从图（a）中可以看出含FAS的FR（Face Recognition）大致分为两种：并行、串行
- 并行：FR系统和FAS系统分别输出一个得分，经过分数融合输出最终得分，用于判断是否源于活体。
- 串行：先进行FAS系统的活体判断，再进行FR，用于早期FAS。
图（b）中展示了各种PA形式，根据攻击目的，作者将其分为两类：
- 模仿：把真正用户的人脸特征复制到照片、电子屏幕、3D面具等上，欺骗FR系统。
- 混淆：通过眼睛、化妆、假发等抹除自己的身份。
根据几何属性，分为两类：
- 2D：用传感器展示照片和视频来展现面部特征，如：平面/折起来的照片、切割的照片、视频回放。
- 3D：3D面具。
根据覆盖面部的区域大小，分为两类：
- 全部：涉及到整张人脸的替换，如：照片、视频、3D面具。
- 部分：切割的照片、眼睛。
数据集
作者调研了所有公开FAS相关数据集：
数据集的发展有如下趋势：
- 数据集体量增大。
- 数据分布多样：数据集不再限制于单一攻击方式、取样场景。
- 多模态和特殊传感器：不再局限于RGB摄像机。
评价度量
- 拒识率（FRR）：错误拒绝的正确访问。
- 误识率（FAR）：错误接受的欺骗访问。
- 半总错误率（HTER）：FRR和FAR的平均值
- 等错误率（EER）：FRR和FAR相等时的HTER
- AUC：ROC曲线（真阳性率为纵坐标，假阳性率为横坐标）下的面积，表示决策边界的合理性
- 攻击分类错误率（APCER）：攻击角度的FAR。
- 真实分类错误率（BPCER）：攻击角度的FRR。
- 平均分类错误率（ACER）：APCER和BPCER的平均值。
评估协议
每个数据集约定俗成的模型评估方法，由数据集作者提出使用方法，适用于对应数据集，用于判定模型的某些具体性能，作者将协议分为四类：
- 数据集内类内协议（Intra-Dataset Intra-Type Protocol）：测试集和训练集基本处在同一数据分布下（使用相同设备、在同一拍摄环境下等）。仅适用于环境变化不大的测试评估。
- 跨数据集类内协议（Cross-Dataset Intra-Type Protocol）：测试集和训练集不源自同一数据集。同时，测试集也可以用于实现迁移学习。用于测评模型对环境的泛化能力。作者实验基于将Replay-Attack作为训练集，CASIA-MFSD作为测试集实现的。
- 数据集内跨类协议（Intra-Dataset Cross-Type Protocol）：测试集中出现新的攻击方式，测试模型对于攻击方式的泛化性。ViTranZFAS使用了迁移学习，效果更好。
- 跨数据集跨类协议（Cross-Dataset Cross-Type Protocol）：融合二三类，OULU-NPU和SiW（2D）用于训练，HKBU-MARs和3DMask（3D）用于测试。DTN 和NAS-FAS对于低质量的mask泛化性不错，高质量的无法实现。
针对商用RGB相机的深度FAS 人工特征+深度学习
第一类是将人工特征进行深度提取，得到深度特征：
- 基于颜色纹理的静态特征：【Learning deep forest with multi-scale local binary pattern features for face anti-spoofing】一文中提出使用多尺度LBP提取局部纹理特征再用CNN提取深度特征，并使用级联的随机森林将其语义化；【Robust face anti-spoofing using cnn with lbp and wld】一文中将LBP和WLD均使用CNN进行提取并进行混合。
以上二者均只使用了局部特征进行区分（多个像素被压缩至一个块内），无法提取像素级细节，模型有局限性。
- 动态特征：【Integration of image quality and motion cues for face anti-spoofing: A neural network approach】一文中使用密集光流来监测每一帧的运动，借此来挑出不和谐的运动，如：屏幕表面的镜面反射、不稳定支撑带来的均匀晃动、面具导致的人眼以外运动的消失等；【Transrppg: Remote photoplethysmography transformer for 3d mask face presentation attack detection】一文中根据视频建立时间轴上的rPPG图，并将其可视化，远程检测心脏周期性跳动这一特征。
针对重放攻击会有异常反射的问题，【3d face mask presentation attack detection based on intrinsic image analysis】一文中提出对人脸发出光，使用人脸反射光得到的反射图像计算强度差直方图，使用一维卷积提取该图特征，以此检测反射变化。
第二类从DCNN提取到的特征中筛选出人工特征。
- 静态特征：【An original face anti-spoofing approach using partial convolutional neural network】一文中提出使用PCA主成分分析降维，去除掉DCNN提取得到特征中冗余的部分；【Chif: Convoluted histogram image features for detecting silicone mask based face presentation attack】一文中提出从浅层CNN特征中提取LBP特征，因为CNN能够提取更丰富的低级特征用于深度提取。
- 动态特征：【Cnn based spatio-temporal feature extraction for face anti-spoofing】和【 Joint discriminative learning of deep dynamic textures for 3d mask face anti-spoofing】中提出基于DCNN提取出来的特征，提取光流和LBP-TOP特征；
此类方法的共性问题是：不知道深层卷积特征和浅层卷积特征哪一个更适用于所选用的人工特征
第三类是使用DCNN和人工特征融合（fuse）得到的某个特征。
- 静态特征：【Score-level-based face anti-spoofing system using handcrafted and deep learned characteristics】一文中提出将LBP和VGG-16分别得到的预测分数进行融合。
但是二者的权重如何选择是个重要问题。
- 【Enhancing deep discriminative feature maps via perturbation for face presentation attack detection】一文中提出使用HOG和LBP图来扰动和调整低级卷积特征。
- 动态特征：【Replayed video attack detection based on motion blur analysis】将动作放大的面部视频中提取的动态模糊特征和一维CNN提取到的强度变化特征融合。
这类方法能够提取特定的非纹理的伪造痕迹，传统的FAS仅能提取纹理特征。缺点也很明确：
- 人工特征依赖相关学者的前置研究，没办法直接学习，尽管训练集足够庞大，学习效率也很低。
- 人工特征和深度提取特征容易不兼容，性能容易饱和。
传统深度学习方法
第一类是使用二值交叉熵损失函数的直接监督任务。
FAS可以被视为二值端到端分类任务（是否为真实人脸），可被交叉熵损失函数或其他损失函数（如三元损失函数）监督。
- 使用二值交叉熵损失函数（cross-entropy loss CE）：
1、【Learn convolutional neural network for face anti-spoofing】中使用八层浅层CNN进行端到端的浅层特征提取。但该方法由于数据集限制，容易过拟合；
2、【Transfer learning using convolutional neural networks for face anti-spoofing】【Attention-based two-stream convolutional networks for face spoofing detection】【On the effectiveness of vision transformers for zero-shot face anti-spoofing】中调整了已经使用ImageNet预训练过的VGG16、ResNet18和Vision Transformer，比如修改其中的几层，用于解决过拟合的问题；
3、为了实现实时性，【Deep models and shortwave infrared information to detect face presentation attacks】使用了轻量级的Mobilenet-V2。
上面这些方法只注重了高级特征的提取，但是忽略了浅层特征的提取。
4、为了更好地利用多尺度的特征，【Look locally infer globally: A generalizable face anti-spoofing approach】中使用了自监督的全连接卷积层（FCN）提取特征；
5、【Face anti-spoofing: Model matters, so does data】【Learning temporal features using lstm-cnn architecture for face anti-spoofing】【Face anti-spoofing via sample learning based recurrent neural network (rnn)】【Face anti-spoofing by the enhancement of temporal motion】中结合了级联CNN+LSTM的时空特征分辨PA和真实人像。
- 使用改良的损失函数：
1、【On improving temporal consistency for online face liveness detection】中将二分类问题（真实、伪造）细化为多分类问题（真实、重放、打印等），这样可以把各种PA的独特性质考虑在内。
然而仍然不能满足高内聚低耦合，无法做到完全区分，因为高质量的PA和真实人脸在外部特征上差不多。
2、【Face liveness detection based on client identity using siamese network】【Detecting face presentation attacks in mobile devices with a patch-based cnn and a sensor-aware loss function】中分别使用对比损失函数（Contrastive Loss）和三元损失函数（Triplet Loss）。
但是实际情况下，二分类的类内分布并不一致，真实样本更加紧凑，而伪造样本更多样化，存在着小类间的稀疏分布，但是上述函数强制类内约束。
3、基于上述问题【Patchnet: A simple face anti-spoofing framework via fine-grained patch recognition】使用了非对称的A-softmax损失函数，缓解类内约束。
4、【Camera invariant feature learning for generalized face anti-spoofing】使用了Binary Focal Loss扩大真实和伪造的间距，降低高质量伪造的误识率。
上述方法易于使用且有效，能够加速收敛，但是这种监督方式产生的特征过于泛化（时间/空间），易于过拟合；而且模型是黑盒的。
第二类是像素级监督
- 使用辅助任务的像素级监督：
1、【Searching central difference convolutional networks for face anti-spoofing】【Face anti-spoofing using patch and depth-based cnns】【Deep spatial gradient and temporal depth learning for face anti-spoofing】【Ts-fen: Probing feature selection strategy for face anti-spoofing】使用了伪深度这一特征用来预测活体样本的真实深度，即实际情况下人脸为3D的，是由凹凸起伏的，但照片为平面。
2、【Face anti-spoofing using patch and depth-based cnns】首次使用伪深度训练多尺度FCN，将整体深度图作为标签用于决策。
3、【Searching central difference convolutional networks for face anti-spoofing】使用中心差分卷积（CDC）代替了（2）中的普通卷积以提高细粒度特征的表示，得到下图的CDCN架构：
4、【Deep spatial gradient and temporal depth learning for face anti-spoofing】提出FAS-SGTD架构用于进行短期长期微动作评估（short- and long-term micro-motion estimation），借此进行动态的深度检测。
但是明显不适用于3D面具等。
5、【Deep pixel-wise binary supervision for face presentation attack detection】【Deep tree learning for zero-shot face anti-spoofing】【On disentangling spoof trace for generic face anti-spoofing】【Deep tree learning for zero-shot face anti-spoofing】中提出了二进制掩码标签：使用卷积层对pixel/patch（像素点或一簇像素）进行打分，判定该簇为真的分数，经过全连接层等得到最终输出。这种方法对攻击模式具有泛化性。
上述方法对各个patch是一视同仁的，显然不符合实际情况中人脸各特征的重要程度。
6、【A-deeppixbis: Attentional angular margin for face anti-spoofing】【Auto-fas: Searching lightweight networks for face antispoofing】中使用了注意力模块弥补上面的缺陷。
二值滤波标签只针对于全部人脸伪造有效，当仅有部分伪造时达不到预期。
7、【Basn: Enriching feature representation using bipartite auxiliary supervisions for face antispoofing】中根据人脸材质和伪造材质反照率的差异，提出了结合深度标签和反射标签的监督方法。
8、【Face anti-spoofing with human material perception】中引入了二进制掩码标签，以增加对攻击模式的泛化性。
9、【Face spoofing detection based on local ternary label supervision in fully convolutional networks】基于上述模型，仅保留人脸部分，去除背景中噪声的影响。
10、【Face de-spoofing: Anti-spoofing via noise modeling】【Bi-fpnfas: Bi-directional feature pyramid network for pixel-wise face anti-spoofing by leveraging fourier spectra】使用了傅里叶映射。
11、【Face anti-spoofing via disentangled representation learning】使用了LBP纹理图。
12、【3dpc-net: 3d point cloud network for face anti-spoofing】使用稀疏三维点云图。
辅助任务方法依赖于高分辨率的图像用于提取细节，同时人工特征并不可信。
- 使用生成模型的像素级监督
1、【Face de-spoofing: Anti-spoofing via noise modeling】中使用编码-解码器将检测目标拆分成用于欺骗的噪声和真实的人脸。
2、【Learning generalized spoof cues for face anti-spoofing】基于U-net架构，对生成的噪声人脸进行鉴别，重点对鉴别器进行训练。
3、【Improving cross-dataset performance of face presentation attack detection systems using face recognition datasets】中使用自动编码器，重建出仅包含真实人脸和欺骗人脸共有特征的人脸，使用原人脸和重建人脸间的残差图作为评判标准。
4、【Meta-teacher for face anti-spoofing】中提出了使用元学习。
但是模糊的重建图可能会造成噪声的残差抵消。
上述方法由于不是硬约束条件，因此容易过拟合，联合辅助任务和生成模型可能解决这一问题。
泛化的深度学习方法
第一类是对不可见域的泛化。
- 域适应：域适应是已有一个分类器，但出现了跨域（光照等环境变化）的数据，且能获取到其中一部分无标签数据，借助这些数据将已有的分类器拓展到目标域的过程。
1、【Unsupervised domain adaptation for face anti-spoofing】中使用MMD（大平均差异）来对齐目标域和源域的特征子空间。
2、【Unsupervised adversarial domain adaptation for crossdomain face presentation attack detection】【Improving crossdatabase face presentation attack detection via adversarial domain adaptation】中结合了无监督对抗和MMD，进一步增强泛化性。当两个域无法被鉴别器区分时，则得到了更泛化的域。
但由于目标域数据无标签，上述方法效果仍不好。
3、【Unified unsupervised and semi-supervised domain adaptation network for cross-scenario face anti-spoofing】【Progressive transfer learning for face anti-spoofing】中结合了半监督学习，为模型提供了少量有标签数据，效果大幅改善。
但依赖于有标签数据。
4、【Face anti-spoofing based on multi-layer domain adaptation】中对中间层和分类层同时进行了域适应处理。
但泛化能力有限，而且过于冗杂。
5、【Domain adaptation for generalization of face presentation attack detection in mobile settengs with minimal information】提出把影响泛化性的，提取细粒度特征的卷积核通过剪枝去除掉。
6、【Face anti-spoofing with deep neural network distillation】使用蒸馏算法，从使用MMD和成对嵌入相似度进行正则化的教师模型中提取出需要的FAS模型。
尽管轻量级，但是准确性不如教师模型。
域适应方法的问题在于难以获取有标签的数据，涉及到人脸隐私问题。
- 域泛化
使用域感知对抗性约束
1、【Multi-adversarial discriminative deep domain generalization for face presentation attack detection】使用多判别域生成对抗泛化架构，对一个生成器使用N个判别器（对应N个判别域），以此使得生成器能够生成泛化的特征空间，并结合深度图辅助任务。
可能仍然包含不相关的特征，而且效果并不好。
2、【Cross-domain face presentation attack detection via multi-domain disentangled representation learning】中为了解决第一个问题，使用特征解耦。
3、【Single-side domain generalization for face anti-spoofing】提出学习一个高内聚低耦合的特征空间，真实与伪造距离较远，每种伪造攻击的域间隔较远，但类内聚集。
使用元学习，部分源域数据作为查询集，其他源域数据作为支持集
4、【Regularized fine-grained meta face anti-spoofing】在细粒度特征学习过程中通过寻找泛化的学习方向进行正则化。
但需要源域包含标签。
5、【Generalizable representation learning for mixture domain face anti-spoofing】迭代地把混合域拆成几个能够区分类别的集群，应用域动态调整元学习。
使用简单的通道注意力模块，聚类可信度不高。
6、【Adaptive normalized representation learning for generalizable face anti-spoofing】中使用了IN，消除域之间的差异，实现广义表达。
但是影响了分类的能力。
域泛化确实能提升在不可见域的能力，但无法确定其在可见域的性能是否会降低。
第二类是对攻击类型的泛化
- Zero/Few-Shot Learning：不提供/提供少量待预测标签的样本
没有任何待预测样本的情况下，可信度较低。
2、【Learning meta model for zero-and few-shot face anti-spoofing】使用无样本和少样本融合训练一个元学习模型。 直接使用少量样本的元学习可能导致对预定义PA失去判别力。3、【Learning to learn face-pad: a lifelong learning approach】从持续喂入的数据中逐渐地学习。
上述方法在Zero-Shot时效果都比较差，特别是质量高的伪装。
- 异态检测：实际上是单类分类器的聚类问题，将真实样本视为正常类，不被划分到正常类的即为伪造。
1、【An anomaly detection approach to face spoofing detection: A new formulation and evaluation protocol】中评估了各种异态检测方法，提出二分类SVM可能效果更好。
2、【On effectiveness of anomaly detection approaches against unseen presentation attacks in face anti-spoofing】使用GMM（高斯混合模型）代替单分类SVM来学习真实的概率分布。
3、【Unknown presentation attack detection with face rgb images】使用基于自动编码器的异常值检测器和LBP特征提取器。
上述方法将分类器和特征提取拆解开，特征学习更困难（失去约束）。
4、【Anomaly detection based unknown face presentation attack detection】使用端到端的异常值检测，使用生成器生成负样本使鉴别器具有鉴别力。
生成的样本不能反映现实的负样本的概率分布。
5、【Deep anomaly detection for generalized face antispoofing】使用三元focal损失训练目标，并使用少量样本的后验概率来检验新的异常。
6、【Learning one class representations for face presentation attack detection using multi-channel convolutional neural networks】为GMM设计了新的损失函数：OCCL。
上述方法由于需要级联分类器，影响了端到端学习。
7、【Unseen face presentation attack detection with hypersphere loss】使用了超球面损失，异常可以直接在特征空间检测到。
判定攻击的阈值难以确定。
你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧
当前文章：FaceAnti-SpoofingFAS综述-创新互联
文章位置：http://shouzuofang.com/article/dgiipi.html