前沿拓展：

multi服務器優惠碼

阿里云的雙11活動已經結束了，考慮其他云計算廠商的吧，我剛在景安買了個快云服務器

由 IEEE 舉辦的計算機視覺和模式識別領域的世界級學術頂會 CVPR，每年都會吸引全球眾多專業人士參與，不僅是學者展示前沿科技成果的會議，也是各界探索學術應用的平臺。

作為人工智能技術領域的深耕者，螞蟻集團攜手 CVPR22 the 17th IEEE Computer Society Workshop on Biometrics，并**內外知名高校及行業權威機構，在阿里云天池平臺舉辦了 Workshop 雙競賽。

比賽共吸引全球 1300 余支隊伍報名參賽，最終，來自華中科技大學、上海科技大學、南京理工大學的團隊獲得「寵物生物特征識別競賽」的前三名，來自網易、字節跳動、美團的團隊獲得「圖像篡改檢測競賽」的前三名。

雙賽道并行 共同探索計算機視覺技術革新之道

賽道一：寵物生物特征識別競賽

隨著寵物經濟的迅猛增長，AI 技術賦能寵物產業也逐漸成為了業界關注的熱點，例如通過技術手段進行寵物身份認證，在寵物管理、交易、醫療、保險等諸多應用場景中具備重要社會與經濟價值。為此，螞蟻集團聯合復旦大學人工智能創新與產業研究院推動舉辦寵物相關的系列學術競賽，旨在鼓勵技術創新，以解決真實場景下的寵物犬身份認證難題。其中，華中科技大學、上海科技大學和南京理工大學分別以 AUC 0.9087 分、0.8881 分、0.8667 分榮獲該競賽的前三名，為實現寵物鼻紋特征識別提供了突破性的解決方案。

華中科技大學：基于實例特征的難樣本加權對比損失，優化提升寵物鼻紋的區分度

犬類的鼻部紋理，類似于人類的指紋，具備身份唯一性，可用于提取身份特征確認犬的身份。來自華中科技大學的團隊首先基于對比和度量學習來提取鼻紋的特征信息，使用 OIM 損失探索不同 ID 的特征之間的關系，進行粗粒度的學習。由于相同品種的寵物鼻紋只有細微的差異，該團隊創新提出了一種基于實例特征的難樣本加權對比損失。該方法能記錄所有訓練圖片的特征并在線更新，每個樣本需要在特征池里尋找前 N 個難負樣本進行對比損失。同時，對正樣本也根據相似度進行加權，以此加強對難正樣本的學習。通過這種基于實例特征的難樣本加權對比損失，可以加強細粒度樣本之間的區分度。此外，該團隊還使用數據增強與多模型融合技術來應對拍攝過程中光照、角度變化，在真實數據上取得更高的識別準確率。

上海科技大學：基于對比學習雙全局描述器的寵物鼻紋匹配方案

考慮到比賽中每只寵物的圖片比較少，來自上海科技大學團隊的思路是將其作為圖像檢索任務來處理。首先參考了圖像檢索的相關工作，選擇使用監督對比損失作為目標損失函數。通過觀察訓練集和驗證集，該團隊還發現訓練集的圖片大小和清晰度和驗證集存在差異，于是在訓練時先以一定的概率將圖片縮放到一個較小的尺寸，再縮放到較大的輸入尺寸。另外，在推理時直接使用池化結果作為最終的特征，這樣能保留更多的細節，并且盡可能使用更大的 batch size 提升對比學習的性能。在比賽過程中，該團隊還使用了 TTA、AMP、EMA 等技術，采用數據增強對模型進行微調，以提升泛化能力。

南京理工大學：多尺度特征融合結合離在線數據增強的寵物鼻紋識別方案

來自南京理工大學的團隊離線使用了隨機仿射變換、濾波模糊（高斯濾波、中值濾波和均值濾波）和圖像銳化進行樣本擴充，在線訓練時則使用了 Aug-Mix, Affine, Color-Jitter 等數據增強避免過擬合。該團隊參賽模型的骨干網絡使用 ResNeSt，聚合模塊使用 Gem Pooling，分類頭采用 BN-neck。訓練時，分類損失采用標簽平滑的交叉熵損失函數，度量學習采用 soft-margin triplet loss 和 circle loss，并使用 XBM 進行難例挖掘。在后處理方面，該團隊采用了單一模型不同尺度的特征進行 concat, 再使用余弦相似性進行距離度量。

復旦大學浩清特聘教授，人工智能創新與產業研究院院長漆遠表示，本次比賽的初心，是為來自高校與企業的優秀算法人才提供貼近真實場景的數據與賽題，讓大家能夠在這個平臺上競技與交流，探索前沿技術解決真實世界問題的可能性。我們很高興看到最終獲獎團隊的技術方案是針對寵物鼻紋識別任務的特點，提出了創新的優化，而并非現有技術的簡單堆砌，從而在眾多參賽者中脫穎而出。本次比賽獲獎團隊的方案均已開源，我們希望通過這種方式，促進人工智能技術在寵物產業中的應用，推動行業的發展進步。

賽道二：圖像篡改檢測競賽

圖像處理技術的發展，讓數字圖片可以輕易地被編輯和修改。經過篡改后合成的圖像多被用于**內容、虛假**誘導**中，不僅降低了內容的真實性和可信度，還侵犯個人隱私，擾亂社會秩序。為此，螞蟻集團聯合新加坡南洋理工大學、**信通院云大所舉辦圖像篡改檢測競賽，旨在推動學術界和產業界對該領域更多的關注，促進檢測技術的進步與發展。其中，網易、字節跳動、美團分別以 AUC 0.9938 分、0.9913 分、0.9879 分榮獲該競賽的前三名，下文將對三個優秀方案展開詳細解讀。

網易公司：基于數據增廣和模型融合的高泛化性篡改檢測

該團隊憑借在人臉編輯和生成方面的深厚算法和數據積淀，創新性地提出了一套以魔法打敗魔法的解決方案—— DAME: Data Augmentation and Model Ensemble for Generalized Face Forgery Detection。在比賽訓練數據的基礎上，基于面部重演、換臉、人臉屬性編輯、人臉卡通畫及藝術化濾波等算法對訓練數據進行增廣和擴充，生成了近 40 萬假圖，極大地豐富了訓練集的多樣性，為模型的泛化性奠定強力基礎。此外，團隊創造性地提出了真圖特征分布一致性的假設，將解題思路從 "識別已知造假特征" 轉換為 "識別任意非真圖的特征"，并據此提出了包含多樣化主干網絡設計、針對性的學習率調整和采樣策略等在內的低相關度模型訓練和融合方案。該方案可以準確的檢測出現有的各種類型的深度偽造攻擊，并且在未知偽造類型的檢測中取得了良好的表現。最終，該團隊以 AUC 0.99386 和 0.98928 的成績包攬了初賽和復賽兩階段的第一名。

字節跳動：多模態多分類的多元篡改檢測

針對此次比賽偽造類型多、高分辨率、且存在未知偽造類型的特點，來自字節跳動的團隊使用了多模態多分類的多元篡改檢測方案。在基于原始 RGB 圖像作為輸入的基礎模型之上，多模態模型使用定制的 SRM 算子（Spatial Rich Model），把濾波后的圖像作為一種新模態進行訓練。該算子可以弱化 RGB 的顏色信息，更加關注圖像的殘差特征，突出圖像的噪聲模式和紋理信息，能更好對篡改圖像進行表征。此外，多分類模型設計了 AIM（Augmentation Inside Mask）在線偽造增強模塊，在原有二分類的基礎上，將 AIM 實時偽造的樣本作為未知深度偽造類型的第三類進行學習。AIM 本質是一種 self-blending 的在線偽造增強方式，基于掩碼將原圖劃分為人臉前景和背景，并僅對人臉區域進行加噪、模糊、顏色抖動等各種數據增強**作，模擬了圖像篡改可能存在的色彩差異、分辨率差異、噪聲模式差異以及五官位置不對應等現象。在最終方案里選取了基礎模型、多分類、多模態的模型的不同訓練階段的模型進行集成。

美團：更具泛化性的圖像篡改檢測：模型重要，數據表征也至關重要

該團隊的解決方案首先在主干選型上做了大量實驗，充分考慮了主干模型的異構性和多樣性，最終構建了包含 7 個主干的模型池，基礎模型類型涉及 SwinTransformer、VAN、CDCNpp、Multi-Attention（MAT）和 ConvNext 5 種。除此之外，不同模型用于進行不同的數據特征表征處理，其中 SwinTransformer、VAN 和 ConvNext 關注不同尺度圖像 RGB 特征，Multi-Attention 關注淺層紋理特征，CDCNpp 關注局部區域特征，各有側重且互為補充。最終所有模型的融合權重使用 PSO 算法搜索和人工微調的方式得到。為了增強數據多樣性，該團隊使用了基于人臉分割掩碼進行 self-blending 和 local cutting 的數據增強，來提高模型的泛化性能。值得一提的是，為了對模型泛化性能進行更合理的評測，選手還利用 FaceMorph、StarGAN、StyleGAN、FaceEdit 和 FaceSwap 等一系列深偽工具創建了一個額外的評測集，用于驗證和篩選泛化性更好的模型。

螞蟻集團數字身份負責人，資深算法專家陳弢對方案點評到：針對圖像的深度偽造攻擊反映了基于數據驅動的第二代 AI 在魯棒性上的關鍵瑕疵。第三代可信 AI 在解決此類問題上采用數據驅動和知識驅動結合的技術方案。第一名方案引入將近 30 種偽造工具來擴展攻擊數據的多樣性和覆蓋面，提高了防攻擊的泛化能力；第二名對新型攻擊方式針對性的設計偽造檢測算子， 提高模型的檢測能力；第三名關注了基礎模型選型的多樣性，精心設計了不同的訓練策略。這些方案對于我們在實際業務中防控深偽攻擊都很有價值。

螞蟻集團天塹實驗室負責人，資深算法專家劉焱的觀點：深度偽造檢測是一個攻防對抗異常激烈的領域，經濟利益的驅使以及大量開源的視頻偽造、修改軟件的出現，促使了深度偽造技術發展迅速、變種多樣。基于單一檢測模型或者單一強特征的檢測技術已經難以應對目前的深度偽造技術。當前的檢測技術呈現了以下幾個趨勢：首先，使用多種偽造技術、工具和數據增強技術，生成超大型數據集；借鑒集成學習的思路，綜合使用多種檢測模型；不斷通過挖掘真假視頻在生理學上的差異，利用信息差不斷形成新的強特征。

另外，從實際應用的角度，深度偽造檢測技術的可解釋性非常重要。除了少數出于娛樂目的的名人換臉，大量的有針對性的視頻難以用肉眼分別，這就要求檢測技術除了返回真假結果，還需要提供更多的輔助判斷信息，比如圖片、視頻修改的區域，使用的技術、工具等。

關于深度偽造檢測的方向和發展趨勢，新加坡南洋理工大學 Ziwei Liu 教授提到，深度偽造檢測未來還是會繼續往大規模、泛化性的方向發展。隨著新的偽造方法的出現，如果讓深度偽造檢測快速遷移到全新的偽造方法上，也將會是一個重要的問題。

**信通院云大所內容科技部副主任劉碩則表示，數字時代已經來臨，針對偽造數字圖像和視頻的檢測技術愈發重要。本次 CVPR 2022 圖像篡改檢測競賽激發了技術創新，成績優異的技術方案通過使用模型集成與融合、數據增廣等技術方法，并結合模型結構和訓練方法等改進，很好地提升了鑒偽的泛化性和魯棒性，這為真實場景中的技術落地應用提供有益參考。在未來，圍繞著偽造與鑒別的 “攻防” 將持續存在，除了需要從技術上不斷創新，還需要聯合 “政產學研用” 等多方力量，共同探索針對偽造內容的治理實踐范式。

計算機視覺技術是螞蟻集團多年來深耕的一個研究方向，已在螞蟻集團的數字生活、數字金融、安全科技等業務中廣泛應用，持續服務海量的用戶和行業伙伴。此次螞蟻攜手計算機視覺頂會，聯合高校和產業機構舉辦「面向真實場景」的雙競賽，通過產學研聯動，共同推動計算機識別技術的進步。

如果想更深入了解比賽詳情和獲獎方案的解讀，我們還將在 6 月 18 日晚上 19:30 于機動組視頻號直播 CVPR 22 17th IEEE Computer Society Workshop on Biometrics 螞蟻雙賽道比賽總結，歡迎來看！

拓展知識：

multi服務器優惠碼

最近阿里云出了很多活動，需要咨詢的話可以回帖，在線回答您

multi服務器優惠碼

華為云就有

multi服務器優惠碼

我有券呀!!!

multi服務器優惠碼

景安服務器挺便宜的，VPS 1核1g 活動115每年