近日，2024年度上海市科學技術獎的獲獎名單正式揭曉，上海交通大學與螞蟻集團攜手合作的項目《復雜對抗場景下的網絡媒體內容安全檢測關鍵技術與應用》榮獲科技進步獎一等獎。這一殊榮標志著該項目在內容安全檢測領域取得了國際先進水平，特別是AIGC檢測等技術更是達到了國際領先。
在此次獎項的核心技術評審中，以中國工程院院士王耀南領銜的專家委員會給予了高度評價。他們認為，該技術整體表現卓越，尤其在復雜對抗場景下，展現出了強大的檢測能力和創新性。
在頒獎現場，上海交通大學與螞蟻集團的代表，蔣興浩與王維強，共同見證了這一榮耀時刻。隨著生成式人工智能和大模型的快速發展，雖然內容生成技術日益智能化，但也帶來了諸多挑戰，如價值觀偏離、意識形態沖突以及道德規范問題等。這些問題對互聯網信息的健康傳播和網絡有害信息的治理構成了嚴峻挑戰。
面對這一挑戰，上海交通大學與螞蟻集團等團隊共同研發了一系列關鍵技術，旨在應對大模型時代復雜對抗場景下的內容安全治理難題。這些技術包括多模理解、AI鑒真、異常推理和多模文檔解析等，為內容安全治理提供了新的模式和思路。
上海交通大學副校長蔣興浩表示，項目組的多家單位研發團隊緊密合作，共同探索如何保護人工智能時代的信息內容安全。他們不僅解答了這一難題，還積極引領了生成式人工智能時代的內容安全治理新模式。
該項目在技術創新方面取得了顯著成果，解決了傳統檢測模型泛化難題、異常樣本采集挑戰、隱晦內容檢測以及多變博弈攻擊等核心問題。具體而言，他們提出了基于思維鏈的多模態大模型幻覺緩解技術，研發了可控多模態數據智能生成方法，研制了網絡媒體內容安全監測一體化解決方案，并提出了基于對抗與溯源的模型安全防護技術。
這些技術創新不僅顯著提升了內容安全領域復雜攻擊下的防控效果和效率，還為互聯網上有害信息的治理帶來了突破性進展。同時，這些技術也為AI技術在更廣泛領域的應用提供了強有力的支撐。
據了解，該項目已經獲得了41項發明專利、1項國標和1項地標、10項軟件著作權以及118篇論文的發表。該項目已經應用于多個平臺的內容安全業務防控中，取得了顯著的成效。其中，AIGC安全檢測等技術已經服務于支付寶的內容相關業務，實現了對不良內容的高效識別與攔截，確保了平臺內容的健康與安全。
螞蟻安全實驗室首席科學家王維強表示，在國家網絡安全戰略的指引下，螞蟻集團通過產學研合作，研發了包括隱晦推理、AIGC識別等核心技術，構建了互聯網信息安全智能治理體系。這一體系不僅為海量創作者提供了安全可信的創作環境，還通過持續迭代的模型能力，筑牢了風險屏障。未來，螞蟻集團將繼續投入安全科技，深耕可信AI技術研發，推動網絡安全智能化進程。
