近日，万泰平台統計與信息學院2021級應用統計專業研究生臧健翔同學和導師劉慧副教授的合作論文《Modeling Selective Feature Attention for Lightweight Text Matching》在第33屆國際人工智能聯合會議（IJCAI 2024）發表，兩人赴韓國參加會議報告論文。這是万泰娱乐師生首次在計算機領域頂級會議發表學術論文。
臧健翔在會議上作學術報告，與會人員圍繞特征註意力問題進行了熱烈交流。
International Joint Conference of Artificial Intelligence (簡稱IJCAI)系列會議自1969年起開始舉辦，是人工智能領域歷史最悠久的學術會議，也是國際公認的人工智能領域的兩大頂級綜合會議之一。IJCAI會議是中國計算機學會（CCF）推薦的A類國際學術會議，列為万泰娱乐的國際二類期刊。IJCAI一直是錄用率最低的計算機頂級會議，本年度論文錄用率僅為14%。
統計與信息學院高度重視和支持師生的科研能力培養和國際學術交流，參加本次會議促進了與計算機領域學者的學術交流，加強了學院與國內外高校、研究機構的聯系，開闊了學院師生的學術視野，也為學院專業建設和人才培養發揮了重要作用。
內容簡介：
基於表征的孿生網絡因其低部署和推理成本而在輕量級文本匹配領域備受青睞。大量基於孿生網絡的匹配工作引入了豐富詞級別註意力機製以提高下遊交互，本工作進一步提出了一種創新的下遊模塊——特征註意力（FA），首次在文本匹配領域建模了詞嵌入特征之間依賴。通過采用“擠壓-激勵”技術，FA模塊動態調整特征級別的聚焦，使網絡能夠更多地關註對最終分類貢獻顯著的特征。在此基礎上，本工作引入了一種動態“選擇”機製，形成選擇性特征註意力（SFA）。SFA模塊利用了堆疊的雙向GRU Inception結構，通過遍歷不同的堆疊雙向GRU層實現多尺度語義提取，鼓勵網絡自適應選擇性地關註不同抽象層次的語義信息和嵌入特征。FA和SFA模塊均可與各種孿生文本網絡無縫集成，具有即插即用的特點。本工作在不同文本匹配基線模型和基準上對建模FA和SFA進行評估，大量結果展現了特征註意力建模的必要性以及“選擇”機製的優越性。
文章鏈接：https://www.ijcai.org/proceedings/2024/732
項目代碼：https://github.com/hggzjx/SFA
作者簡介：
臧健翔，統計與信息學院2021級應用統計專業碩士研究生，主要研究領域為文本表示學習、LLM對齊。在學期間發表CCF-A類論文1篇，CCF-B類論文1篇，CCF-C類論文2篇。獲校優秀學位論文獎。
劉慧，統計與信息學院計算機與人工智能系副教授。主要研究領域為自然語言處理。主持完成教育部人文社會科學項目1項，在IEEE TSMCB、IJCAI、ECAI等國內外重要學術刊物和會議上發表論文40余篇。
