近日，上海對(duì)外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)與信息學(xué)院2021級(jí)應(yīng)用統(tǒng)計(jì)專業(yè)研究生臧健翔同學(xué)和導(dǎo)師劉慧副教授的合作論文《Modeling Selective Feature Attention for Lightweight Text Matching》在第33屆國(guó)際人工智能聯(lián)合會(huì)議（IJCAI 2024）發(fā)表，兩人赴韓國(guó)參加會(huì)議報(bào)告論文。這是我校師生首次在計(jì)算機(jī)領(lǐng)域頂級(jí)會(huì)議發(fā)表學(xué)術(shù)論文。
臧健翔在會(huì)議上作學(xué)術(shù)報(bào)告，與會(huì)人員圍繞特征注意力問(wèn)題進(jìn)行了熱烈交流。
International Joint Conference of Artificial Intelligengce (簡(jiǎn)稱IJCAI)系列會(huì)議自1969年起開(kāi)始舉辦，是人工智能領(lǐng)域歷史最悠久的學(xué)術(shù)會(huì)議，也是國(guó)際公認(rèn)的人工智能領(lǐng)域的兩大頂級(jí)綜合會(huì)議之一。IJCAI會(huì)議是中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類國(guó)際學(xué)術(shù)會(huì)議，列為我校的國(guó)際二類期刊。IJCAI一直是錄用率最低的計(jì)算機(jī)頂級(jí)會(huì)議，本年度論文錄用率僅為14%。
我院高度重視和支持師生的科研能力培養(yǎng)和國(guó)際學(xué)術(shù)交流，參加本次會(huì)議促進(jìn)了與計(jì)算機(jī)領(lǐng)域?qū)W者的學(xué)術(shù)交流，加強(qiáng)了我院與國(guó)內(nèi)外高校、研究機(jī)構(gòu)的聯(lián)系，開(kāi)闊了學(xué)院師生的學(xué)術(shù)視野，也為我院專業(yè)建設(shè)和人才培養(yǎng)發(fā)揮了重要作用。
內(nèi)容簡(jiǎn)介
基于表征的孿生網(wǎng)絡(luò)因其低部署和推理成本而在輕量級(jí)文本匹配領(lǐng)域備受青睞。大量基于孿生網(wǎng)絡(luò)的匹配工作引入了豐富詞級(jí)別注意力機(jī)制以提高下游交互，本工作進(jìn)一步提出了一種創(chuàng)新的下游模塊——特征注意力（FA），首次在文本匹配領(lǐng)域建模了詞嵌入特征之間依賴。通過(guò)采用“擠壓-激勵(lì)”技術(shù)，F(xiàn)A模塊動(dòng)態(tài)調(diào)整特征級(jí)別的聚焦，使網(wǎng)絡(luò)能夠更多地關(guān)注對(duì)最終分類貢獻(xiàn)顯著的特征。在此基礎(chǔ)上，本工作引入了一種動(dòng)態(tài)“選擇”機(jī)制，形成選擇性特征注意力（SFA）。SFA模塊利用了堆疊的雙向GRU Inception結(jié)構(gòu)，通過(guò)遍歷不同的堆疊雙向GRU層實(shí)現(xiàn)多尺度語(yǔ)義提取，鼓勵(lì)網(wǎng)絡(luò)自適應(yīng)選擇性地關(guān)注不同抽象層次的語(yǔ)義信息和嵌入特征。FA和SFA模塊均可與各種孿生文本網(wǎng)絡(luò)無(wú)縫集成，具有即插即用的特點(diǎn)。本工作在不同文本匹配基線模型和基準(zhǔn)上對(duì)建模FA和SFA進(jìn)行評(píng)估，大量結(jié)果展現(xiàn)了特征注意力建模的必要性以及“選擇”機(jī)制的優(yōu)越性。
文章鏈接：
https://www.ijcai.org/proceedings/2024/732
項(xiàng)目代碼：
https://github.com/hggzjx/SFA
作者簡(jiǎn)介
臧健翔，統(tǒng)計(jì)與信息學(xué)院2021級(jí)應(yīng)用統(tǒng)計(jì)專業(yè)碩士研究生，主要研究領(lǐng)域?yàn)槲谋颈硎緦W(xué)習(xí)、LLM對(duì)齊。在學(xué)期間發(fā)表CCF-A類論文1篇，CCF-B類論文1篇，CCF-C類論文2篇。獲校優(yōu)秀學(xué)位論文獎(jiǎng)。
劉慧，統(tǒng)計(jì)與信息學(xué)院計(jì)算機(jī)與人工智能系副教授。主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理。主持完成教育部人文社會(huì)科學(xué)項(xiàng)目1項(xiàng)，在IEEE TSMCB、IJCAI、ECAI等國(guó)內(nèi)外重要學(xué)術(shù)刊物和會(huì)議上發(fā)表論文40余篇。