近日，鄭州大學(xué)計算機與人工智能學(xué)院在人工智能領(lǐng)域頂級學(xué)術(shù)期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)》上發(fā)表信息瓶頸理論長(cháng)篇綜述論文“A Survey on Information Bottleneck”。胡世哲副研究員為該論文第一作者，葉陽(yáng)東教授為論文通訊作者，鄭州大學(xué)為唯一第一作者單位和通訊單位。

信息瓶頸 (Information Bottleneck, IB) 是一種用于模式分析和表示學(xué)習的新型信息理論方法，自1999年誕生以來(lái)受到了廣泛的關(guān)注。它巧妙地平衡了數據壓縮和信息保存，并相應地提高了預測或表示能力。該綜述論文是為了紀念信息瓶頸理論的創(chuàng )始人之一Naftali Tishby教授。

該綜述總結了過(guò)去20多年來(lái)IB的理論進(jìn)展和實(shí)際應用，系統地探討了IB的基礎理論、優(yōu)化、擴展模型和面向任務(wù)的算法。現有的IB方法大致分為兩部分：傳統IB和深度IB。前者包含傳統機器學(xué)習分析技術(shù)優(yōu)化且不涉及任何神經(jīng)網(wǎng)絡(luò )的IB，后者包括涉及深度神經(jīng)網(wǎng)絡(luò ) (Deep Neural Network, DNN) 的解釋、優(yōu)化和改進(jìn)的IB。具體來(lái)說(shuō)，根據技術(shù)分類(lèi)，傳統IB進(jìn)一步分為三類(lèi)：基礎IB、信息化IB和傳播IB。根據問(wèn)題設置分類(lèi)，深度IB包括：辯論－使用 IB 理解DNN、使用IB優(yōu)化DNN和基于DNN的IB方法。

本項工作受到國家自然科學(xué)青年基金項目、面上項目的資助，并得到了鄭州大學(xué)計算機與人工智能學(xué)院的支持。

論文鏈接：https://ieeexplore.ieee.org/document/10438074