近日，鄭州大學(xué)計算機與人工智能學(xué)院在人工智能領(lǐng)域頂級學(xué)術(shù)期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)》上發(fā)表信息瓶頸理論長篇綜述論文“A Survey on Information Bottleneck”。胡世哲副研究員為該論文第一作者，葉陽東教授為論文通訊作者，鄭州大學(xué)為唯一第一作者單位和通訊單位。

信息瓶頸 (Information Bottleneck, IB) 是一種用于模式分析和表示學(xué)習(xí)的新型信息理論方法，自1999年誕生以來受到了廣泛的關(guān)注。它巧妙地平衡了數(shù)據(jù)壓縮和信息保存，并相應(yīng)地提高了預(yù)測或表示能力。該綜述論文是為了紀念信息瓶頸理論的創(chuàng)始人之一Naftali Tishby教授。

該綜述總結(jié)了過去20多年來IB的理論進展和實際應(yīng)用，系統(tǒng)地探討了IB的基礎(chǔ)理論、優(yōu)化、擴展模型和面向任務(wù)的算法?，F(xiàn)有的IB方法大致分為兩部分：傳統(tǒng)IB和深度IB。前者包含傳統(tǒng)機器學(xué)習(xí)分析技術(shù)優(yōu)化且不涉及任何神經(jīng)網(wǎng)絡(luò)的IB，后者包括涉及深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network, DNN) 的解釋、優(yōu)化和改進的IB。具體來說，根據(jù)技術(shù)分類，傳統(tǒng)IB進一步分為三類：基礎(chǔ)IB、信息化IB和傳播IB。根據(jù)問題設(shè)置分類，深度IB包括：辯論－使用 IB 理解DNN、使用IB優(yōu)化DNN和基于DNN的IB方法。

本項工作受到國家自然科學(xué)青年基金項目、面上項目的資助，并得到了鄭州大學(xué)計算機與人工智能學(xué)院的支持。

論文鏈接：https://ieeexplore.ieee.org/document/10438074