摘要在一篇文章中有著至關(guān)重要的作用，它濃縮了整篇文章的精華，可以讓你快速了解該篇文章的研究背景、研究意義和研究亮點(diǎn)，進(jìn)而決定了你是否會點(diǎn)開這篇文章仔細(xì)閱讀。

如果摘要太長或者邏輯混亂，就會失去它讓人快速瀏覽的意義，很有可能讓人忽略掉一篇正文內(nèi)容還不錯的文章。那么，是否可以在摘要的基礎(chǔ)上進(jìn)一步提煉，用一句話概括文章？

答案是：AI 可以做到。

近日，一款科學(xué)搜索引擎在其官網(wǎng)上就推出了這樣一款 AI 軟件——TLDR，即“太長了，沒有讀”（too long，didn’t read）的意思，該軟件可以自動生成研究論文的一句話總結(jié)。這款軟件的開發(fā)者認(rèn)為，這樣可以幫助研究人員更快地瀏覽論文，減少閱讀摘要的時間。

TLDR 經(jīng)常被用于網(wǎng)上關(guān)于科學(xué)論文的非正式討論（比如，Twitter 或 Reddit）。

本周，這款軟件在華盛頓州西雅圖的非營利性艾倫人工智能研究所（AI2）創(chuàng)建的搜索引擎 Semantic Scholar 的搜索結(jié)果中開始上線使用。目前，該軟件只為 Semantic Scholar 所覆蓋的 1000 萬篇計算機(jī)科學(xué)論文生成一句話摘要。

AI2 管理 Semantic Scholar 小組的 Dan Weld 表示，他們目前正在優(yōu)化 TLDR，預(yù)計一個月左右的時間后，TLDR 將陸續(xù)涵蓋其他學(xué)科領(lǐng)域的論文。

圖 ｜ TLDR 與普通總結(jié)的對比 （來源：Semantic Scholar）

初步測試表明，該工具可以幫助讀者比查看標(biāo)題和摘要的方式更快地整理搜索結(jié)果，特別是在手機(jī)上。

圖 ｜ TLDR 在手機(jī)上的效果（來源：Nature）

介紹該軟件的預(yù)印本于 4 月 1 日首次發(fā)表在 arXiv 預(yù)印本服務(wù)器上，并在 11 月舉行的自然語言處理會議上經(jīng)過同行評審后被接收發(fā)表。研究人員免費(fèi)提供了他們的代碼，以及一個測試 demo，任何人都可以嘗試使用。

圖 ｜ 生成 TLDR 的測試 （來源：SCITDLR）

如何訓(xùn)練 TLDR？

TLDR 本質(zhì)上就是對科學(xué)論文的一種新的總結(jié)。Weld 創(chuàng)建 TLDR 軟件的靈感一部分來自于他的同事，其在 Twitter 上分享標(biāo)記文章的活潑句子。與其他語言生成軟件一樣，該軟件是利用深度神經(jīng)網(wǎng)絡(luò)，通過進(jìn)行大量的訓(xùn)練而生成。

圖 ｜ TLDR 的介紹 （來源：arxiv）

為了訓(xùn)練 TLDR，研究人員準(zhǔn)備了 SCITLDR，這是一個多目標(biāo)數(shù)據(jù)集，包含5411篇TLDR，覆蓋計算機(jī)科學(xué)領(lǐng)域的 3229 篇科學(xué)論文。

其中，訓(xùn)練集包含 1992 篇論文，每篇論文都有一個“黃金”TLDR，也就是最佳 TLDR。開發(fā)集和測試集分別包含 619 篇和 618 篇論文，分別有 1452 個和 1967 個 TLDR。

通常情況下，總結(jié)數(shù)據(jù)集會假設(shè)一個給定文檔只有一個黃金總結(jié)，而 SCITLDR 與大多數(shù)現(xiàn)有的總結(jié)數(shù)據(jù)集不同。正如早期的摘要評估工作所證明的那樣，人類撰寫的摘要具有可變性。

將每篇論文只考慮一個黃金 TLDR 作為自動評估的基礎(chǔ)，可能會導(dǎo)致系統(tǒng)質(zhì)量評估不準(zhǔn)確，因?yàn)榭赡艹霈F(xiàn)在 TLDR 中的內(nèi)容可能具有很大的可變性。此外，為每份文件提供多個黃金摘要，可以進(jìn)行更深入的分析和徹底的評估。

為了解決這個問題，SCITLDR 包含了從作者角度撰寫的 TLDR（＂TLDR－Auth＂）和從同行評審者角度撰寫的 TLDR（＂TLDR－PR＂）。

TLDR－Auth 可在各種在線平臺上獲得。在公開的科學(xué)評審平臺 OpenReview．org 上，作者提交其論文的 TLDR，為審稿人和其他感興趣的學(xué)者總結(jié)主要內(nèi)容。學(xué)者們也會在Twitter 和 Reddit 等社交媒體平臺上分享 TLDR。

TLDR－PR 是將同行評審員已經(jīng)仔細(xì)檢查了源論文后寫的評論中的總結(jié)重寫成 TLDR。為了完成這項任務(wù)，研究人員從華盛頓大學(xué)招募了 28 名計算機(jī)科學(xué)專業(yè)的本科生，他們有自我報告的閱讀科學(xué)論文的經(jīng)驗(yàn)。在接受一個小時的一對一寫作訓(xùn)練并篩選后完成 TLDR 的寫作工作。

圖 ｜ TLDR－Auth 和 TLDR－PR的對比（來源：arxiv）

圖 ｜ TLDR－Auth 和 TLDR－PR的對比（來源：arxiv）

TLDR－Auth 和 TLDR－PR 即使包含相同的信息內(nèi)容，也會有很大的差異�？偟膩碚f，TLDR－PR 總結(jié)的更為抽象。

引入 CATTS 對 TLDR 進(jìn)行優(yōu)化

CATTS（Controlled Abstraction for TLDRs with Title Scaffolding），這是一種簡單而有效的學(xué)習(xí)生成 TLDR 的方法，它可以在以上介紹的數(shù)據(jù)集訓(xùn)練的基礎(chǔ)上進(jìn)行補(bǔ)充訓(xùn)練。該方法解決了兩個主要挑戰(zhàn)：（1） 訓(xùn)練數(shù)據(jù)的大小是有限的；（2） 為了編寫高質(zhì)量的黃金 TLDR，需要領(lǐng)域知識。

為了解決這些挑戰(zhàn)，研究人員提出使用科學(xué)論文的標(biāo)題作為額外的生成目標(biāo)。由于標(biāo)題通常包含有關(guān)論文的關(guān)鍵信息，假設(shè)訓(xùn)練模型生成標(biāo)題將允許它學(xué)習(xí)如何定位論文中的突出信息，這些信息對生成 TLDR 也很有用。

通過多任務(wù)學(xué)習(xí)納入輔助腳手架任務(wù)之前已經(jīng)研究過，用于改進(jìn)跨度標(biāo)注和文本分類 。與多任務(wù)學(xué)習(xí)類似，在帶有控制代碼注釋的異質(zhì)數(shù)據(jù)上進(jìn)行訓(xùn)練已經(jīng)被證明可以改善自回歸語言模型中的控制生成。

為了讓標(biāo)題生成完成輔助 TLDR 生成的任務(wù)，研究人員提出用標(biāo)題生成數(shù)據(jù)集洗牌 SCITLDR，然后分別用控制代碼 ＜｜TLDR｜＞ 和 ＜｜TITLE｜＞ 附加每個源。這使得模型的參數(shù)可以學(xué)習(xí)生成 TLDR 和標(biāo)題。在生成時，適當(dāng)?shù)目刂拼�碼被附加到源中。此外，上采樣特定任務(wù)可以被視為應(yīng)用特定任務(wù)的權(quán)重，類似于多任務(wù)學(xué)習(xí)設(shè)置中的權(quán)重?fù)p失。

圖 ｜ CATTS引入可視化（來源：arxiv）

對 TLDR 未來的期待

＂我預(yù)測，在不久的將來，這種工具將成為學(xué)術(shù)搜索的標(biāo)準(zhǔn)功能。事實(shí)上，考慮到科研人員實(shí)際的需求，我很驚訝等了這么長時間才看到它的實(shí)際應(yīng)用。＂ 西雅圖華盛頓大學(xué)的信息科學(xué)家杰文 － 韋斯特（Jevin West）說，他應(yīng)《自然》雜志的要求測試了該工具。＂雖然它并不完美，但它絕對是朝著正確方向邁出的重要一步。＂ 他說。

Weld 指出，TLDR 軟件并不是唯一的科學(xué)總結(jié)工具：自 2018 年以來，網(wǎng)站 Paper Digest 也一直提供論文摘要，但它似乎是從文本中提取關(guān)鍵句子，而不是生成新句子。

TLDR 可以從論文的摘要、引言和結(jié)論中生成一句話。它的摘要往往是根據(jù)文章文本中的關(guān)鍵短語建立起來的，所以它的受眾人群是已經(jīng)了解論文行話的專業(yè)的科研人員。對于普通人來說，閱讀起來依舊存在一些難度。但 Weld 表示，該團(tuán)隊正在努力為非專家受眾提供更為簡單易懂的升級版產(chǎn)品。

研究人員還計劃將該技術(shù)授權(quán)給出版商，并將其服務(wù)擴(kuò)展到提供個性化的研究簡報，總結(jié)某個領(lǐng)域的關(guān)鍵論文。＂我們只是到了人工智能可以以人們可以接受的水平生成新穎的摘要的階段，＂Weld 說。