人工智能自然語言處理領域的開放域問答技術在智能搜索、智能助手、智能客服等多個場景下，都發揮著重要作用。特別是近些年，隨著各種智能手機、智能音箱的普及，智能搜索快速進化，可以幫助用戶在這些小屏和無屏設備上更快速、準確的獲取有用信息。
近日，百度提出RocketQA，一種面向端到端問答的檢索模型訓練方法，助力機器問答理解技術邁出突破一步，推動了智能問答領域技術發展。該方法不僅在多個問答相關數據集中取得了當前最佳結果，同時也超越谷歌、微軟、臉書、阿里、美團、卡內基梅隆大學、清華大學等企業和高校，問鼎微軟MSMARCO數據集段落排序任務榜首。
（微軟MSMARCO數據集排行榜截圖）
據了解，微軟MSMARCO數據集是微軟提出的大規模的面向問答的數據集，不僅規模大，而且貼近真實場景，包含約100萬問題、880萬相關段落以及人工標注的問題答案。RocketQA在其中的脫穎而出，正顯示了百度在模型檢索能力方面的領先實力。
百度RocketQA訓練方法是一種對偶式檢索模型增強訓練方法，并基于百度自研的語義理解技術與平臺文心（ERNIE）進行訓練，大幅提升了對偶式檢索模型的效果。所謂對偶式檢索模型，是一種區別于傳統的檢索模型的基于深度語義表示的模型，能夠利用強大的網絡結構進行更深層次的學習，同時基于預訓練語言模型，使語義理解更加豐富。然而在檢索問答場景上，該模型的表現仍有欠缺，其訓練仍然存在著，諸如訓練場景和預測場景中樣本數量差異較大、數據集中存在大量漏標注的正確答案、人工標注訓練數據相對規模小成本大等問題和挑戰。
針對對偶式檢索模型訓練中存在的問題和挑戰，百度RocketQA通過跨批次負采樣（cross-batch negatives）、去噪的強負例采樣（denoised hard negative sampling）與數據增強（data augmentation）等3項技術，解決了上述問題和挑戰，從而使得對偶式檢索模型效果大幅提升。在實現RocketQA的過程中，這3項技術處于層層遞進的關系，最終合成一套。同時，實現過程中還使用了百度文心（ERNIE）初始化模型參數。
實驗結果也顯示，RocketQA在微軟MSMARCO和谷歌Natural Question數據集的效果均大幅超過了已經發表的最好的檢索模型。同時在答案抽取任務上，百度RocketQA檢索結果的有效性也得以驗證。
（RocketQA在微軟MSMARCO和谷歌Natural Questions數據集上段落檢索的效果）
此外，百度RocketQA的提出，更代表著向實現“端到端問答”邁出的重要一步。不同于傳統的級聯式問答系統，“端到端問答”摒棄了傳統系統中繁雜的構件，系統復雜性大大降低，并且其中每個模塊（段落檢索和答案定位）都是可學習的，這樣的設計能夠讓整個系統實現端到端訓練。從而能夠基于用戶實時的反饋實現在線訓練，而不是只在封閉的數據集上閉門造車。正是基于上述優異性，端對端回答成為智能問答技術的發展趨勢，甚至可能會引發問答系統的新一代技術變革。而百度RocketQA正是面向端對端回答方向，在優化解決對偶式檢索模型訓練中存在的，諸如訓練、預測場景樣本數量差異較大，人工標注規模小、成本高等問題之后，并取得MSMARCO榜首的好成績，為“端對端回答”攻下一城。
實際上，在研發算法的過程中，高性能的并行訓練也必不可少，它是研發人員快速嘗試各種想法的利器。百度RocketQA的實現即完全基于飛槳深度學習框架。據相關資料顯示，百度研究人員在使用飛槳分布式訓練API（paddle.distributed.fleet）進行訓練的同時，也采用了飛槳分布式訓練擴展工具FleetX。前者是百度飛槳新API體系下的通用分布式訓練API，其提供的經典數據并行訓練方案能夠大幅提升試驗效率；后者是百度飛槳框架分布式訓練擴展工具，提供數據分片并發下載、快速定義模型、快速提交集群任務等功能，能夠實現了研發人員的使用效率的極大提升。
（百度飛槳全景圖）
目前，RocketQA已逐步應用在百度搜索、廣告等核心業務中，并將在更多場景中發揮作用。以百度搜索為例，可以感受一下問答技術在實際應用中對于用戶體驗的改變。比如，當我們在使用搜索引擎查詢問題時，總是期望能第一時間得到更精準的回應。如果說傳統的搜索總是給出可能的十條鏈接作為回答，那么，基于問答技術，問答結果得以優化，答案界面正在發生這樣的變化：唯一的精準答案被直接給出，信息的獲取更快速準確。
（百度搜索的TOP1結果：將問題的答案展現在搜索結果的首位，提升用戶體驗）
正如上圖所顯示，當我們在百度搜索框輸入諸如“佩奇是公豬還是母豬”的問題后，界面第一條即會已卡片形式直接給出“女生”的答案，第二條開始才是之前所熟悉的鏈接形式。這樣一來，問與答之間的效率會大幅提升，用戶能夠第一時間得到自己想要的答案，從而提升用戶使用體驗。在有了RocketQA的大規模應用后，百度搜索的TOP1結果會更好。
