歷經(jīng)123天，第二屆百度搜索創(chuàng)新大賽已于近日落下帷幕。
百度集團(tuán)副總裁、搜索平臺(tái)負(fù)責(zé)人肖陽(yáng)曾在致辭中指出，“AI已經(jīng)重新定義搜索。百度對(duì)搜索的理念，一直是更好滿足用戶的需求，不止幫助用戶找到所求、更是得到所求，讓用戶能夠在百度一站式解決問(wèn)題，享受服務(wù)閉環(huán)。面對(duì)新奇點(diǎn)，百度搜索將串聯(lián)并釋放過(guò)去20年的積累，深入推動(dòng)搜索引擎的能力升級(jí)與產(chǎn)品創(chuàng)新，引領(lǐng)搜索代際變革。”
但創(chuàng)新、突破需要的則是更多的高科技人才，擁有更為強(qiáng)大的人才資源。所以，這也是百度聯(lián)合各地頂級(jí)高校、學(xué)會(huì)共同舉辦百度創(chuàng)新搜索大賽的重要出發(fā)點(diǎn)。
01
“基于GPU的近似最近鄰檢索算法挑戰(zhàn)”賽題成果顯現(xiàn)
有機(jī)會(huì)，便有挑戰(zhàn)。在賽題的設(shè)置上，第二屆百度抖索創(chuàng)新大賽做了些許創(chuàng)新，包括「搜索答案組織」、「基于向量交集的TopK搜索」、「基于搜索用戶充分的調(diào)研，洞察用戶在搜索場(chǎng)景的需求，并通過(guò)構(gòu)建AI應(yīng)用解決」、「基于GPU的近似最近鄰檢索算法挑戰(zhàn)」、「可控圖片生成算法挑戰(zhàn)」。
據(jù)了解，本次大賽賽題均來(lái)源于搜索核心業(yè)務(wù)場(chǎng)景，涉及算法、工程、產(chǎn)品三大領(lǐng)域，涉及大模型應(yīng)用、語(yǔ)義檢索、多模態(tài)、軟硬結(jié)合優(yōu)化等豐富的技術(shù)方向，適合有著不同興趣和經(jīng)驗(yàn)的參賽者。
以賽道四“基于GPU的近似最近鄰檢索算法挑戰(zhàn)”為例，具體任務(wù)為：給定數(shù)據(jù)集，開源+百度內(nèi)部數(shù)據(jù)集，數(shù)據(jù)規(guī)模億級(jí)，給定測(cè)試集，數(shù)據(jù)規(guī)模1萬(wàn)，稱為query。參賽者設(shè)計(jì)自己的近似最近鄰檢索算法，返回每個(gè)query與數(shù)據(jù)集內(nèi)最相似的topK個(gè)樣本。提供統(tǒng)一的虛擬環(huán)境和benchmark 框架，并QPS-recall作為算法的唯一評(píng)估指標(biāo)，在固定QPS時(shí)，召回率越高算法越優(yōu)秀。在相同的硬件環(huán)境下，使用黑箱測(cè)試集，統(tǒng)一執(zhí)從賽道四行參賽者提交的代碼，在固定QPS時(shí)，算法的召回率作為參數(shù)的最終成績(jī)。
基于GPU的近似最近鄰檢索算法是一種利用GPU的并行計(jì)算能力加速高維空間中的最近鄰搜索的算法。與傳統(tǒng)的最近鄰搜索算法相比，基于GPU的近似最近鄰檢索算法具有許多優(yōu)點(diǎn)。它可以利用GPU的并行計(jì)算能力加速搜索過(guò)程，提高算法的效率。其次，它可以處理大規(guī)模高維數(shù)據(jù)集，并能夠保證較高的準(zhǔn)確率。此外，這種算法還可以與其他算法進(jìn)行結(jié)合，進(jìn)一步提高檢索準(zhǔn)確率。
如此來(lái)看，完成上述任務(wù)并不容易。但從近日舉辦的大賽頒獎(jiǎng)典禮來(lái)，優(yōu)秀成果已展現(xiàn)。在「基于GPU的近似最近鄰檢索算法挑戰(zhàn)」賽道上共有273人報(bào)名，其中組成的30支隊(duì)伍提交上榜。經(jīng)過(guò)激烈角逐，最終來(lái)自杭州電子科技大學(xué)的HDU01隊(duì)伍獲得賽道四冠軍。
02
擁抱創(chuàng)新，開啟新搜索時(shí)代
人才驅(qū)動(dòng)，創(chuàng)新不止。
通過(guò)與冠軍團(tuán)隊(duì)杭州電子科技大學(xué)的HDU01深入溝通可以發(fā)現(xiàn)，成功的背后有著別樣的故事。
該團(tuán)隊(duì)成員倪炯康介紹，針對(duì)賽道四賽題任務(wù)，他們所面臨的主要問(wèn)題是，“面向用戶對(duì)互聯(lián)網(wǎng)上日益增長(zhǎng)的非結(jié)構(gòu)化數(shù)據(jù)，如圖片、文本、音視頻等的檢索需求，使用向量檢索技術(shù)，通過(guò)向量表示這些數(shù)據(jù)來(lái)準(zhǔn)確高效地實(shí)現(xiàn)用戶的以圖搜圖、內(nèi)容檢索等需求。”
為了達(dá)到這一要求，在比賽初期，通過(guò)流水線技術(shù)優(yōu)化算法，HDU01團(tuán)隊(duì)曾達(dá)到baseline 1.5X的分?jǐn)?shù)，位居排名前列，但他們并沒有就此止步。“為了坐穩(wěn)冠軍寶座，他們不斷探索算法的極限，終于在比賽中后期發(fā)現(xiàn)了算法的帶寬瓶頸，最后通過(guò)模型索引壓縮的方式將其性能進(jìn)一步突破了一倍，達(dá)到了3X baseline，拿到了本賽道的冠軍。”該團(tuán)隊(duì)回憶稱。
據(jù)悉，HDU01團(tuán)隊(duì)的成員均來(lái)自杭州電子科技大學(xué)知識(shí)圖譜實(shí)驗(yàn)室。其中兩名成員曾在國(guó)內(nèi)外各大編程比賽中獲得過(guò)數(shù)個(gè)獎(jiǎng)項(xiàng)，如全國(guó)編程天梯賽，ACM等;此外，他們小組還在數(shù)據(jù)庫(kù)國(guó)際頂級(jí)會(huì)議，如VLDB、NeurIps中以共同作者的身份發(fā)表了數(shù)篇向量檢索方向的文章。
“比賽是一種經(jīng)歷，經(jīng)歷就有收獲。通過(guò)此次百度搜索大賽，我們不僅提升了自己的團(tuán)隊(duì)協(xié)作能力，也鍛煉了我們永不放棄的精神。”該團(tuán)隊(duì)表示。
當(dāng)然，這也是百度搜索創(chuàng)新大賽舉辦的目標(biāo)之一，更是其構(gòu)建“百萬(wàn)英才計(jì)劃”的基石。
大語(yǔ)言模型的變革浪潮才剛剛開始，它所引發(fā)的全方位創(chuàng)新和創(chuàng)意激發(fā)，一定會(huì)加速搜索引擎的進(jìn)化。通過(guò)百度搜索創(chuàng)新大賽，不僅可以把搜索這個(gè)“世界上最大規(guī)模AI應(yīng)用場(chǎng)景”充分開放出來(lái)，讓各位同學(xué)參與到創(chuàng)新場(chǎng)域中來(lái)，同時(shí)也在一定程度上促進(jìn)了各位參賽者與搜索之間發(fā)生激烈的、精彩的碰撞。
擁抱創(chuàng)新，開啟新搜索時(shí)代，一扇全新大門正逐步打開。
