熟悉AI產(chǎn)業(yè)的人都知道,數(shù)據(jù)、算法和算力是推動AI產(chǎn)業(yè)發(fā)展的三大核心要素,而數(shù)據(jù)又是算法和算力得以施展的前提。就像巧婦難為無米之炊,如果沒有好的數(shù)據(jù)基礎(chǔ),再強(qiáng)的算法和算力也沒有用武之地。
然而,在AI普及落地的過程中,企業(yè)卻普遍面臨著數(shù)據(jù)量大、難以快速找到特定場景數(shù)據(jù)的困境。在AI數(shù)據(jù)訓(xùn)練的過程中,AI數(shù)據(jù)管理更是面臨著數(shù)據(jù)資產(chǎn)不能充分利用、管理方式不夠完善等挑戰(zhàn)。
這樣的挑戰(zhàn)在我們的工作中并不少見,如:很多企業(yè)都很難在爆發(fā)式增長的海量數(shù)據(jù)中快速找到有價值的數(shù)據(jù);數(shù)據(jù)被零散地存儲在不同的公有云和私有云中,甚至在個人電腦和硬盤里;配合算法迭代的不同版本的數(shù)據(jù)卻不能被及時命名和分類等等。
五大先進(jìn)技術(shù)化解AI數(shù)據(jù)管理難題
為了幫助企業(yè)解決這些痛點(diǎn),近日,國內(nèi)領(lǐng)先的AI訓(xùn)練數(shù)據(jù)頭部服務(wù)商——云測數(shù)據(jù)在服貿(mào)會上發(fā)布了“云測數(shù)據(jù)標(biāo)注平臺-AI數(shù)據(jù)集管理系統(tǒng)”,給苦于AI數(shù)據(jù)管理難題的企業(yè)帶來了福音。
云測數(shù)據(jù)總經(jīng)理賈宇航告訴記者,云測數(shù)據(jù)標(biāo)注平臺-AI數(shù)據(jù)集管理系統(tǒng)專注于Al數(shù)據(jù)集的上傳、管理、存儲、分享,數(shù)據(jù)類型標(biāo)簽化管理,同時可以支持標(biāo)注結(jié)果的存儲、標(biāo)注結(jié)果可視化等功能,從而助力企業(yè)進(jìn)行數(shù)據(jù)管理,提升數(shù)據(jù)訓(xùn)練的匹配度,高效開展模型訓(xùn)練,增強(qiáng)Al領(lǐng)域的核心競爭力。
據(jù)介紹,云測數(shù)據(jù)標(biāo)注平臺-AI數(shù)據(jù)集管理系統(tǒng)的先進(jìn)性體現(xiàn)在以下五個方面:
首先是安全高效的數(shù)據(jù)存儲:支持混合云存儲,多場景數(shù)據(jù)托管,可全方位協(xié)調(diào)機(jī)制,提升數(shù)據(jù)管理效率。
在公有云存儲方面支持阿里云、騰訊云、亞馬遜云科技等主流云服務(wù);在私有云存儲方面,可滿足S3協(xié)議方案的對象存儲系統(tǒng),如Ceph、Minio;在URL資源導(dǎo)入方面,其他文件存儲系統(tǒng)可以直接引入使用。
賈宇航表示,該管理系統(tǒng)是可以私有化部署的,可以適配不同企業(yè)的不同運(yùn)行環(huán)境。
其次是便捷快速的數(shù)據(jù)檢索:可實現(xiàn)多級標(biāo)簽管理、數(shù)據(jù)深度檢索。
該系統(tǒng)支持標(biāo)簽級數(shù)據(jù)檢索,可快速篩選價值數(shù)據(jù):文件管理標(biāo)簽化,支持無限級KV標(biāo)簽;多細(xì)粒度標(biāo)簽檢索,快速構(gòu)建數(shù)據(jù)場景;文件子集管理,讓數(shù)據(jù)歸檔井然有序。
賈宇航指出,企業(yè)可以針對不同的角色給同一類數(shù)據(jù)打上不同的、各自獨(dú)有的標(biāo)簽,也可以對標(biāo)注的結(jié)果進(jìn)行自動讀取、標(biāo)簽化檢索。
第三是全場景數(shù)據(jù)可視化,讓數(shù)據(jù)更容易理解。
豐富的可視化組件,支持box2d、ellipse、polygon、line、curve、point、parallel、box3d、cuboid、side_cuboid、sentence等多種可視化工具,并支持連續(xù)幀、ID跟蹤、點(diǎn)云多傳感融合、音視頻等多種數(shù)據(jù)場景,支持標(biāo)簽篩選、分組顯示、旋轉(zhuǎn)變化等交互查看方式,讓數(shù)據(jù)更容易理解和檢查。
賈宇航強(qiáng)調(diào),過去企業(yè)用戶查看數(shù)據(jù)標(biāo)注結(jié)果,需要通過專門的數(shù)據(jù)標(biāo)注結(jié)果可視化工具,或者購買,或者自己研發(fā)。現(xiàn)在該功能已經(jīng)被云測數(shù)據(jù)直接集成在AI數(shù)據(jù)集管理系統(tǒng)中,企業(yè)用戶可以直接查看結(jié)果、進(jìn)行篩選。
第四是豐富的擴(kuò)展工具,可靈活管理使用。
該系統(tǒng)支持Python SDK、CLI、Open API等多種擴(kuò)展工具,方便上傳、管理、統(tǒng)計可視化數(shù)據(jù),客戶可根據(jù)場景靈活使用,或打造數(shù)據(jù)中臺將數(shù)據(jù)獲取、數(shù)據(jù)標(biāo)注、數(shù)據(jù)存儲使用、模型迭代形成數(shù)據(jù)閉環(huán)。同時可提供完善的技術(shù)使用文檔。
第五是清晰的數(shù)據(jù)權(quán)限管理。
該系統(tǒng)支持多種團(tuán)隊協(xié)作權(quán)限管理,團(tuán)隊成員明確分工,數(shù)據(jù)使用按需分配,避免數(shù)據(jù)操作隱患及反復(fù)遷移:支持角色權(quán)限管理,操作權(quán)限分配;支持?jǐn)?shù)據(jù)分享管理,隱私數(shù)據(jù)隔離;支持開發(fā)者授權(quán)管理,白名單授權(quán)機(jī)制。
“過去企業(yè)需要安排專人管理數(shù)據(jù),現(xiàn)在通過系統(tǒng)就可以更直接更有效地實現(xiàn)上述功能。”賈宇航談到。
憑借上述優(yōu)勢,云測數(shù)據(jù)標(biāo)注平臺-AI數(shù)據(jù)集管理系統(tǒng)可以幫助企業(yè)輕松管理數(shù)據(jù)資產(chǎn),將非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化管理,形成統(tǒng)一數(shù)據(jù)規(guī)范,進(jìn)行數(shù)據(jù)資產(chǎn)化積累,不斷積累核心數(shù)據(jù)競爭力;而且,結(jié)合業(yè)務(wù)數(shù)據(jù)場景,企業(yè)可以打通數(shù)據(jù)閉環(huán),構(gòu)建數(shù)據(jù)中臺服務(wù),釋放AI數(shù)據(jù)價值。從而幫助企業(yè)高效獲取、加工和管理數(shù)據(jù),深入挖掘、全面提升AI數(shù)據(jù)價值。
賈宇航為記者列舉了一個實例,如一家做自動駕駛視覺感知的企業(yè),應(yīng)用AI數(shù)據(jù)集管理系統(tǒng)給自身的數(shù)據(jù)進(jìn)行場景化的標(biāo)簽選定和存儲。其數(shù)據(jù)量非常龐大,且數(shù)據(jù)場景復(fù)雜。比如單單在天氣方面劃分為白天、黑天、晴天、雨天、雪天等多種類型。
該企業(yè)發(fā)現(xiàn),機(jī)器對于雪天的識別效果不好,那如何針對性地對相關(guān)算法進(jìn)行數(shù)據(jù)訓(xùn)練呢,這時候就可以通過數(shù)據(jù)管理系統(tǒng)中標(biāo)簽功能,調(diào)動已有數(shù)據(jù)庫中對應(yīng)的雪天數(shù)據(jù),快速完成數(shù)據(jù)抽取和驗證,實現(xiàn)數(shù)據(jù)管理事半功倍的效果。
“事實上,看了很多實際案例以后,我們發(fā)現(xiàn),運(yùn)用AI數(shù)據(jù)集管理系統(tǒng)的企業(yè),其運(yùn)轉(zhuǎn)的節(jié)奏、迭代的周期都在加快,研發(fā)方式也從瀑布式開發(fā)向敏捷開發(fā)轉(zhuǎn)變了,實現(xiàn)了更高效的數(shù)據(jù)管理。”賈宇航強(qiáng)調(diào),“這也是這套AI數(shù)據(jù)集管理系統(tǒng)存在的意義。”
緊跟客戶需求的探索和積累
當(dāng)然,市場也存在其他AI數(shù)據(jù)集管理產(chǎn)品,那么云測數(shù)據(jù)的優(yōu)勢何在呢?對此,賈宇航表示,云測數(shù)據(jù)是一家在企業(yè)級服務(wù)領(lǐng)域深耕多年的公司,核心是幫助企業(yè)實現(xiàn)產(chǎn)業(yè)化落地,會根據(jù)企業(yè)客戶的實際需求去進(jìn)行產(chǎn)品迭代。所以在研發(fā)AI數(shù)據(jù)集管理系統(tǒng)時,將其定義成可以私有化部署的,并且可以被靈活運(yùn)營集成的工具,方便企業(yè)進(jìn)行二次開發(fā)和深度定制。
而且云測數(shù)據(jù)作為AI數(shù)據(jù)的頭部企業(yè),在自動駕駛、車企、智慧城市、智能金融、智能IOT、智能家居等領(lǐng)域的數(shù)據(jù)應(yīng)用一直走在行業(yè)前沿,并一直努力探索,基于新的算法、新的應(yīng)用場景研發(fā)出更好的產(chǎn)品和服務(wù),為AI產(chǎn)業(yè)化落地賦能。
事實上,這已經(jīng)是云測數(shù)據(jù)第二次在服貿(mào)會亮相。在2020年服貿(mào)會上,云測數(shù)據(jù)發(fā)布了“無數(shù)據(jù) 不AI,云測數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)——項目最高交付精準(zhǔn)度99.99%”的成果。“本次發(fā)布的云測數(shù)據(jù)標(biāo)注平臺-AI數(shù)據(jù)集管理系統(tǒng)與其是一脈相承的。”賈宇航解釋到,這是在解決AI數(shù)據(jù)生產(chǎn)過程的難題之上延伸到改變AI數(shù)據(jù)管理的困境,充分展示了云測數(shù)據(jù)基于行業(yè)前瞻和前沿技術(shù)服務(wù)積累,進(jìn)一步拓展深化AI訓(xùn)練數(shù)據(jù)價值的領(lǐng)先實踐。
一橫一縱勾畫AI數(shù)據(jù)產(chǎn)業(yè)未來
談到未來的發(fā)展計劃時,賈宇航告訴記者,針對AI數(shù)據(jù)行業(yè)的發(fā)展趨勢,云測數(shù)據(jù)制定了“一橫一縱”的規(guī)劃。
在縱向領(lǐng)域,以自動駕駛為例,正在向車外環(huán)境感知、車內(nèi)智能倉、人機(jī)交互等方向發(fā)展,未來會應(yīng)用更多不同維度的數(shù)據(jù),以確保實現(xiàn)高清度。“這些領(lǐng)域都在深化發(fā)展,云測數(shù)據(jù)也會往這些方向持續(xù)布局,增強(qiáng)自己的方案和服務(wù)能力,以確保在這些行業(yè)有新的突破的時候,云測數(shù)據(jù)也能夠有對應(yīng)的積累,滿足客戶相關(guān)的需求。”
在橫向領(lǐng)域,則會關(guān)注其他不同行業(yè)的落地方向,比如新零售、金融垂直領(lǐng)域等等。云測數(shù)據(jù)希望把自身對于AI數(shù)據(jù)服務(wù)的經(jīng)驗應(yīng)用到更多具有增長潛力的行業(yè)。賈宇航談到,“云測數(shù)據(jù)愿意為這樣的行業(yè)打造AI數(shù)據(jù)服務(wù)解決方案,通過高質(zhì)量的AI數(shù)據(jù)助力相關(guān)領(lǐng)域早日實現(xiàn)產(chǎn)品落地。”
