IJCAI 2018 現(xiàn)場(chǎng)，阿里媽媽以 Ad Tech 為主題舉辦了 Workshop，阿里媽媽資深算法專(zhuān)家朱小強(qiáng)、高級(jí)算法專(zhuān)家林偉，分享了將深度學(xué)習(xí)引入工業(yè)級(jí)展示廣告和搜索廣告領(lǐng)域的創(chuàng)新與探索。
隨著人工智能產(chǎn)學(xué)研的不斷融合，企業(yè)與學(xué)術(shù)會(huì)議之間的合作也更加頻繁和多樣。此前，新智元曾經(jīng)報(bào)道過(guò)，IJCAI國(guó)際廣告算法大賽，中國(guó)團(tuán)隊(duì)包攬冠亞季軍。這個(gè)競(jìng)賽實(shí)際上就是阿里集團(tuán)與IJCAI的一個(gè)合作項(xiàng)目，阿里通過(guò)IJCAI的平臺(tái)吸引更多人關(guān)注阿里，IJCAI則通過(guò)阿里的大賽吸引更多人關(guān)注和支持IJCAI。
IJCAI（International Joint Conference on Artificial Intelligence）被認(rèn)為是人工智能領(lǐng)域最頂級(jí)的學(xué)術(shù)會(huì)議之一，涵蓋機(jī)器學(xué)習(xí)、計(jì)算可持續(xù)性、圖像識(shí)別、語(yǔ)音技術(shù)、視頻技術(shù)等，對(duì)全球人工智能行業(yè)具有巨大影響力。
今年的合作競(jìng)賽由阿里媽媽承辦。作為阿里巴巴旗下大數(shù)據(jù)營(yíng)銷(xiāo)平臺(tái)，阿里媽媽身處于阿里巴巴龐大的交易場(chǎng)景之中，在人工智能領(lǐng)域也早有布局，構(gòu)建了超大規(guī)模的學(xué)習(xí)模型，每天訓(xùn)練近100T的數(shù)據(jù)，有上千億的樣本。
IJCAI 2018 現(xiàn)場(chǎng)，阿里媽媽以 Ad Tech 為主題開(kāi)展了workshop。阿里媽媽資深算法專(zhuān)家朱小強(qiáng)、高級(jí)算法專(zhuān)家林偉，以展示廣告技術(shù)的兩個(gè)最重要技術(shù)模塊——Matching和Ranking為例，分享了他們?cè)趯⑸疃葘W(xué)習(xí)引入工業(yè)級(jí)展示廣告和搜索廣告領(lǐng)域所做的創(chuàng)新與探索。
深度學(xué)習(xí)將業(yè)界技術(shù)迭代提升10~100倍
朱小強(qiáng)在演講中表示，展示廣告是互聯(lián)網(wǎng)行業(yè)的主要營(yíng)銷(xiāo)模式之一。阿里巴巴有各種不同的展示廣告形式，比如橫幅、單品、信息流帖子等等。每天有數(shù)億的用戶(hù)訪問(wèn)阿里的系統(tǒng)，團(tuán)隊(duì)需要針對(duì)每位用戶(hù)的個(gè)性化興趣偏好，在幾十毫秒內(nèi)，從數(shù)千萬(wàn)廣告集合中，尋找最優(yōu)匹配結(jié)果進(jìn)行展示。
超大規(guī)模的數(shù)據(jù)以及問(wèn)題的高度非線(xiàn)性，對(duì)展示廣告技術(shù)構(gòu)成了巨大的挑戰(zhàn)。過(guò)去兩年里，阿里媽媽團(tuán)隊(duì)創(chuàng)造性地將深度學(xué)習(xí)引入到展示廣告技術(shù)中，自主研發(fā)了一系列面向工業(yè)級(jí)尺度的端到端深度模型，推動(dòng)了展示廣告技術(shù)的全面革新，達(dá)到了世界領(lǐng)先的水平。
朱小強(qiáng)認(rèn)為，深度學(xué)習(xí)給工業(yè)界掀起了一場(chǎng)生產(chǎn)力革命。在深度學(xué)習(xí)時(shí)代，模型的設(shè)計(jì)變成組件化，優(yōu)化的方法變成標(biāo)準(zhǔn)化，而且設(shè)計(jì)和優(yōu)化是解耦的。這些特點(diǎn)驅(qū)動(dòng)了以深度學(xué)習(xí)為代表的AI技術(shù)迅速普及，而且將整個(gè)業(yè)界的技術(shù)迭代速度提升了1-2個(gè)數(shù)量級(jí)。
“過(guò)去兩三年，深度學(xué)習(xí)在廣告、搜索和推薦等核心工業(yè)界場(chǎng)景中野蠻生長(zhǎng)，掀起了一股1.0的掘金浪潮；未來(lái)，我們判斷深度學(xué)習(xí)將進(jìn)一步完善為工業(yè)級(jí)基礎(chǔ)設(shè)施，邁入2.0的工匠時(shí)代，技術(shù)的發(fā)展將由粗獷顛覆轉(zhuǎn)變?yōu)榫?xì)化打磨。”
朱小強(qiáng)說(shuō)：“10多年前，機(jī)器學(xué)習(xí)大規(guī)模地被引入到核心工業(yè)領(lǐng)域，由此開(kāi)創(chuàng)了一個(gè)技術(shù)的黃金發(fā)展周期，我們預(yù)期深度學(xué)習(xí)技術(shù)會(huì)繼續(xù)引領(lǐng)新的一輪技術(shù)增長(zhǎng)。”
基于圖的深度學(xué)習(xí)方法有廣闊的應(yīng)用空間
林偉在演講中表示，搜索廣告場(chǎng)景下，傳統(tǒng)的觀點(diǎn)一直認(rèn)為匹配（Matching）的主要優(yōu)化目標(biāo)是尋找最相關(guān)的候選廣告集。他們團(tuán)隊(duì)重新定義了這個(gè)目標(biāo)，認(rèn)為在電商場(chǎng)景下，Matching的主要優(yōu)化目標(biāo)是尋找相關(guān)性滿(mǎn)足約束下，最符合業(yè)務(wù)目標(biāo)（例如期望收益等）的候選廣告集。基于對(duì)目標(biāo)的重新認(rèn)識(shí)，最近幾年Matching算法的改進(jìn)，大幅提升了直通車(chē)的營(yíng)收。
林偉介紹，Matching主要問(wèn)題可抽象為：1）對(duì)用戶(hù)意圖和候選廣告之間是否可以建立鏈接的識(shí)別，以及2）對(duì)鏈接強(qiáng)度的預(yù)測(cè)。
圖（Graph）是一種非常適合用來(lái)刻畫(huà)這個(gè)問(wèn)題的結(jié)構(gòu)，基于圖的深度學(xué)習(xí)方法在Matching上擁有廣闊的應(yīng)用空間。
目前，阿里媽媽已經(jīng)構(gòu)建了一套支持超大規(guī)模異構(gòu)圖表征學(xué)習(xí)的算法，并在Matching上成功落地。未來(lái)，他們將進(jìn)一步深耕圖深度學(xué)習(xí)（Graph-based Deep Learning）的方法及應(yīng)用。
如今在淘寶場(chǎng)景中，圖像因素越來(lái)越重要，用戶(hù)的行為模式也越來(lái)越復(fù)雜。對(duì)于排序問(wèn)題（Ranking），傳統(tǒng)的一些模型在識(shí)別用戶(hù)意圖上存在諸多限制，需要更精巧和更強(qiáng)大的模型來(lái)更好地理解用戶(hù)。阿里媽媽團(tuán)隊(duì)分別提出了很好的圖像網(wǎng)絡(luò)和記憶網(wǎng)絡(luò)設(shè)計(jì)方法，增加Ranking模型識(shí)別用戶(hù)意圖的能力，經(jīng)過(guò)實(shí)際測(cè)試都取得了不錯(cuò)的效果。
同時(shí)，此前在戛納國(guó)際創(chuàng)意節(jié)首發(fā)的AI智能文案，在IJCAI也再度引發(fā)關(guān)注。這個(gè)產(chǎn)品基于深度神經(jīng)網(wǎng)絡(luò)的Sequence2Sequence模型，融合了注意力機(jī)制、位置編碼、copy機(jī)制等，讓機(jī)器模仿人寫(xiě)文案。
朱小強(qiáng)認(rèn)為，“技術(shù)本身并不復(fù)雜和高深，但因?yàn)樽龅搅藦膱?chǎng)景的實(shí)際需求出發(fā)，用技術(shù)和算法來(lái)驅(qū)動(dòng)優(yōu)化，也讓技術(shù)和算法施展出最大的空間。”
本屆 IJCAI 大會(huì)首席贊助官、悉尼科技大學(xué)杰出教授張成奇，阿里巴巴人工智能實(shí)驗(yàn)室研究員聶再清也到場(chǎng)做了分享。
