當晚。
科瓦利斯會議中心,C廳。
2007年的機器學習界,就像是一個等級森嚴的羅馬鬥獸場。
谷歌和微軟的展臺佔據了正中央最顯眼的位置。
他們不僅鋪了厚厚的長毛地毯,還擺滿了懶人沙發和免費的意式濃縮咖啡機。
谷歌甚至豪橫地拉來了幾箱剛發售的iPhone作爲抽獎禮品,展臺前排隊領抽獎券的人一直排到了廁所門口。
相比之下,花了五萬美金“插隊”進來的以太動力展臺,雖然位置緊挨着巨頭,卻顯得有些......冷清。
一張桌子,兩把椅子,幾張印着複雜的蛋白質結構和神經網絡拓撲圖的海報。
這就好比在一羣穿着比基尼的維密模特中間,突然站了一個穿着白大褂、戴着厚底眼鏡的老學究。
路過的參會者大多隻是瞥一眼那張海報上密密麻麻的數學公式,然後就轉身去Google那邊搶免費的飛盤了。
“這五萬美金是不是打水漂了?”
程新竹坐在展臺後,無聊地轉着手裏的圓珠筆,“過去半小時,只有兩個迷路的本科生過來問能不能借個充電器。”
“那是他們不識貨。”
方雪若整理了一下剛換上的黑色真絲襯衫,從名片夾裏抽出幾張燙金名片,“坐着等客上門那是小賣部做的事。在這種場合,你得學會‘狩獵’。”
說完,她端起一杯甚至還沒喝過的紅酒,踩着七釐米的高跟鞋,徑直走向了休息區。
那裏坐着幾個穿着傑尼亞西裝,沒戴胸牌的中年人。他們的眼神不像學者那樣聚焦在論文上,而是像雷達一樣在人羣中掃描。
那是來自沙丘路(Sand Hill Road,硅穀風投聚集地)的獵手。
雪若沒有直接過去遞名片。她假裝在打電話,聲音不大,但正好能讓旁邊的人聽見:
“......對,輝瑞那邊的二期款剛纔到賬了。但我還是那個意思,除非紅杉能接受我們的估值模型,否則這輪融資我們不急着開......畢竟現金流很健康,我們沒必要稀釋股權………………”
“輝瑞”、“二期款”、“不急融資”。
這三個詞就像是帶着血腥味的魚餌。
旁邊那個正無聊地翻着會議手冊的禿頂男人,耳朵瞬間豎了起來。
他瞥了一眼雪若胸前的牌子: Aether Dynamics, CFO。
五分鐘後。
當方雪若掛斷那個並不存在的電話時,那張名片已經自然而然地遞到了對方手裏。
“以太動力的小姐,我是KPCB(凱鵬華盈)的合夥人。聽說你們在做AI製藥?輝瑞那個PX-117項目是你們做的?”
“只是個小項目。”
方雪若矜持地笑了笑,那種“我不差錢”的態度拿捏得死死的,“我們主要是在做底層算法。您知道,輝瑞只是驗證了一下我們算法的冰山一角。”
不到半小時,原本門可羅雀的以太動力展臺前,多了好幾個西裝革履的投資人。
他們或許看不懂反向傳播,但他們聽得懂“輝瑞背書”和“獨家專利”。
被推到前臺講解技術的程新竹,瞬間忙得不可開交。
“......是的,這不是黑箱。”
程新竹指着海報上的神經網絡圖,對一個試圖搞清楚原理的投資經理解釋道,“這就好比你在看書,你的眼睛不會盯着每一個字看,而是會跳躍,聚焦。我們的算法就是讓計算機學會這種‘注意力’。
“我們在AD-01(阿爾茨海默症新藥)的篩選中,就是靠這個機制,在幾億種分子裏一眼看中了那個能穿過血腦屏障的結構。這不是運氣,這是數學的必然。”
看着程新竹從一開始的結結巴巴,到後來揮斥方遒,把那幫投資人忽悠得一愣一愣的,方雪若滿意地退到了角落,深藏功與名。
是的,以太動力暫時不需要投資。
以她對林允寧的瞭解,那個小傢伙也不太可能接受風投的注資。
但只要在投資圈打響名氣,未來的很多事情,都會好很多。
與此同時,B廳的學術報告現場。
林允寧坐在後排,手裏拿着一支筆,筆記本上卻是一片空白。
臺上的演講者是來自斯坦福的一位教授,正在講《支持向量機(SVM)在圖像分類中的核函數優化》。
幻燈片上全是凸優化(Convex Optimization)的公式,嚴謹、漂亮、無懈可擊。
“只要我們找到那個完美的超平面,就能將貓和狗的數據點在萬維空間裏完全分開......”
臺下掌聲雷動。
2007年,是SVM和貝葉斯網絡的黃金時代。
人們迷戀這種數學上有着嚴格證明,具有全局最優解的模型。
至於神經網絡?
那是“鍊金術”。
是非凸的,容易陷入局部極小值的,不可解釋的黑魔法。
一個搞不清原理的黑匣子,註定不會成功。
林允寧聽了一會兒,起身離開了會場。
在走廊的茶歇區,他看到了一個熟悉的身影。
一個留着法式微捲髮型,戴着眼鏡的中年人,正孤獨地站在一張關於“卷積神經網絡(CNN)”的海報前,手裏拿着一塊乾硬的曲奇餅乾。
他的海報前空無一人,和旁邊SVM展區的水泄不通形成了鮮明對比。
Yann LeCun(楊立昆)。
未來的圖靈獎得主,Facebook首席AI科學家。
但現在的他,還是個被主流學界排擠的“頑固分子”。
他的卷積網絡雖然在90年代成功識別了手寫數字,但因爲算力限制和理論偏見,已經被學術界冷落了快十年。
林允寧走過去,站在那張海報前。
“局部連接,權值共享。”
林允寧看着海報上的結構圖,輕聲說道,“先生,您是在模仿人類視網膜的感受野(Receptive Field)。這纔是圖像處理的本質,而不是把像素拉成一條長長的向量去餵給SVM。”
楊立昆愣了一下,轉頭看着這個年輕的亞裔面孔。
“你看得懂?”
他的英語帶着濃重的法國口音,“現在這幫年輕人,都在忙着推導核函數,已經沒幾個人願意看這種‘老古董了。他們說這東西只有在識別郵政編碼時纔有用。”
“那是他們還沒意識到算力爆炸的臨界點快到了。”
林允寧指了指不遠處正在展示GPU渲染技術的NVIDIA展臺,“當顯卡的浮點運算能力再翻兩番,您這個‘老古董”就會變成吞噬一切的巨獸。到時候,那些漂亮的核函數在千萬級像素面前,連跑都跑不起來。”
楊立昆的眼睛亮了。
那種眼神,就像是在茫茫荒原上遇到了唯一的同類。
“你是哪個實驗室的?多倫多的?還是蒙特利爾的?"
“芝加哥大學,以太動力。”
林允寧伸出手,“林允寧。我也在做神經網絡,不過不是卷積,是注意力機制。”
“注意力?”
楊立昆皺了皺眉,“那個O(N^2)複雜度的東西?想法不錯,但那是死路。序列一長就崩了。”
林允寧笑了。
這已經是他在這個會場裏第二次聽到這句話了。
“教授,如果我把那堵牆拆了呢?”
林允寧從口袋裏掏出那張他在飛機上寫過的餐巾紙,遞了過去,“如果複雜度變成了O(N),您覺得它還是死路嗎?”
楊立昆接過那張皺巴巴的紙。
起初,他的表情是漫不經心的。
但當他的目光掃過那個利用核技巧拆解Softmax的公式時,他拿着餅乾的手停在了半空中。
一秒,兩秒,三秒。
法國人的瞳孔劇烈收縮。
“Merde...(見鬼)
他低聲爆了一句法語粗口,“這是......這是作弊!你把非線性項提前了?等等,這在數學上是成立的......只要那個映射函數中存在……………”
“明天上午十點,C廳。
林允寧抽回那張餐巾紙,像是收回了一張藏寶圖,“我會展示那個∮函數到底是什麼。”
楊立昆看着眼前這個年輕人,像是第一次認識他一樣。
“我會去的。”
他扔掉手裏的餅乾,拍了拍手上的碎屑,眼神變得嚴肅起來,“如果你明天真的能跑通這個Demo,哪怕是Google那幫鼻孔朝天的傲慢傢伙們,恐怕也要把下巴掉在地上了。”
晚上九點,酒店房間。
方雪若正在盤點今天的戰果:“三家VC留了名片,表示很有興趣。還有兩家藥企想瞭解我們的篩選平臺。雖然還沒簽單,但勢頭不錯。
程新竹癱在沙發上,嗓子都啞了:“我今天講了不下五十遍血腦屏障,感覺嘴都要起泡了。”
林允寧站在窗前,看着樓下燈火通明的大學城。
他的電腦屏幕上,那個剛剛編寫完成的線性注意力代碼(Linear Attention Code)正在進行最後的編譯。
進度條走到100%。
【編譯成功。】
【內存佔用預測:128MB(原算法需128GB)。】
【加速比:1500x。】
“早點休息吧。”
林允寧合上電腦,站起身來,轉頭對兩位合夥人說道,“明天上午的場子,可能會比較......熱鬧。”
他想起白天魏斯那副傲慢的嘴臉,又想起楊立昆震驚的表情。
舊時代的餘暉依然耀眼,支持向量機和核方法的信徒們還在歡慶他們的數學大廈堅不可摧。
但他們不知道,地基已經被抽走了。
明天,他要在那個舞臺上,親手按下一枚核按鈕。
......