美國和華爾街也喜歡「創造」新興產業,就是認為某產業美國具有優勢可以把別人甩到馬里亞納海溝里一萬米深處便狠狠砸錢推動它。可是很多情況下成了騙人割韭菜的遊戲,比如說太陽能風能,紅極一時,未久便一蹶不振,還得靠政府反覆輸血並排擠廉價和先進的外國產品才能苟延殘喘。再比如說電動車,最後完全靠馬斯克撐撐門面。
AI是這兩年以來的熱點。如果不是美國2022年之後禁止賣給中國最好的晶元,中國公司領先很容易。AI是什麼?不就是計算機程序嗎?什麼算力問題難道以前沒有嗎?80年代更有,因為那時的晶元更低級,內存更少,所以很多計算機方面的論文是講計算技術,就是怎樣在晶元算力有限的情況下更加快速地計算,比如平行計算。因為DeepSeek里的人都是真正搞計算機和數學一類的人才,在晶元昂貴和受限的情況下,所以他們也搞平行計算,或者不用高精度存儲數據,比如我在讀博士的時候,還可以看到以前程序定義數據是單精度的,就是一個數只能佔到8個bit的內存空間,如果是小數的話自然只能存小數點后比較少的幾位數,我們科學工程計算用的是雙精度,16個bit。以後晶元普及了便宜了,32個bit,64個bit也有。
若要訓練生成一個文本的話每個數需要那麼高精度嗎?關鍵是邏輯框架和數據要好,才能煮成一個好的文本,所以訓練時為了提高速度而降低數據的精度也是一種選項。從另外一個角度說,儘管手段用盡,但是畢竟晶元算力不強又沒有很多晶元,用戶在使用時候,生成文本速度有點慢,有什麼關係呢?比如說我看到胡錫進問DeepSeek怎樣看別人說它剽竊(蒸餾)了別人的模型,說等了13妙得到答案。但是這個答覆我肯定胡錫進13個小時也想不出,因為涉及很多背景材料和知識。
DeepSeek的成功引起了更多AI之爭。主要表現在那些所謂Open 的AI公司早就閉門做AI了。那麼DeepSeek這樣開源的AI成本又低又好,那麼那些花幾百億幾千億美元的「Open」AI公司還怎麼成為領軍翹楚?想想像臉書「Open」AI這些公司的CEO雖然也是計算機專家,他們寫了多少代碼?就是說他們的計算機技術不如梁文鋒這類人。算力不夠?他們便買更多晶元,建更大的資料庫,而不是想想如何優化演演算法。臉書最會抄作業,chatgpt出現沒有多久,臉書就砸錢搞了自己的大模型。
所以,公開質疑DeepSeek剽竊-蒸餾了它們公司的模型都是閉源AI公司。可是,幾天前我看到的報道說,DeepSeek蒸餾了阿里的以及臉書的開源大模型,這是DeepSeek自己說的,那麼閉源公司懷疑它也用了它們的大模型,就有點找茬和自抬身價的嫌疑。
並且,蒸餾技術本身是美國搞AI理論的人提出的,所以,任何搞AI模型都用過蒸餾技術。
蒸餾是什麼呢?這個技術也不難理解。比如,葡萄酒是從葡萄釀出的,也只能能釀成10來度的酒。葡萄酒釀好以後,通過容器加熱,導致酒精先揮發,經過銅管之後冷凝,形成更高度數的酒再放進橡木桶里存幾年,形成烤過的橡木顏色和味道,就成了40度的人頭馬XO之類。
所以,釀成葡萄酒沒有那麼難,XO也不難,就是投些錢買好裝備工具而已。因為中國傳統是一個輕視工商業的封建農奴經濟,所以,把工商業的東西看得很神秘。現在工業發展上來了,買工具不難,就是說形成了完備的產業鏈,所以很容易把一個新興產業建立起來並快速發展壯大。
並且,一個公司完全可以釀好一批葡萄酒,蒸餾,再釀一批,再蒸餾。為什麼呢?難道用來蒸餾Cognac XO的葡萄酒可以隨便是張三李四家的嗎?絕對不是。
開源?閉源?「Open」AI不轉成ClosedAI,估計就拉不到資金。因為其他公司搞得晚以為AI就應該是開源的,但是阿里巴巴百度DeepSeek這些公司腦袋還沒有轉過彎來,繼續搞開源,結果開了別人的方便,自己又沒有賺錢,還砸了閉源的飯碗-儘管DeepSeek也免費教了它們如何更有效地做AI。
1/30/2025