第一十二章 開源和閉源(1 / 1)

日記月累 吾似楊 1970 字 2024-03-19

這幾天,科技圈炸裂不斷。   首先是前一段時間的openai的sora炸裂全網,可以根據文字生成視頻。   雖然有些許瑕疵,但隨著技術的迭代,這玩意根本不是問題。   而正在前兩天,也就是17號,馬斯克開源了旗下的grok-1,不愧是矽穀鋼鐵俠,說到做到。   在github可以找到,剛剛瞄了一眼,grok-1的start已經達到了30k,這才開源兩天,看來馬斯克造勢還是蠻成功的。   當然,他的開源之路不止這個。   他還把特斯拉的開山之作,初代roadster也開源了...   還把twitter的推薦算法給開源了...   這位可以說是開源一哥呀。   grok大模型是馬斯克用來對標chatgpt3.5的,不能說是對標,在性能上其實超越了chatgpt3.5。   從模型的參數也可以看出,gpt3.5的參數是1750億,grok的參數為3140億。   有趣的是這個3.14,估計就是代表圓周率π。   大佬都喜歡這麼玩是嗎?   目前,大模型界有兩大潮流,開源和閉源。   openai走的是閉源路線,他們認為這樣可以把技術牢牢掌握在自己手中,然後就可以防止壞人做壞事。   開源的就是主張把技術釋放出來,促進科技發展,馬斯克顯然是後者。   婆說婆有理,公說公有理,這兩條路沒有高低之分。   但顯然支持開源的人更多。   除了馬斯克,還有meta的紮克伯格也開源了大模型。   集思廣益,多多益善。   sora大火之後,咱們中國的公司,就開源了類似sora的視頻模型open-sora。   國內的話,也差不多,阿裡感覺是開源方向的。   當然,就算是開源,那也得先活下去才行。   法國的Mistral是靠開源發的家,然後把牌子打響了,最近mistral推出了閉源的mistral large對標chatgpt4。   由於之前開源打響了品牌,所以他的次代大模型也備受關注。   現在這家公司被譽為“歐洲的openai”。   當然,就算是openai不開源,我覺得他仍然能是全球AI發展的領頭羊,畢竟公司體量在那裡。   18號,OpenAI的CEO奧特曼也發推文:“這是人類歷史上最有趣的一年,除未來所有年份以外。”   馬斯克的這次開源,我相信能給國內的AI廠商提供寶貴的經驗,說不定過幾天,國內的AI廠商就集團升級了。   不過就算是馬斯克開源了,但這玩意還是有使用門檻的。   grok-1沒有對特定的任務進行微調,還是通用的。   而且grok-1用的是jax,比較小眾,主流的都是基於TensorFlow或者PyTorch開發的。   我曾經去上海參加比賽,就用過PyTorch,當時是跑了一個識別圖片的模型。   跑了好久...   剛看了一下grok-1,發現自己電腦帶不動...