AI技術、操作系統AI研究、去中心化AI（DeAI）努力與開源歷史
作者：@yb_effect
想象一下，你已經盯著這副超酷的拼圖很久了，終于決定買下來。它就擺在你面前，所有的拼圖塊都齊全。你已經準備好咖啡，開著背景音樂，屋里沒人，只有你和這副拼圖，你有什么想法？
問題是——它實在是太讓人不知所措了。該從哪里開始呢？我是不是很傻……為什么這些拼圖塊怎么都不合？
不過，冷靜下來理智地想了想，我發現首先我得先根據拼圖塊屬于哪個區域進行初步的分類。然后，先連接一些簡單的部分，獲得一些小小的啟發，再依此類推深入探索。這基本上就是我過去一周的經歷。
這副既讓人沮喪又令人愉快的拼圖叫做“去中心化與開源AI”。
我未來幾個月的目標是成為“去中心化AI（DeAI）”的專家，而且我想成為能將這兩個領域粘合在一起的主題專家，通過深入了解開源AI和去中心化AI前沿的最新發展，來實現這一目標。
這意味著既要有深度，也要有廣度——我不希望在這個領域有任何一個知識點是我不了解的。
今天的帖子，我想分享一下我如何實現這個目標的框架。下面是我認為最有意義的“拼圖區域”，以及每個區域的簡短思考和待辦事項清單。
主要分為以下幾個部分：
AI基礎：趕上進度并不難
開源AI社區：開源到底落后多少？
去中心化AI：黃金籃子是什么？
開源歷史：有哪些關鍵的學習經驗？
讓我們深入探討一下。
1、AI基礎：趕上進度并不難
我本周開始嘗試寫一篇關于Nous Psyche的文章。顯然，我是從閱讀文檔開始的，甚至在高層次上大致理解了大部分內容。但我并沒有真正理解它。
于是，我決定閱讀Nous Distro的論文，認為這可能對我有所幫助。即使這樣——借助ChatGPT的幫助——我也能在高層次上理解它。
但我還是沒有沒有真正弄明白。
這讓我意識到，自己在AI知識上有個明顯的空白。如果沒有掌握基本的AI概念，我是無法得出新的見解的。于是，我決定跳進深水區。我從Karpathy的著名LLM（大語言模型）入門講座開始。做了筆記后，我信心大增。很多在Twitter和播客中聽到的術語開始變得更有感覺。
作為一個天生的數學愛好者，我決定更深入地理解神經網絡和變換器（Transformers）的工作原理。于是，我瘋狂觀看了3blue1brown關于LLM的完整系列。
到這個時候，我已經非常興奮了，對許多AI概念開始有了清晰的認知。如果你和我一樣，你一定能理解，當你無法完全理解一個新概念的整個體系時，那種煩躁的感覺（我當時還沒完全搞明白，但終于進入了那個兔子洞）。
然后！就好像技術之神在聽我的心聲一樣。當我剛看完那些視頻，Andrej Karpathy就發布了一段3.5小時的視頻，內容涵蓋了你可能想了解的所有關于LLM的中級知識，簡直是太及時了。
相信我，當我說這句話時…如果你正感到AI領域的冒充者綜合癥，我保證這段視頻能單槍匹馬地幫你解決這個問題。我才看了2個小時（進度很慢，還在做筆記），但我已經可以說，這是我看過的最棒的教程視頻之一。
看到他在視頻中使用的工具和資源，真的幫助了我很多：
- FineWeb：基本上是通過爬蟲為你壓縮的“互聯網數據”。
- Common Crawler：一個開放的倉庫，用來抓取所有的互聯網數據。
- Tiktokenizer：選擇一個模型，你可以在純文本和token之間轉換。
- BBY Croft：一個出色的LLM可視化工具，幫助理解訓練過程。
- GPT-2 from scratch：Karpathy的倉庫，可以從零開始做一切。
- Hyperbolic：無需設置即可訪問預先托管的模型。
- UltraChat：用于后訓練過程的合成數據改進倉庫。
- Nielsen's Textbook：跟著3blue1brown的例子做，進行實際操作。
- √熟悉Hugging Face
- √跟隨ChatGPT-2教程，從零開始運行
- √簡要閱讀Llama和Deepseek論文，了解開源SOTA模型
- √閱讀Leopold的情境意識論文
2、開源AI社區：閉源競爭者落后多少？
我知道最近圍繞Deepseek和開源的炒作很多，但我仍在努力弄清楚我們在開源AI發展的具體進展到了哪里。幸運的是，Lex Fridman本周的播客讓我認識了Nathan Lambert和他在Ai2的工作。Nathan過去幾年一直是開源AI的倡導者，他寫了一篇出色的Substack文章《Interconnects》，涵蓋了開源AI世界中的許多動態。
就在昨天，他發布了一篇文章，講述了為什么他認為最近的Deepseek新聞應該成為美國人加大對開源投資的一個巨大警鐘。
文章的核心觀點是，過去30年里，中國一直在復制西方的技術并改善其邊際效益。但在這場當前的AI競賽中，很明顯，他們正試圖成為傳播創新的一方。所以，如果美國公司不努力開源他們的模型，其他國家（包括美國人）將很快采納中國的技術。
文章中讓我意識到現實的一段話是：
構建強大的AI模型要比圍繞AI建立一個可持續的開源生態系統容易得多。
建立一個更好、真正開放的AI生態系統是我過去幾年的畢生事業，我顯然希望它能夠進一步繁榮，但越接近當前開源生態系統的核心，你就越知道，這并不是理所當然的，因為進行相關AI訓練的成本正在飆升（看，我知道DeepSeek的計算成本很低，但這些組織可不是輕易就能成立的），而且許多監管機構正在迅速行動，以便在AI領域搶占先機，這可能無意中阻礙了開放的進程。
是的，效率在不斷提高，成本也會下降，正如DeepSeek V3所展示的那樣，但在前沿訓練真正開放的模型并沒有變得更容易。
具體來說，“越接近當前開源生態系統的核心，你就越知道，在進行相關AI訓練時，成本并非理所當然。”
說實話，我第一個承認，我對開源AI領域的具體情況并不完全了解。但！我必須說，令我感到驚訝的是，本周我閱讀的像Nathan和Tim Dettmers這樣的開源AI研究者的文章中，竟然完全沒有提到加密貨幣的任何內容。
他們可能并不看重加密行業，覺得它充滿了騙局、騙局、各種問題。但我并不認同這種看法。
在閱讀Nathan的文章時，我不禁注意到，他提出的核心問題其實是一個成本問題。如果真是這樣，那么毫無疑問，加密激勵機制能夠大大提升開源研究的效率。
那么，難道他們已經考慮過加密貨幣，并得出了“不值得投入”的結論嗎？還是他們只是普遍回避加密領域？
如果是前者，我希望能看到一些實際的例子。如果是后者，那就是他們的盲點，我希望能加以強化。
不管怎樣，我才剛剛觸及開源AI領域的表面，但Lambert的工作無疑是一個很好的起點。
有一點讓我十分清楚，那就是這些開源AI研究者與加密行業的從業者其實在討論著相似的問題。我在上周五的文章中提到過，開源AI面臨的挑戰與比特幣非常相似，毫無疑問，這兩個社區（加密和開源AI）需要更多的合作。希望我能在這方面做出貢獻，幫助彌合這個鴻溝。
這個象限的任務清單：
- √觀看Lambert在哈佛法學院關于開源AI的演講
- √了解Ai2的工作和目前的進展
- √找到和Nathan/Ai2類似的公司和研究人員，全面了解開源AI的現狀（并建立Twitter列表）
- √理解不同類型的許可證及其影響（例如，Amazon需要為Llama支付Meta費用，而Deepseek使用MIT許可證，更加“自由”）
- √從Lambert類型研究者的角度，形成一個關于開源AI現狀的觀點。盡量搞清楚目前的主要瓶頸，并了解他們認為哪些解決方案是有效的（排除加密貨幣的偏見）
3、去中心化AI：什么是“黃金籃子”？
在開始這一部分之前，我建議大家花10分鐘閱讀這篇文章，了解為什么AI特別需要加密貨幣。我在之前的文章中已經講過核心觀點，但我認為@dbarabander做得非常棒，清楚地把過去、現在和未來的關系講解得很明白。
來源：https://variant.fund/articles/why-good-ai-needs-crypto/
他精準地指出了開源AI面臨的資源問題，并解釋了為什么加密貨幣能夠解決這個問題。
有一點引起了我的注意，那就是在審閱和編輯這篇文章的人。在感謝部分，我得到了一個很有價值的公司名單，這將成為我在掌握AI基礎知識后，深入了解去中心化AI領域的起點。需要注意的是，我知道這些信息因為個人利益關系可能會有一些偏見，因為Daniel在Variant工作，但無論如何，這些信息對我還是很有幫助的。
最近我一直在思考一個問題，那就是AI領域的人們對去中心化AI（我們所說的加密貨幣）公司有多了解？
我現在還沒有答案，但我得承認，看到Andrej Karpathy在他的新LLM教程視頻中使用Hyperbolic，真的很酷（感謝@Yuchenj_UW提醒我這一點）。
你可能會想……YB，為什么你理解這些去中心化AI公司要這么久？好吧，正如我之前提到的，像Nous Psyche一樣，我被我的AI知識瓶頸所限制。例如，48小時前，我根本無法理解下面這條推文的意思。
但是！我可以自信地說，隨著我完成AI基礎知識的快速學習，我將在接下來的兩周內快速了解這些公司，并形成自己的觀點。
我的目標是創建一個去中心化AI公司的“黃金籃子”。如果我只能投資這5家初創公司，我會選擇哪些？為什么？接下來，我的計劃是成為這些團隊最大的支持者。到目前為止，我已經在過去幾個月的文章中多次提到的兩家公司——Nous和Prime，可能會在我的投資名單上。
@0xPrismatic，一位朋友和加密與AI領域的同行，正在通過他的新聞通訊精彩地介紹這些公司，我也迫不及待地想開始閱讀他的入門文章。如果你還沒看過《Chain of Thought》，一定要去讀，非常值得！
總的來說，去中心化AI的核心論點是：我們的任務就是讓這一切成為現實。
具體來說，這是@krybharat的完美總結，兩個具體領域是：
1）去中心化和激勵型開源模型聚合器
2）提供近實時數據訪問的去中心化數據提供者
因此，以下是這一部分的待辦事項清單：
- √下周瀏覽Nous、Prime和Hyperbolic，并發布推特總結
- √閱讀Ronan的文章《去中心化AI能否競爭？》
- √查看是否有其他DeAI公司被AI研究者提及或使用（例如Hyperbolic-Karpathy類型的例子。我知道Nous被廣泛討論，但也要檢查其他公司）
- √開始閱讀CoT入門文章中的資源
- √更深入了解Teleport和Nous在TEEs方面的工作
- √撰寫我自己的關于“為什么加密需要AI”的觀點，并創建黃金籃子
4、開源歷史：有哪些關鍵的學習經驗？
最后，聊聊開源。我會簡短說一下這一部分。雖然嚴格來說了解開源歷史不是必需的，但我認為花時間學習開源的歷史，能幫助我更好地理解為什么DeAI的斗爭如此重要。說實話，我不夠老，記不住Linux時代或2000年代初期那個開源是常態的計算機時代。我是在Facebook、Twitter和Uber時代長大的，對我來說，中心化平臺一直是默認選擇。
所以，我想了解一下過去開源發生了什么，從那些例子中學到些什么。
前幾天，我在聽BG2播客時，Bill Gurley將Meta的Llama戰略與MongoDB等公司的歷史做了比較。我覺得這個對比非常有趣，真的想深入了解其中的細節。很多老讀者知道，我對技術歷史充滿興趣，所以這一部分剛好能讓我把過去與現在的情況做一些對比。
我相信，這不僅能幫助我在這個領域獲得獨特的見解，還能讓我在成為加密與AI交叉領域的專家時，更加與之契合。
我還要閱讀《Working in Public》 和《Cathedral and Bazaar》。
如果你看到了這里，我猜你和我一樣，對DeAI領域充滿激情和興奮。如果你想加入一個討論組，和我們這些瘋子一起學習DeAI、探索上述資源，可以私信作者。
本文鏈接：http://www.zhucexiangganggs.com/kp/du/02/5672.html
來源：https://x.com/yb_effect/status/1889792237216870445