• 風險提示:防范以虛擬貨幣/區塊鏈名義進行的非法集資風險。 ——銀保監會等五部門

    解析 AI 與加密結合的潛力與現實挑戰

    白話區塊鏈 2024-06-21 23:35:03
    微信分享

    掃碼分享

    使用Web3和去中心化技術進行AI訓練面臨諸多挑戰,包括高網絡延遲、昂貴的存儲成本和缺乏成熟的驗證機制。

    作者:@ed_roman

    翻譯:白話區塊鏈

    image.png

    最近,人工智能成為加密市場上最熱門、最有前景的領域之一。 包括:

    • 去中心化的AI訓練

    • GPU去中心化物理基礎設施網絡

    • 無審查的AI模型 這些是突破性的進展還是僅僅是炒作?

    在@hack_vc,我們正努力撥開迷霧,將承諾與現實區分開來。 本文將深入分析加密與AI的頂尖創意。讓我們一同探討真正的挑戰與機遇。

     

    一、Web3與AI結合的挑戰

     

    1、去中心化的AI訓練

    在鏈上進行AI訓練的問題在于,訓練需要GPU之間高速的通信和協調,因為神經網絡在訓練時需要進行反向傳播。Nvidia為此提供了兩項創新技術(NVLink和InfiniBand)。這些技術可以極大地加快GPU通信速度,但它們只能在單個數據中心內的GPU集群中使用(速度超過50 Gbps)。

    如果引入去中心化網絡,由于增加了網絡延遲和帶寬,速度會顯著變慢。這與Nvidia在數據中心內提供的高速互聯相比,對于AI訓練用例來說根本不可行。此外,去中心化環境中的網絡帶寬和存儲成本相比于本地集群中的固態硬盤也要高得多。

    在鏈上訓練AI模型的另一個問題是,與推理相比,這個市場的吸引力較小。目前,大量GPU計算資源用于AI大語言模型(LLM)的訓練。但從長遠來看,推理將成為GPU的主要應用場景。想想看:為了滿足需求,需要訓練多少個AI大語言模型?相比之下,將有多少客戶使用這些模型?

    請注意,這方面已經有一些創新,可能為鏈上AI訓練的未來提供希望:

    1)基于InfiniBand的分布式訓練正在大規模開展,NVIDIA本身也通過其集體通信庫支持非本地分布式訓練。不過,這仍處于初期階段,采用情況還有待觀察。物理距離帶來的瓶頸依然存在,因此本地InfiniBand訓練仍然顯著更快。

    2)已有一些新研究發表,探討了減少通信同步次數的去中心化訓練,可能在未來使去中心化訓練更為實際。

    3)智能分片和訓練調度可以幫助提升性能。同樣,未來可能會有新模型架構專門為分布式基礎設施設計(Gensyn正在這些領域進行研究)。

    4)創新如Neuromesh嘗試通過一種稱為預測編碼網絡(PCN)的新方法,以較低成本實現分布式訓練。

     

    2、去中心化的AI數據迭代

    訓練的數據信息部分也是一個難題。任何AI訓練過程都涉及處理大量數據。通常,模型是在集中且安全的數據存儲系統上進行訓練,這些系統具有高可擴展性和高性能。這需要傳輸和處理數TB的數據,而且這不是一次性的循環。數據通常是嘈雜且含有錯誤的,所以在訓練模型之前,必須對數據進行清洗和轉換,使其成為可用格式。這個階段涉及標準化、過濾和處理缺失值的重復任務。在去中心化環境中,這些都構成了嚴重挑戰。

    訓練的數據信息部分也是迭代的,這與Web3不太兼容。OpenAI花費了成千上萬次迭代才取得他們的成果。訓練過程是迭代的:如果當前模型未達到預期效果,專家會返回到數據收集或模型訓練階段以改進結果。現在,想象在去中心化環境中進行這個過程,而現有的最佳框架和工具在Web3中不易獲得。

    一種有前景的技術是0g.ai(由Hack VC支持),他們提供鏈上數據存儲和數據可用性基礎設施。他們擁有更快的架構和在鏈上存儲大量數據的能力。

     

    3、利用過度冗余的AI推理計算達成共識

    加密與AI結合的一個挑戰是驗證AI推理的準確性,因為你不能完全信任單一的中心化方來執行推理操作,存在節點行為不端的可能性。在Web2的AI中,這個挑戰不存在,因為沒有去中心化的共識系統。

    一種解決方案是冗余計算,即多個節點重復相同的AI推理操作,以便在無信任的環境中操作,并避免單點故障。

    這種方法的問題在于,我們生活在一個高端AI芯片嚴重短缺的世界。高端NVIDIA芯片的等待期長達數年,導致價格上漲。如果你還要求AI推理在多個節點上多次重復執行,這將大幅增加這些昂貴的成本。對于許多項目來說,這是行不通的。

     

    4、Web3特定的AI用例(短期內)

    有人建議,Web3應該有其獨特的AI用例,專門針對Web3客戶。

    目前,這仍是一個新興市場,用例尚在發現中。一些挑戰包括:

    • Web3原生用例需要的AI交易量較少,因為市場需求還處于起步階段。

    • 客戶較少,因為Web3客戶相比Web2客戶少了好幾個數量級,所以市場不那么分散。

    • 客戶本身不夠穩定,因為他們是資金較少的初創公司,因此這些初創公司可能會隨著時間的推移倒閉。針對Web3客戶的AI服務提供商可能需要隨著時間的推移重新獲取部分客戶,以替代那些倒閉的客戶,使其業務擴展更加困難。

    從長遠來看,我們對Web3原生的AI用例非常看好,特別是隨著AI代理的普及。我們設想未來每個Web3用戶都會有多個AI代理為他們提供幫助。這個領域的早期領先者是Theoriq.ai,他們正在構建一個可組合AI代理的平臺,能夠服務于Web2和Web3客戶(由Hack VC支持)。

     

    5、消費級GPU去中心化物理基礎設施網絡(DePIN)

    有許多去中心化的AI計算網絡依賴消費級GPU,而不是數據中心的GPU。消費級GPU適用于低端AI推理任務或延遲、吞吐量和可靠性要求較為靈活的消費用例。但對于嚴肅的企業用例(即占據主要市場份額的用例),客戶希望網絡比家庭機器更可靠,且復雜推理任務通常需要更高端的GPU。對于這些更有價值的客戶用例,數據中心更為適合。

    需要注意的是,我們認為消費級GPU適合于演示用途或那些能容忍較低可靠性的個人和初創公司但這些客戶的價值基本較低,因此我們認為,面向Web2企業的去中心化物理基礎設施網絡(DePIN)從長遠來看會更有價值。因此,知名的GPU DePIN項目通常已經從早期主要使用消費級硬件發展到現在具備A100/H100和集群級別的可用性。

     

    二、加密 x AI 的實際且可行的用例

    現在,讓我們討論加密 x AI 能顯著提升價值的用例。

     

    實際收益1:服務于Web2客戶

    麥肯錫估計,生成式AI每年可為他們分析的63個用例帶來2.6萬億至4.4萬億美元的附加價值——相比之下,英國2021年的GDP總量為3.1萬億美元。這將使所有人工智能的影響增加15%到40%。如果我們將生成式AI嵌入目前用于其他任務的軟件中,這一估計的價值將大致翻倍。

    有趣的是:

    • 根據上述估算,這意味著全球AI(不僅僅是生成式AI)的總市場價值可能達到數十萬億美元。

    • 相比之下,所有加密貨幣(包括比特幣和所有山寨幣)加起來的總價值今天僅約為2.7萬億美元。

    所以,讓我們現實一點:短期內需要AI的客戶絕大多數將是Web2客戶,因為實際需要AI的Web3客戶只是這2.7萬億市場中的一小部分(考慮到BTC占據了一半的市場份額,而BTC本身并不需要/使用AI)。

    Web3的AI用例才剛剛起步,目前尚不清楚其市場規模會有多大。但有一點直觀上可以確定——在可預見的未來,它只會是Web2市場的一部分。我們相信Web3 AI依然有光明的前景,但這意味著目前Web3 AI最普遍的應用還是服務于Web2客戶。

    可以從Web3 AI中受益的Web2客戶的示例包括:

    • 從頭開始構建并以AI為核心的垂直行業軟件公司(例如Cedar.ai或Observe.ai)

    • 為自身目的微調模型的大型企業(例如Netflix)

    • 快速增長的AI提供商(例如Anthropic)

    • 在現有產品中加入AI功能的軟件公司(例如Canva)

    這是一個相對穩定的客戶群體,因為這些客戶通常規模大且價值高。他們不太可能在短期內倒閉,并且代表了AI服務的非常大的潛在客戶群。服務于Web2客戶的Web3 AI服務將受益于這一穩定的客戶基礎。

    但為什么Web2客戶會想要使用Web3技術棧?本文的其余部分將解釋這個理由。

     

    實際收益2:通過GPU去中心化物理基礎設施網絡(GPU DePIN)降低GPU使用成本

    GPU DePINs匯集了未充分利用的GPU計算能力(其中最可靠的來自數據中心),并使這些資源可用于AI推理。可以簡單地將其視為“GPU的Airbnb”(即協作消費未充分利用的資產)。

    我們對GPU DePINs感到興奮的原因如上所述,主要是因為NVIDIA芯片短缺,目前有許多GPU周期被浪費了,這些資源可以用于AI推理。這些硬件所有者已經承擔了沉沒成本,當前沒有充分利用他們的設備,因此可以以比現狀更低的成本提供這些部分GPU周期,因為對硬件所有者來說,這實際上是“意外之財”。

    具體例子包括:

    1)AWS機器:如果你今天從AWS租用一臺H100,你需要承諾至少租用一年,因為市場供應緊張。這會導致浪費,因為你不太可能全年365天、每周7天都使用你的GPU。

    2)Filecoin挖礦硬件:Filecoin網絡有大量的補貼供應,但實際需求并不大。不幸的是,Filecoin從未找到真正的產品市場契合點,因此Filecoin礦工面臨破產的危險。這些機器配備了GPU,可以重新用于低端AI推理任務。

    3)ETH挖礦硬件:當ETH從工作量證明(PoW)轉向權益證明(PoS)時,大量硬件立即變得可用,這些硬件可以重新用于AI推理。

    GPU DePIN市場競爭激烈,有多個參與者提供產品。例如Aethir、Exabits和Akash。Hack VC選擇支持io.net,后者還通過與其他GPU DePINs的合作來匯集供應,因此他們目前支持市場上最大的GPU供應。

    需要注意的是,并非所有GPU硬件都適用于AI推理。一個明顯的原因是較舊的GPU沒有足夠的GPU內存來處理大語言模型(LLMs),盡管在這方面已經有一些有趣的創新。例如,Exabits開發了技術,將活躍的神經元加載到GPU內存中,而將不活躍的神經元加載到CPU內存中。他們預測哪些神經元需要活躍/不活躍。這使得即使在GPU內存有限的情況下,也能使用低端GPU處理AI工作負載。這實際上提高了低端GPU在AI推理中的實用性。

    此外,Web3 AI DePINs需要隨著時間的推移強化他們的產品,提供企業級服務,如單點登錄(SSO)、SOC 2合規、服務級別協議(SLAs)等。這將與當前Web2客戶享受的云服務相媲美。

     

    真正的優勢 #3:避免OpenAI自我審查的非審查模型

    關于AI審查的問題已經有很多討論。例如,土耳其曾一度暫時禁止OpenAI(后來他們在OpenAI改進其合規性后取消了禁令)。我們認為這種國家級別的審查從根本上說并不值得關注,因為各國需要擁抱AI才能保持競爭力。

    更有趣的是,OpenAI會自我審查。例如,OpenAI不會處理NSFW(不適合在工作場合觀看)內容,也不會預測下屆總統選舉的結果。我們認為在OpenAI因政治原因不愿涉及的AI應用領域,存在一個有趣且巨大的市場。

    開源是解決這一問題的一個好辦法,因為一個Github倉庫不受制于股東或董事會。一個例子是Venice.ai,它承諾保護用戶隱私并以非審查的方式運作。當然,關鍵在于其開源性,這使得這一切成為可能。Web3 AI可以有效提升這一點,通過在低成本的GPU集群上運行這些開源軟件(OSS)模型以進行推理。正因為如此,我們相信OSS + Web3是鋪平非審查AI道路的理想組合。

     

    真正的好處 #4:避免向OpenAI發送個人可識別信息

    許多大型企業對其內部企業數據存在隱私顧慮。對于這些客戶來說,很難信任像OpenAI這樣的集中式第三方來處理這些數據。

    對于這些企業來說,使用web3可能會顯得更加可怕,因為他們的內部數據突然出現在一個去中心化網絡上。然而,對于AI而言,隱私增強技術方面已經有一些創新:

    諸如Super協議之類的可信執行環境TEE

    諸如Fhenix.io(由Hack VC管理的基金組合公司)或Inco Network(均由Zama.ai提供支持)和Bagel的PPML之類的完全同態加密(FHE)

    這些技術仍在不斷發展,通過即將推出的零知識(ZK)和FHE ASICs,性能也在不斷改善。但長期目標是在微調模型時保護企業數據。隨著這些協議的出現,web3可能會成為更具吸引力的隱私保護AI計算場所。

     

    真正的好處 #5:利用開源模型的最新創新

    在過去的幾十年里,開源軟件(OSS)一直在侵蝕專有軟件的市場份額。我們將LLM視為一種高級專有軟件,正逐漸成為開源軟件的顛覆對象。一些值得注意的挑戰者包括Llama、RWKV和Mistral.ai。隨著時間的推移,這個列表無疑會不斷增長(在Openrouter.ai上提供了更全面的列表)。通過利用由開源模型提供支持的web3 AI,人們可以充分利用這些新創新。

    我們相信,隨著時間的推移,一個開源的全球開發工作力量,結合加密激勵,可以推動開源模型以及構建在其之上的代理和框架的快速創新。一個AI代理協議的例子是Theoriq。Theoriq利用開源模型創建了一個可組合互聯的AI代理網絡,可以組裝在一起創建更高級的AI解決方案。

    我們對此深信不疑的原因在于過去的經驗:大多數“開發者軟件”在經過時間的推移后逐漸被開源軟件所超越。微軟過去是一家專有軟件公司,現在成為了貢獻最多的Github公司,這是有原因的。如果你看看Databricks、PostGresSQL、MongoDB等是如何顛覆專有數據庫的,就會發現整個行業就是一個被開源軟件顛覆的例子,所以先例在這里是相當強大的。

    然而,這也有一個小陷阱。OSS LLMs存在一個棘手的問題,就是OpenAI已經開始與組織簽訂付費數據許可協議,比如Reddit和紐約時報。如果這種趨勢持續下去,由于獲取數據的經濟壁壘,OSS LLMs可能會越來越難以競爭。英偉達可能會將保密計算作為安全數據共享的加強工具。時間會告訴我們這將如何發展。

     

    真正的好處 #6:通過高成本的隨機抽樣或零知識證明實現共識

    在web3 AI推理中,驗證是一個挑戰。驗證者有可能通過欺騙結果來獲取費用,因此驗證推理是一項重要的措施。需要注意的是,盡管AI推理還處于初級階段,但除非采取措施來削弱這種行為的動機,否則這種欺騙是不可避免的。

    標準的web3方法是讓多個驗證者重復相同的操作并進行結果比較。然而,正如前面提到的,由于當前高端Nvidia芯片短缺,AI推理非常昂貴。考慮到web3可以通過未充分利用的GPU DePINs提供更低成本的推理,冗余計算將嚴重削弱web3的價值主張。

    更有希望的解決方案是對離鏈AI推理計算進行零知識證明。在這種情況下,可以驗證簡明的零知識證明以確定模型是否經過正確訓練,或者推理是否正確運行(稱為zkML)。其中的示例包括Modulus Labs和ZKonduit。由于零知識操作需要相當大的計算資源,這些解決方案的性能仍處于初級階段。然而,隨著零知識硬件ASIC在不久的將來推出,這一情況可能會得到改善。

    更有希望的想法是一種“樂觀”抽樣為基礎的AI推理方法。在這種模型中,您只需驗證驗證者生成結果的一小部分,但設置足夠高的經濟成本來懲罰被抓到作弊的驗證者,從而產生強大的經濟禁止效應。這樣一來,您可以節省冗余計算(例如,參見Hyperbolic的"Proof of Sampling"論文)。

    另一個有希望的想法是使用水印和指紋技術的解決方案,例如Bagel Network提出的解決方案。這類似于亞馬遜Alexa為其數百萬設備上的AI模型質量保證提供的機制。

     

    真正的好處 #7:通過可組合的開源軟件堆棧節省費用(OpenAI的利潤)

    web3為AI帶來的下一個機會是降低成本的民主化。到目前為止,我們已經討論了通過像io.net這樣的DePINs節省GPU成本的方法。但是,web3還提供了節省中心化web2 AI服務的利潤率(例如OpenAI,根據本文撰寫時的信息,其年收入超過10億美元)的機會。這些成本節約來自于使用開源軟件(OSS)模型而不是專有模型,從而實現了額外的成本節約,因為模型創建者并不試圖盈利。

    許多開源軟件模型將始終完全免費,這為客戶提供了最佳的經濟效益。但是,也可能有一些開源軟件模型嘗試這些變現方法。請考慮,Hugging Face上僅有4%的模型由有預算的公司進行訓練以幫助補貼這些模型(參見此處)。剩下的96%的模型是由社區進行訓練的。這個96%的Hugging Face模型群體面臨著實際的成本(包括計算成本和數據成本)。所以這些模型需要以某種方式實現變現。

    有許多關于實現這種開源軟件模型變現的提議。其中最有趣的之一是“初始模型發行”(IMO)的概念,即將模型本身進行Token化,留下一部分Token給團隊,并將模型的一些未來收入流向Token持有人,盡管這其中顯然存在一些法律和監管障礙。

    其他開源軟件模型將嘗試基于使用量進行變現。需要注意的是,如果這種情況變為現實,開源軟件模型可能開始越來越像它們的web2利潤生成對應物。但是,從現實角度來看,市場將會二分,其中一些模型將完全免費。

    一旦選擇了開源軟件模型,您可以在其上進行可組合的層次操作。例如,您可以使用Ritual.net進行AI推理,以及Theoriq.ai作為可組合和自治的鏈上AI代理的早期領導者(兩者都得到了Hack VC的支持)。

    真正的好處 #8:去中心化的數據采集

    AI面臨的最大挑戰之一是獲取適合訓練模型的正確數據。我們之前提到過,去中心化AI訓練存在一些挑戰。但是利用去中心化網絡來獲取數據(然后可以在其他地方,甚至是傳統的web2平臺上用于訓練)又如何呢?

    這正是像Grass這樣的初創公司正在做的事情(得到了Hack VC的支持)。Grass是一個去中心化的“數據爬取”網絡,由個人貢獻他們機器的閑置處理能力來獲取數據,以供AI模型的訓練。理論上,在大規模應用中,這種數據采集可能比任何一家公司的內部努力更優越,因為龐大的激勵節點網絡具有強大的計算能力。這不僅包括獲取更多的數據,還包括更頻繁地獲取數據,以使數據更具相關性和最新性。由于這些數據爬取節點本質上是分散的,不屬于單個IP地址,因此幾乎不可能阻止這個去中心化的數據爬取軍團。此外,他們還有一支人力網絡,可以清理和規范數據,使其在被爬取后變得有用。

    一旦獲取了數據,您還需要一個鏈上的存儲位置,以及使用該數據生成的LLM(大型語言模型)。在這方面,0g.AI是早期的領導者。它是一個針對AI進行優化的高性能web3存儲解決方案,比AWS便宜得多(這對于Web3 AI來說是另一個經濟上的成功),同時也可以作為第二層、AI等的數據可用性基礎設施。

    需要注意的是,在未來,數據在web3 AI中的作用可能會發生變化。目前,對于LLM來說,現狀是使用數據對模型進行預訓練,并隨著時間的推移使用更多的數據進行改進。然而,由于互聯網上的數據實時變化,這些模型始終略微過時,因此LLM推理的響應略有不準確。

    未來可能發展的一個新范式是“實時”數據。這個概念是當LLM被要求進行推理時,LLM可以通過向其注入實時從互聯網上收集的數據來使用數據。這樣,LLM將使用最新的數據。Grass也正在研究這一點。

     

    三、結論

    我們希望這篇分析對您在思考web3 AI的承諾與現實時有所幫助。這只是一個討論的起點,而且這個領域正在迅速變化,所以請隨時加入并表達您的觀點,因為我們愿意繼續共同學習和建設。

     

     

    本文鏈接:http://www.zhucexiangganggs.com/kp/du/06/5253.html

    來源:https://x.com/ed_roman/status/1803922033820193226

    白話區塊鏈

    區塊鏈世界入口,人人都能看懂的區塊鏈;24 小時熱點實時追蹤。

    毛片免费看