Zilliz攜手大模型生態企業玩轉GDC 2024，向量數據庫和RAG成行業焦點

導語：

3 月 23 日-24 日,聚焦全球開發者精英,由上海市人工智能行業協會(SAIA)主辦的 2024 全球開發者先鋒大會(2024 GDC)在上海舉辦。Zilliz 作為向量數據庫賽道的領軍者,受邀參與了此次活動,不僅在不同形式的活動中進行了 3 場主題分享,還與百川智能、Dify.AI、Moonshot AI 等公司一同在「大模型展示及研討專區」的產品互動展臺,與來自各地的開發者進行互動。

據悉,本次大會由世界人工智能大會組委會、上海市經濟和信息化委員會、上海市徐匯區人民政府、中國(上海)自由貿易試驗區臨港新片區管理委員會共同指導,上海市人工智能行業協會聯合上海人工智能實驗室、上海臨港經濟發展(集團)有限公司、開放原子開源基金會共同主辦。

全球開發者先鋒大會(GDC)緣起總.理在達沃斯世界經濟論壇打 CALL 的世界人工智能大會(WAIC),作為 WAIC 聚焦科技和人才力量的重要板塊,GDC 已發展成為全球開發者的盛大節日、頂尖技術趨勢的風向標。向量數據庫賽道正是 AIGC 時代的重要技術風向標,Zilliz 在現場向全球的開發者展示了其在頂尖向量數據庫技術的多重探索。

Zilliz 資深解決方案架構師沈亮以《百億級向量數據庫架構創新與優化之路》的主題進行了分享。他表示,向量數據庫最早誕生于 2019 年,由 Zilliz 公司推出并開源了全球首款向量數據庫 Milvus。在那個時期,向量數據庫的功能相對比較簡單,主要是基于向量檢索庫 Faiss 的基礎上,封裝了遠程過程調用(RPC)接口,并支持了基于 Write-Ahead Logging(WAL)的持久化能力。相比于傳統的向量檢索方法,Milvus 1.0 的最大意義在于解耦了業務邏輯、模型和數據存儲這三者之間的緊密關聯。這意味著應用開發者不再需要關注底層基礎設施的維護工作,這些工作包括但不限于集群的部署、數據的持久化和數據的遷移等。因此,Milvus 1.0 為許多用戶提供了從傳統煙囪式的人工智能開發模式向大模型時代。

隨著大模型技術的蓬勃發展,向量數據庫開始進入 2.0 時代,更多的個人開發者涌入賽道,對向量數據庫的關注也逐漸遷移到開發效率、部署簡單以及面向大模型加強場景的功能需求。向量數據庫絕不僅僅是用來進行簡單的向量檢索,要想真正提升開發者的開發效率和使用成本,需要系統開發者深入理解硬件、存儲、數據庫、AI、高性能計算、分布式系統、編譯原理、云原生等,以確保其穩定性、性能和易用性。在此基礎上,Zilliz 推出了Zilliz Cloud,可提供全托管的 SaaS 及 BYOC 向量數據庫服務,具備深度優化、開箱即用的 Milvus 體驗。使用 Zilliz Cloud 可以輕松構建百億級向量數據庫,分鐘級部署和擴展向量搜索服務,并由全球最專業的向量數據庫團隊提供運維、優化、及綜合支持。

Zilliz 開發者生態及市場運營負責人 Jerry 首先進行了主題為《走進向量數據庫和 RAG ――讓 LLMs 停止幻覺》的分享。Jerry 表示,過去一年,RAG 在技術層面發展迅速,為向量數據庫賽道添了一把火。RAG 和向量數據庫的結合,能夠有效解決幻覺、時效性差、專業領域知識不足等阻礙大模型應用的核心問題。

具體來看,大模型的局限性包括:其一,缺乏領域特定信息:LLM 僅基于公開數據集訓練;缺乏領域特定信息或專有信息等非公開數據。其二,容易產生幻覺:LLM 只能根據其現有數據提供信息和答案;如果超過該范圍,LLM 會提供錯誤或捏造的信息。其三,無法獲取最新信息:LLM 訓練成本十分高昂,無法及時更新其知識庫。其四,不變的預訓練數據:LLM 使用的預訓練數據可能包含過時或不正確的信息,且這些數據無法更正或刪除。

向量數據庫可有效針對解決上述問題,例如針對缺乏領域特定信息的問題,可利用向量數據庫建立知識庫,拓展認知邊界;針對無法獲取最新信息的問題,可以利用向量數據庫為大模型建立記憶、及時更新。

在此基礎上,RAG 技術棧應運而生,通過 LLM、向量數據庫和提示詞的相互配合,讓 LLM 停止幻覺。此外,Jerry 還介紹了向量數據庫的其他應用場景,包括圖片搜索、視頻搜索、文本搜索、數據去重、跨模態搜索、推薦系統、問答系統、版權保護、網絡安全、AI 制藥等。

在《2024 年,重新再來說說關于向量數據庫的那些事兒》主題分享中,Jerry 回顧了向量數據庫從小眾賽道到爆火的全過程,并提及了外界對于向量數據庫和 RAG 的疑問。他表示,大模型技術正在改變世界,但無法改變世界的運行規律。對于大模型而言,長期記憶的重要性也將持續存在。AI 應用的開發者一直在追求查詢質量和成本之間的完美平衡。當大型企業將生成式人工智能投入生產時,需要在控制成本的同時保持最佳的響應質量。在此情況下,RAG 技術和向量數據庫依然是實現這一目標的重要工具。

最后,Jerry 提到,Zilliz 最近面向 AI 初創企業推出了一項扶持計劃,預計提供總計 1000 萬元的 Zilliz Cloud 抵扣金,致力于幫助 AI 開發者構建高效的非結構化數據管理系統,助力打造高質量 AI 服務與運用,加速產業落地。屆時將為全球的 AI 初創團隊提供資源、技術、市場推廣、銷售等全方位的支持,符合要求的團隊可獲得獨家資源與支持。歡迎各位開發者訪問 Zilliz 中文官網首頁點擊 Zilliz AI 初創計劃,與 Zilliz 一起共建 AI 生態!