（知乎AI算法负责人王界武）12月7日，知乎聯合DataFun舉辦主題爲《大模型應用工程化實踐：從實驗室到千萬級用戶產品》的技術沙龍。知乎AI算法負責人王界武、機器學習平台負責人王新、百川智能大語言模型資深算法專家王宇龍以及「提示詞佈道師」李繼剛帶來大模型相關的專業分享和深度交流，吸引來自15個行業、130家企業參會者到場。知乎CTO孫斌在現場宣佈，知乎自研的輕量高效大模型推理框架ZhiLight正式開源。
知乎直答與推理框架 ZhiLight：知乎加速大模型工程化實踐
2024 年知乎持續推進大模型工程化實踐，於 6 月、10 月相繼推出知乎直答及其專業搜索功能，聚焦專業人士的生產力場景，更是將 AI 搜索推進到更具專業、實用性的深度搜索能力拓展階段。
（知乎AI算法負責人王界武）
在技術沙龍上，知乎AI算法負責人王界武詳細介紹了知乎直答從0到1的搭建過程，並重點分享了技術方案選型和「踩坑」經歷。據介紹，知乎直答團隊在構建AI問答系統時，對比了兩種技術路線：LLM 持續 pretrain+posttrain 以及檢索增強生成（RAG）方案，最終後者在成本、時效性、準確性、可擴展性等多維度勝出。當用戶提問時，RAG 系統先從知識庫檢索相關信息作爲上下文，再由大語言模型生成回答。團隊通過在Query理解、召回、大模型生成等多個環節深入優化，顯著降低了AI 的幻覺問題，使得答案具備更高的準確性和權威度。
在專業搜索功能側，知乎直答團隊使用了多種前沿技術。不僅實現了多智能體的協同工作，支持信息查詢、內容分析、數學計算等多種功能，還結合大語言模型強大的推理能力，對用戶的上下文和提問進行深入分析，從多角度、多層次召回多樣且高質量的內容。此外，知乎直答專業搜索還在思維鏈提示詞工程、智能文檔解析、動態資源調度等多個技術模塊實現突破。
王界武介紹，下一步，知乎直答團隊計劃將產品與社區深度融合，滿足更多場景下用戶找答案的需求，在準確性、時效性、交互模式等領域實現更多升級。同時將進一步提升模型的推理能力，使知乎直答具備更強的解決複雜問題能力和使用體驗。
除了知乎直答，知乎自研的大模型推理框架ZhiLight也在本次活動上正式亮相。知乎機器學習平台負責人王新介紹，知乎在多種型號的英偉達設備上部署了大量的大模型推理服務，優秀的開源項目 vLLM、SGLang 廣泛應用於知乎內部。
與此同時，知乎也在探索更低成本、更具可擴展性的自研推理框架方案。2023 年開始，知乎與面壁智能合作開發知海圖大模型以及一系列大模型訓練與推理工程架構。其中 ZhiLight 的設計目標是可以快速部署與實踐 LLaMa-like 模型。
據介紹，ZhiLight 目前兼容 OpenAI chat/completions 接口，監控指標上與 vLLM metrics對齊，便於日常使用及以及與 vLLM 等開源引擎的性能與穩定性對比。ZhiLight 的優化側重於 PCIe 卡間通訊優化、內存管理以及併發請求管理優化，同時還集成了 FlashAttention、Marlin、TensorRT、exllama 等開源項目。其中，ZhiLight 通過計算與通訊overlap、以及低精度通訊等手段，單層Transformer計算時間降低了40%以上。
如上圖，模型規模達到70B 時，多卡推理受卡間通訊影響愈加明顯，ZhiLight 在 TTFT 指標上要明顯優於目前主流的開源推理引擎，並且在 110B 規模情況下 ZhiLight 的優勢進一步擴大。
最後，知乎CTO孫斌在現場宣佈，ZhiLight已經正式開源（）。未來，知乎希望與科技行業、技術從業者一起共建開源開放的交流社區，並推動前沿技術討論從知乎線上延伸到線下。
Agent、AGI、Prompt……大模型技術前瞻與暢想
從 Agent到AGI我們還有多遠？百川智能大語言模型資深算法專家王宇龍從一個探索Agent極限實驗開始，詳細介紹了爲什麼要構建Agent。
在他看來，基於LLM驅動的智能體相較於傳統Agent，利用了大型語言模型（LLM）的強大能力，徹底改變了智能體的工作方式。這類智能體不僅僅是完成單一任務的工具，它們能夠在各種不同的任務之間切換，並且通過理解自然語言來解決問題，其核心能力可以被分解爲：規劃、記憶、工具使用。
王宇龍還介紹，當前Agent面臨的主要問題：缺乏理論指導、架構百花齊放、思路千奇百怪、效果參差不齊，並進一步介紹了Agent和LLM的底層細節。
王宇龍認爲，科學之所以可能，是因爲存在一些可計算簡化的區域，這些區域即使在普遍的不可計算簡化之中也允許規律和預測的存在。人工智能有可能以新的方式發現並利用這些簡化的區域。AI非常適合通過捕捉數據中的規律來做出近似、「大致正確」的預測，這與人類思維的方式相似。但是它在進行精確、詳細的預測時會遇到困難，特別是在面對計算不可約性的時候。
Prompt是什麼？「提示詞佈道師」李繼剛在本次交流會分享了關於Prompt的道與術。他提出「Prompt=表達」，而「表達=本意+文意+解意」，並進一步闡述了「本意=經驗+詞彙+知識」的概念，以及大模型與Prompt的關係：模型效果=LLM*（Task+Promt）。
李繼剛在會上分享了大量 Prompt實戰經驗。他認爲，去年 Prompt的關鍵詞是從短到長，今年的關鍵詞則是從長到短，但最本質的，還是要與大模型實現「共振」。ChatGPT 興起時，他和很多人一樣，給大模型寫很長的 Prompt，但今年開始，他更習慣把 Prompt壓縮成一個詞來開啓大模型的解壓過程。在他看來，用最清晰、簡潔的表達，指向核心本質，才是切中肯綮的*解。
李繼剛認爲，Prompt工程師應該具備人文和技術兩項基本素質，既要能寫編程，要有理性數學的思維，又要會寫作，有感性表達的思維。
此次大模型技術沙龍由知乎發起，聯合Datafun舉辦，同時也是知乎系列技術沙龍的*場。知乎智能算法部負責人張亞峯表示，每天都有大量行業內對大模型感興趣的朋友們在知乎討論新技術和應用經驗，我們會繼續把這些高質量的討論延伸到線下，組織一系列類似的高質量活動，未來知乎將進一步加強與科技行業、技術從業者的交流聯動，爲互聯網行業前沿技術研發和應用貢獻力量。
