如果您希望可以時常見面，歡迎標星 收藏哦~
來源：內容來自半導體行業觀察綜合，謝謝。
據 The Information 報道， Nvidia正在商談收購軟件初創公司 OctoAI。
該新聞媒體援引 OctoAI 發給股東的一份文件稱，這家由黃仁勳領導的芯片製造商已向這家位於西雅圖的初創公司出價約 1.65 億美元，該公司銷售軟件供客戶使用，並使其人工智能模型以更高效的方式運行。OctoAI 的股東包括 Tiger Global Management、Madrona Venture Group 和 Amplify Partners。
Nvidia 尚未立即回應 Seeking Alpha 的評論請求。週二午後交易中，英偉達股價下跌 1.4%。
OctoAI 希望利用 OctoStack 簡化私有 AI 模型的部署
今年四月，OctoAI（前身爲 OctoML）宣佈推出 OctoStack，這是其新的端到端解決方案，用於在公司的私有云中部署生成式 AI 模型，無論是在本地還是在來自主要供應商之一的虛擬私有云中，包括 AWS、谷歌、微軟和 Azure，以及 CoreWeave、Lambda Labs、Snowflake 等。
在早期，OctoAI 幾乎只專注於優化模型，使其運行更有效。基於Apache TVM機器學習編譯器框架，該公司隨後推出了 TVM 即服務平台，並隨着時間的推移，將其擴展爲一個成熟的模型服務產品，將其優化功能與 DevOps 平台相結合。隨着生成式人工智能的興起，該團隊隨後推出了完全託管的 OctoAI 平台，幫助其用戶服務和微調現有模型。OctoStack 的核心就是 OctoAI 平台，但用於私人部署。
OctoAI 首席執行官兼聯合創始人Luis Ceze告訴我，該公司平台上有超過 25,000 名開發人員和數百名在生產中使用該平台的付費客戶。Ceze 說，這些公司中很多都是 GenAI 原生公司。不過，想要採用生成式 AI 的傳統企業市場要大得多，因此 OctoAI 現在也通過 OctoStack 向這些企業發起挑戰也許並不奇怪。
「有一點很明顯，那就是，隨着企業市場從去年的試驗轉向部署，首先，所有企業都在四處尋找，因爲他們對通過 API 發送數據感到緊張，」Ceze 說。「其次：他們中的許多人也投入了自己的計算能力，那麼當我已經有了自己的計算能力時，爲什麼還要購買 API？第三，無論你獲得什麼認證，無論你有多大的名氣，他們都覺得他們的人工智能就像他們的數據一樣珍貴，他們不想把它發送過來。因此，企業確實需要將部署置於你的控制之下。」
Ceze 指出，該團隊一直在構建架構以提供其 SaaS 和託管平台。雖然 SaaS 平台針對 Nvidia 硬件進行了優化，但 OctoStack 可以支持更廣泛的硬件，包括 AMD GPU 和AWS 的 Inferentia加速器，這反過來使優化挑戰變得更加困難（同時也發揮了 OctoAI 的優勢）。
對於大多數企業來說，部署 OctoStack 應該很簡單，因爲 OctoAI 爲平台提供了即用型容器及其相關的 Helm 圖表以供部署。對於開發人員來說，無論他們的目標是 SaaS 產品還是私有云中的 OctoAI，API 都保持不變。
規範的企業用例仍然使用文本摘要和 RAG 來允許用戶與其內部文檔進行聊天，但一些公司也在其內部代碼庫上對這些模型進行微調以運行自己的代碼生成模型（類似於 GitHub 現在向Copilot Enterprise 用戶提供的服務）。
對於許多企業來說，能夠在嚴格控制的安全環境中做到這一點，使他們能夠將這些技術投入到員工和客戶的生產中。
Apate AI創始人兼首席執行官 Dali Kaafar 表示：「對於我們注重性能和安全的用例，處理調用數據的模型必須在具有靈活性、規模和安全性的環境中運行。OctoStack讓我們能夠在我們選擇的環境中輕鬆高效地運行所需的定製模型，並提供客戶所需的規模。」