SAMP具有以下几项主要亮点：隨着深度學習模型在自然語言處理等領域的廣泛應用，模型推理速度和性能成爲關鍵問題。近日，由快手主導的研究成果《SAMP：基於自適應混合精度的訓練後量化模型推理庫》成功入選該領域*會議EMNLP 2023，並於新加坡現場展示和分享。
該研究提出了一種名爲SAMP的推理加速工具，通過自適應混合精度技術，在保持模型性能的同時，顯著提高推理速度。其中包含自適應混合精度編碼器和一系列先進的融合策略。自適應混合精度編碼器可以在大量的通用矩陣乘法（GEMM）運算和Transformer層中找到*浮點定點混合精度組合方式，使模型推理的性能最貼近用戶需求（計算精度或推理效率）。最終，混合精度計算取得了比全定點計算更好的計算精度。融合策略對embedding算子和量化相關計算操作進行融合改進，使得 CUDA 內核調用減少一半。同時，SAMP是由C++編程語言實現的端到端工具包，具有出色的推理速度，也降低了訓練後量化推理的工業應用門檻。
表1：SAMP與同類系統相比的創新點
SAMP具有以下幾項主要亮點：
1.自適應。SAMP 在訓練後量化推理方法中平衡計算精度和延遲性能。用戶可以針對不同的任務選擇合適精度和推理延遲的混合精度配置。SAMP還可通過自適應分配方法推薦給用戶*的量化組合模式。
2.推理效率。在較寬的精度範圍（浮點到定點）中，SAMP 顯示出比其他推理工具包更好的推理加速。在中文語言理解測評基準（CLUE）分類任務數據集中，與FasterTransformer相比，SAMP實現了高達1.05-1.15倍的加速。
3.靈活性。SAMP 涵蓋衆多下游任務，如分類、序列標記、文本匹配等。 Target 模塊是可擴展的並且可以靈活定製。它對用戶友好且對平台依賴性較低。 SAMP 支持 C++ 和 Python API，僅需要 CUDA 11.0 或更高版本即可。 另外，SAMP也提供了許多模型轉換工具，支持不同格式模型之間相互轉換。
主要研究者來自快手的田榮表示，能在模型推理這樣的場景下取得佳績是整個團隊共同努力的結果，SAMP的貢獻主要在三個方面，首先是解決了現有後量化（PTQ）推理工具在工業應用中精度損失大的問題；第二是推動了後量化（PTQ）技術在 NLP 多個下游任務中大規模使用；同時，該推理庫還有輕量、靈活，對用戶友好的特點並支持用戶自定義任務目標。
據悉，EMNLP（Empirical Methods in Natural Language Processing）是自然語言處理和人工智能領域的*國際會議之一，聚焦於自然語言處理技術在各個應用場景的學術研究，尤其重視自然語言處理的實證研究。該會議曾推動了預訓練語言模型、文本挖掘、對話系統、機器翻譯等自然語言處理領域的核心創新，在學術和工業界都有巨大的影響力，此次入選也意味着快手在該領域的研究成果獲得了國際學者的認可。
