在端側部署 Transformer 模型需要仔細考慮性能和兼容性。Python 雖然功能強大，但對于部署來說有時并不算理想，特別是在由 C++ 主導的環(huán)境中。這篇博客將指導您如何使用 Optimum-Intel 和 OpenVINO? GenAI 來優(yōu)化和部署 Hugging Face Transformers 模型，確保在最小依賴性的情況下進行高效的 AI 推理。

OpenVINO? 最初是作為 C++ AI 推理解決方案開發(fā)的，使其非常適合在端側設備部署中，其中最小化依賴性至關重要。隨著引入 GenAI API，將大型語言模型 (LLMs) 集成到 C++ 或 Python 應用程序中變得更加簡單，其特性旨在簡化部署并提升性能。

預先準備

開始之前，請確保您的環(huán)境已正確配置了 Python 和 C++。安裝必要的 Python 包:

以下是本文中使用的具體包:

有關 GenAI C++ 庫的安裝，請按照此處的說明進行操作。https://docs.openvino.ai/2024/get-started/install-openvino/install-openvino-genai.html

Hugging Face 和 Intel 的合作促成了Optimum-Intel項目。該項目旨在優(yōu)化 Transformers 模型在 Intel 硬件上的推理性能。Optimum-Intel 支持 OpenVINO 作為推理后端，其 API 為各種基于 OpenVINO 推理 API 構建的模型架構提供了封裝。這些封裝都以OV前綴開頭，例如OVModelForCausalLM。除此之外，它與