跳到內容

合作政策

本文件概述了 vLLM 如何與模型提供商、硬體供應商和其他利益相關者進行合作。

新增新主要功能

任何人都可以為 vLLM 做出貢獻。對於主要功能,請先提交 RFC(徵求意見稿)。要提交 RFC,請建立一個 issue 並選擇 RFC 模板。RFC 類似於設計文件,討論動機、解決的問題、考慮的替代方案以及提議的更改。

提交 RFC 後,請在 vLLM Slack 的 #contributors 頻道釋出,並通知相關領域負責人和提交者以獲取反饋。對於備受關注的功能,提交者會提名一個人來協助 RFC 流程和 PR 審查。這確保有人指導您完成整個流程。這會反映在 RFC issue 的“assignee”欄位中。如果指定的負責人和主要維護者發現該功能存在爭議,維護者團隊會在瞭解所有人的詳細資訊後迅速做出決定。這包括指定一名提交者作為 DRI(直接責任人)來做出決定並指導程式碼貢獻過程。

對於您打算維護的功能,請隨時將自己新增到 mergify.yml 中,以便在涉及您正在維護的功能的 PR 出現時接收通知和自動分配。隨著時間的推移,所有權將透過提交者提名和投票過程進行評估和更新。

新增新模型

如果您使用 vLLM,我們建議您在公開發布模型之前,按照 模型註冊流程使其與 vLLM 相容。

vLLM 團隊協助處理 vLLM 不支援的新模型架構,特別是那些具有前沿架構的模型。以下是 vLLM 團隊與模型提供商合作的方式。vLLM 團隊包括專案的所有 提交者。模型提供商可以排除某些成員,但不應該這樣做,因為這可能會因缺乏專業知識而影響釋出時間表。如果您想合作,請聯絡 專案負責人

一旦我們建立 vLLM 團隊與模型提供商之間的聯絡

  • vLLM 團隊瞭解模型架構和相關更改,然後計劃涉及哪些領域負責人以及包含哪些功能。
  • vLLM 團隊建立一個私有通訊渠道(目前是 vLLM 工作空間中的 Slack 頻道)和一個 vllm-project 組織內的私有 fork。模型提供商團隊可以邀請其他人加入該頻道和倉庫。
  • 第三方,如計算提供商、託管推理提供商、硬體供應商和其他組織,通常會與模型提供商和 vLLM 合作進行模型釋出。我們根據需要建立直接通訊(經許可)或三方通訊。

vLLM 團隊與模型提供商合作進行功能開發、整合和釋出時間表。我們努力按時釋出,但工程挑戰,如功能開發、模型準確性對齊和最佳化,可能會導致延遲。

vLLM 維護者不會公開分享有關模型架構、釋出時間表或即將釋出的資訊。我們在安全的伺服器上維護模型權重,並採取安全措施(儘管我們可以進行安全審查和測試,而無需認證)。我們根據要求刪除預釋出權重或工件。

vLLM 團隊在模型釋出的營銷和推廣活動方面進行合作。模型提供商可以在出版物和材料中使用 vLLM 的商標和徽標。

新增新硬體

vLLM 被設計為一個支援前沿模型架構和高效能加速器的平臺。對於新硬體,請遵循 硬體外掛 系統來新增支援。使用平臺外掛系統新增硬體支援。隨著硬體的普及,我們會在文件和營銷材料中對其進行推廣。vLLM GitHub 組織可以託管硬體外掛倉庫,特別是對於公司之間的合作。

我們很少直接將新硬體新增到 vLLM。相反,我們對現有硬體平臺進行模組化處理,以保持 vLLM 核心與硬體無關。