在筆記本電腦本地運行AI聊天機器人的妙招

現在，人們在日常生活中使用各種各樣的 人工智能驅動的應用程序。 在您的計算機本地運行大語言模型（LLM），而非使用像 HuggingFace 這樣的網絡界面，好處多多。 首先，在本地運行 LLM 且不通過網絡界面發送數據，能讓用戶在生成數據時更具隱私性。大多數允許使用 LLM 的網絡服務一直都在提醒用戶，別通過 LLM 發送任何敏感信息，因爲開發人員會監控對話，而且可能有好多人能看到您的數據。

有些人比其他人更在意保護自己的數據，也更願意在不受監控、更私密的環境裡嘗試這些服務。像 GPT4ALL 這類本地 LLM 接口，允許用戶運行模型，無需通過公司的門戶發送他們的提示和回覆，而且在測試和自定義模型時能給用戶更大的自由。以下是如何在任何支持的設備上安裝 GPT4ALL 和本地 LLM 的方法。

GPT4ALL 是由 Nomic AI 開發的一個開源大型語言模型接口，它允許您通過所提供的接口在本地運行您選擇的 LLM。該應用程序與各大主流 LLM 的主要發行版均兼容，例如ChatGPT、Llama 和 Mistral。它甚至具備搜索功能，能讓您在接口中直接查找可安裝到 GPT4ALL 的 LLM 實現及文檔集。

您可以在 GPT4ALL 應用程序內部安裝、管理和連接到各種 LLM，包括不同模型的用戶庫。另外，GPT4ALL 利用您計算機的資源，不像其他實現方式那樣需要強大的 GPU 才能在本地運行模型。這是因爲集成在 GPT4ALL 中的模型被量化爲較小的總體規模，從而減少了 LLM 所需的處理能力。GPT4ALL 的目標在於改善公衆對人工智能工具和語言模型的獲取途徑。

GPT4ALL 的圖形用戶界面（GUI）得到官方對 Windows、macOS 和 Ubuntu 系統的支持。Nomic 爲不同的操作系統提供了已編譯好的安裝文件。然而，對於非 Ubuntu 發行版的 Linux 用戶而言，可能需要完成額外的步驟才能讓程序運行。要在 Windows 或 macOS 上安裝應用程序，只需下載並運行安裝程序文件，然後按照說明進行操作。 一旦應用程序安裝完成，您就可以運行它，此時它將打開聊天界面，該界面的設計類似於其他 LLM 界面。

想要安裝該應用程序的 Linux 用戶，如果其發行版與 Ubuntu 安裝程序兼容，就可以通過 Ubuntu 安裝程序進行安裝。也可以利用命令行在 Python 中構建程序。要通過 Python 在 Linux 中藉助命令行安裝應用程序，您應當在終端中運行以下命令：

使用‘pip’命令安裝‘gpt4all’

在 GPT4ALL 上安裝大語言模型非常簡單。該應用程序擁有一個兼容的大語言模型的列表，您可以搜索並直接在界面中安裝。該列表甚至能夠幫助您依據運行每個模型所需的內存量、模型所基於的內容、模型的大小以及其他可能作爲用戶決定因素的參數來進行排序。 所有這些信息在 GPT4ALL 的界面中隨時都能獲取，允許用戶選擇最適合其特定需求的模型。

通過 GPT4ALL 能夠使用的部分模型需要 API 密鑰方可訪問。這並非由 GPT4ALL 的團隊所決定。相反，若某個模型需要 API 密鑰，這是設計和訓練此模型的公司給出的指令。諸如 GPT-4 以及部分官方的 Mistral 分發版之類的模型需要 API 密鑰纔可使用，無論您是在本地運行還是通過網絡界面運行。所以，很不幸，如果您想要使用 OpenAI 密鑰服務，使用 GPT4ALL 並非是繞過付費的途徑。