在 Apple Silicon Mac（M1、M2 或 M3）上运行最新 LLM 模型 Meta Llama 3 的分步指南

请问您是否正寻求通过苹果芯片设备轻松部署最新版 Meta Llama 3？欢迎光临！在这里，默认情况下，默认情况下，默认情况下，默认情况下，默认情况下，默认情况下，默认情况下，默认情况下 getDefault setup steps for running latest Meta Llama 3 on your Apple Silicon Mac？您可以轻松地通过本地设置一个类似 ChatGPT 的友好界面，并充分利用您的计算资源以确保隐私和离线访问。我们的教程将指导您逐步建立一个与 ChatGPT 类似的用户界面。

我会采取简洁的方式向您提供如何在本地运行的步骤，包含使用ChatGPT等漂亮的一体化界面。

你需要什么：奥拉马

Ollama 是一款旨在为 macOS 用户提供可以直接运行 Llama 3、Mistral 和 Gemma 等大型语言模型设置工具。建议您从获取 Ollama 入手。有关 Ollama 所提供的更多信息，请访问其GitHub存储库：ollama/ollama。

在 macOS 上下载 Olama

    https://ollama.com/download
    
    
      
    
    代码解读

完成设置后，在新的终端会话中执行以下指令以检查该配置是否已成功配置，并确保其处于良好状态

    ollama -v
    
    
      
    
    代码解读

选择您的型号

现在，请根据您的 Mac 设备资源情况，在操作前可以选择运行基本配置下的 Meta Llama 3 模型（8B 或者 70B 参数版本）。请注意！为了在本地正常运行这些大语言模型（LLMs），建议配备充足的内存资源。通过 M1 Max 系列处理器搭配 64 GB RAM 的配置（如 M1 Max Pro），我们成功地对 Meta Llama 70B 模型进行了测试评估。该模型在测试过程中展现出良好的性能表现。

要运行 Meta Llama 3 8B，基本上运行以下命令：（4.7 GB）

    ollama run llama3:8b
    
    
      
    
    代码解读

或者对于 Meta Llama 3 70B，运行以下命令：(40 GB)

    ollama run llama3:70b
    
    
      
    
    代码解读

下载需要一些时间才能完成，具体取决于您的互联网速度。

设置用户界面

在完成前述步骤之后，请问您的本地模型就可以与UI进行交互吗？接下来，请我们设置UI并开始交互。

要设置 UI，我们将使用 OpenWebUI ( https://openwebui.com/ )

您将需要 docker 来进行此设置以轻松运行 OpenWebUI。

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
    
    
      
    
    代码解读

现在您可以转到网络浏览器并打开http://localhost:3000/

您将看到此屏幕：

用户点击"注册"建立个人账户无需担心,数据将仅保留在本地设备.

当您登录时，您将看到下面熟悉的屏幕（如 ChatGPT）。

您现在可以从上面选择一个模型并开始测试 LLM 模型。

根据我们当前配置方案，在现有基础之上您不只包括 Meta Llama 3在内可以选择采用多种不同的开源LLM架构进行部署与应用

结论

完成配置后，您的 Apple Silicon Mac 现在成为一个强大的计算中心。不仅能够运行 Meta Llama 3 这款先进的大语言模型，还能运行几乎所有的开源大型语言模型。如需更多关于从本地计算机直接应用大数据和人工智能工具的技术提示，请随时关注。