Featured image of post M芯片Mac 配置oMLX遇到的问题相关解决

M芯片Mac 配置oMLX遇到的问题相关解决

解决配置oMLX时遇到的奇怪的问题

M芯片Mac配置oMLX遇到的问题相关解决

1
https://github.com/jundot/omlx
1
https://zhuanlan.zhihu.com/p/2014650251089302644

建议使用Homebrew安装

  • Homebrew是Mac和Linux上的一款包管理,很多应用通过Homebrew分发;

    1
    
       [Homebrew官网](https://brew.sh/)
    
    • 要像流畅使用homebrew,建议提前准备科学上网环境。
  1. 使用Homebrew安装的oMLX,可以在终端直接使用命令** omlx * **;
  2. 请遵循项目地址中readme.md的 Install.Homebrew 这一节来安装,由于涉及到下载与编译,需要等待较长时间(接近1GB的大小);
  3. 下载完毕后,通过 Quickstart.Homebrew Service 这一节教程来启动,以默认设置启动。

配置 ~/.omlx/settings.json

  1. 打开访达,进入下载文件夹,按住option键,点击左下角的Macintosh HD,依次点击User\mac,找到.omlx文件夹后进入;

  2. 打开settings.json,找到"api_key"这一项,修改或填入为任意短字符串,例如omlx

    • 注意,此处为一个坑点,如果此处填写32或者48字符的长字符串,将会导致无法被外部认证,请务必填写短字符串。
    • 如果填写长apikey,在一键接入openclaw时,会提示 run omlx serve first 的报错,这个是一个bug。
  3. 下载模型文件夹放入 ~/.omlx/models 中

    1
    
    https://huggingface.co/Qwen/Qwen3-4B-MLX-4bit
    
    • 注意,模型文件一定是整个文件夹;
    • 模型一定是要带 MLX 字样的,否则无法被正常调用;
    • 拉取推荐使用 git clone 和 git lfs pull,详情询问AI。
  4. 使用brew命令重启omlx服务

    1
    
    brew services restart omlx
    
  5. 进入管理GUI,察看状态

    1
    
    http://127.0.0.1:8000/admin
    
    • 注意要加admin进入二级页。
    • 点击菜单栏中最右边的Chat,看看是否可以正常聊天。如果不可以,则重新尝试,或者打开活动监视器,检查内存是否够用(MAc的机载RAM最少16G);
    • 如果提示 request timeout,调小上下文长度,在 Settings 栏里面。
  6. 接入openclaw

    • 在终端中键入 openclaw onboard 配置模型提供商;
    1
    
    http://127.0.0.1:8000/v1
    
    1
    
    omlx # 如果你按我的来,就是这个,在本地运行不用担心泄露问题
    
    • 按部就班填写即可。
  7. 配置完毕,切换模型后,请使用 openclaw gateway restart 重启以应用更改(旧版),新版则直接在openclaw GUI中修改即可。

Licensed under CC BY-NC-ND 4.0
comments powered by Disqus