苹果芯片上的本地大模型推理:连续批处理与SSD缓存优化 | jundot/omlx
项目到底解决了什么问题 我试过不少本地的大模型服务器工具,它们有个共同的矛盾:要么方便但控制力弱,要么能精细控制但配置麻烦。oMLX的作者也遇到了同样的问题,他的解法是把KV缓存切成两阶——活跃的留在内存(热层),不活跃的写到SSD(冷层)。 简单说,聊到一半切去另一个对话,之前计算过的上下文不会丢...
项目到底解决了什么问题 我试过不少本地的大模型服务器工具,它们有个共同的矛盾:要么方便但控制力弱,要么能精细控制但配置麻烦。oMLX的作者也遇到了同样的问题,他的解法是把KV缓存切成两阶——活跃的留在内存(热层),不活跃的写到SSD(冷层)。 简单说,聊到一半切去另一个对话,之前计算过的上下文不会丢...
为什么让人认真看 ZeroClaw 是个单文件 Rust 程序。你下载、配置、运行,它就能连接 LLM(Anthropic、OpenAI、本地 Ollama等约20家),通过30多个渠道(Discord、Telegram、Matrix、邮件、Webhook、甚至你自己的CLI)接收消息,再用Shel...
为什么单条Prompt不够用 拿Claude直接写游戏代码,常见流程是:发一句“帮我写个平台跳跃游戏”,然后不断来回修改。几个回合后,代码里硬编码一堆魔法数字,没有设计文档,没有测试,你想加个存档功能发现自己都看不懂之前的逻辑了。 问题不在AI能力,在流程缺失。真实游戏公司有策划定需求、主程审查代码...
项目到底是什么 oh-my-codex(简称OMX)是一个工作流层,跑在 OpenAI Codex CLI 上面。它不改 Codex 的任何代码,只在 Codex 对话里插入三个命令:$deep-interview、$ralplan、$ultragoal。这三个命令按固定顺序用一次,就完成了需求澄清...
不是又一个“全能AI”,而是Agent运行时的务实选择 我花了两个晚上把它跑起来,读了一部分它的核心代码。nanobot的README第一行写得很直白:“for people who want to own their AI agent stack”——给那些想自己掌控AI Agent技术栈的人。 ...
我读完NanoClaw的README,第一反应是“有人真把这事干成了”。作者对OpenClaw的抱怨非常具体:50万行代码、53个配置文件、70多个依赖,所有代理跑在同一个Node进程里共享内存,安全只靠应用层的白名单和配对码。他判断这种复杂度无法信任,于是用对等的功能重写了一个代码量小到能读完的项...
这东西解决什么问题 你要做个技术分享幻灯片,内容准备好了,但不想花时间调字体、对齐和颜色渐变。你也不是不会CSS/JS,只是懒得为一次演讲搞一套完整前端工作流。 Frontend Slides是一个Claude Code插件,你只需用自然语言描述内容、页数、粗略风格,它直接输出一个单HTML文件。浏...
上手第一印象 下载macOS Apple Silicon版,打开界面。没有注册,没有登录。选一个引擎,粘贴文本,点生成。几秒后音频文件出现在列表里,可以播放或导出。 整个过程没有联网请求。模型文件在首次运行时会下载到本地,之后完全离线。 28811个Star,说明这个方向确实有需求。本地运行、多引擎...
它不是搜索引擎,但能查到Google索引不了的东西 作者自己说:Google聚合编辑,/last30days搜索人。 我对这个项目有兴趣,因为我在AI领域每天都要跟踪最新动态。GitHub上的PR、Reddit上的讨论、X上的帖子——这些地方的信息流动比任何新闻都快。但是没有一个搜索工具能同时搜到它...
痛点:LLM在终端输出上浪费大量token 当你用 Claude Code、Cursor 或 Copilot 执行 git diff、ls -la、docker logs 时,AI 工具会把终端输出原样塞进 LLM 上下文。颜色转义符、表格边框、重复的时间戳和路径前缀——这些信息对人类读终端有用,但...
大多数代理在加权力,它先给你加责任 我试过不少编码代理。它们上来就加工具、加上下文、加自主权——好像只要给模型足够多的东西,它就能搞定一切。CodeWhale 开头的思路不一样,一句话说清:Most coding agents start by adding power. CodeWhale sta...
这是一个给AI代理用的“营销教科书” coreyhaines31/marketingskills 这个项目在 GitHub 上拿到了 30994 个 star。它是一个营销技能集合,但它不是给普通人用的,而是专门给 AI 代理(比如 Claude Code、Cursor 这类工具)用的。它的核心思路...