苹果芯片上的本地大模型推理：连续批处理与SSD缓存优化 | jundot/omlx
项目到底解决了什么问题 我试过不少本地的大模型服务器工具，它们有个共同的矛盾：要么方便但控制力弱，要么能精细控制但配置麻烦。oMLX的作者也遇到了同样的问题，他的解法是把KV缓存切成两阶——活跃的留在内存（热层），不活跃的写到SSD（冷层）。 简单说，聊到一半切去另一个对话，之前计算过的上下文不会丢...
项目到底解决了什么问题 我试过不少本地的大模型服务器工具，它们有个共同的矛盾：要么方便但控制力弱，要么能精细控制但配置麻烦。oMLX的作者也遇到了同样的问题，他的解法是把KV缓存切成两阶——活跃的留在内存（热层），不活跃的写到SSD（冷层）。 简单说，聊到一半切去另一个对话，之前计算过的上下文不会丢...