微软官方发布:1.58位大模型本地CPU推理框架 bitnet.cpp | microsoft/BitNet
微软的 bitnet.cpp 是个推理框架,专跑 1.58-bit 的大模型。正常模型权重用 FP16(16位浮点数),这个框架把每个权重限死在三个值:-1、0、1。乘法和加法直接退化成加减法,碰到 0 的权重直接跳过。结果就是计算量和内存带宽都能砍掉一大截,而且模型精度损失在可接受范围内。 这事的...
微软的 bitnet.cpp 是个推理框架,专跑 1.58-bit 的大模型。正常模型权重用 FP16(16位浮点数),这个框架把每个权重限死在三个值:-1、0、1。乘法和加法直接退化成加减法,碰到 0 的权重直接跳过。结果就是计算量和内存带宽都能砍掉一大截,而且模型精度损失在可接受范围内。 这事的...
项目是什么 Black Forest Labs 官方开源的 Flux 系列图像生成模型推理代码。一个 Python 项目,你把仓库克隆到本地,装好依赖,就能用自己的显卡跑文本生成图片、填充、扩图、边缘/深度控制生成。数据不出本机,适合对隐私敏感或需要定制生成流程的开发者。 GitHub 上 2558...
一句话概括这个仓库 aisuite 是 Andrew Ng 团队开源的一个 Python 库,做两件事: 把 OpenAI、Anthropic、Google、Ollama 等十几个提供商的 Chat Completions API 统一成一个接口,换模型只改一个字符串。 在这个接口之上加了一层简单的...
它不是另一个AI生成器 GitHub上25845个star的Onlook,README里列了一长串计划,但今天你能拿到的核心功能很窄:一个针对Next.js + TailwindCSS项目的可视化编辑器。 它和Bolt.new、Lovable、V0这类的“AI从零生成”工具相反。那些工具让你描述需求...
它解决了什么问题 日常对话场景下,语音合成最大的难点不是“读出声”,而是“像人一样说话”。人说话有语气、有停顿、会笑、会犹豫,而大部分开源TTS只能输出平稳的朗读音。ChatTTS专门针对这个缺口设计——它不是通用TTS,而是定位于对话助手、LLM交互的语音模型。 模型用10万小时中英文音频训练,开...
打开shardeum/shardeum仓库的README,第一行就是个警告:“Do not try to connect to the beta network from source yet.”想跑验证节点?去GitLab上的Validator Dashboard。那这个仓库的31418颗星是什么...
前阵子想查“失眠 治疗”的循证方法,但我既不想把搜索词喂给Google(它拿去做广告匹配),也不想把医疗查询发给ChatGPT(数据训练不知道会存多久)。找了半天,发现Vane这个项目正好解决了这个问题——在你自己硬件上跑一个AI搜索引擎,搜索用SearxNG(不给任何引擎留cookie),回答用你...
我翻了一遍这个项目,它确实做到了“动手”二字。这个名为 dive-into-llms 的仓库,从上海交通大学《自然语言处理前沿技术》与《人工智能安全技术》的课程讲义生长出来,教师是张倬胜。39714个星标背后,是它作为一套完全免费、以可执行代码为核心的大模型入门指南。 它把大模型学习路径拆解成了七个...
这个项目到底在做什么 Andrej Karpathy(前特斯拉AI总监、OpenAI创始成员)把GPT-2的完整训练流程用纯C和CUDA重写了一遍,项目就叫llm.c。核心文件两个:train_gpt2.c(约1000行纯C,CPU fp32)和train_gpt2.cu(CUDA混合精度,主力代码...
一个“第二步被高估”的写作系统 STORM全称是“Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking”。斯坦福Oval实验室出品,GitHub上28,277星,两篇论文分别被NAACL...
项目现状:README第一行就告诉你别抱期待 今年3月Cognition Labs发布Devin演示后,开源社区两周内推出Devika。README直接致敬Devin,目标是在SWE-bench上追平甚至超越Devin。但到9月,项目获得19509颗星的同时,README第一行写的是“Checkou...
这个仓库不藏模型,只有入门地图 Qwen3的GitHub页面有2.7万星,点开278MB数据——大部分是Git历史和README。README全篇指向HuggingFace和ModelScope。模型权重不在这里,训练代码也不在。这个项目是入口,真正的内容在外面:模型发布在HuggingFace,教...