微软官方发布:1.58位大模型本地CPU推理框架 bitnet.cpp | microsoft/BitNet
微软BitNet项目,39119个star,官方定位是1-bit LLM推理框架。我花了两周时间,下载模型、跑转换脚本、在CPU上做了基准测试。这篇文章写我的实际使用体验。 1.58 bit意味着什么 传统模型权重用FP16(16bit)或INT4(4bit)存储。BitNet b1.58把每个权重...
微软BitNet项目,39119个star,官方定位是1-bit LLM推理框架。我花了两周时间,下载模型、跑转换脚本、在CPU上做了基准测试。这篇文章写我的实际使用体验。 1.58 bit意味着什么 传统模型权重用FP16(16bit)或INT4(4bit)存储。BitNet b1.58把每个权重...
项目是什么 Black Forest Labs 官方开源的 Flux 系列图像生成模型推理代码。一个 Python 项目,你把仓库克隆到本地,装好依赖,就能用自己的显卡跑文本生成图片、填充、扩图、边缘/深度控制生成。数据不出本机,适合对隐私敏感或需要定制生成流程的开发者。 GitHub 上 2558...
一句话概括这个仓库 aisuite 是 Andrew Ng 团队开源的一个 Python 库,做两件事: 把 OpenAI、Anthropic、Google、Ollama 等十几个提供商的 Chat Completions API 统一成一个接口,换模型只改一个字符串。 在这个接口之上加了一层简单的...
它不是另一个AI生成器 GitHub上25845个star的Onlook,README里列了一长串计划,但今天你能拿到的核心功能很窄:一个针对Next.js + TailwindCSS项目的可视化编辑器。 它和Bolt.new、Lovable、V0这类的“AI从零生成”工具相反。那些工具让你描述需求...
仓库 anthropics/courses 是 Anthropic 官方维护的课程集,21628 个 star,全用 Jupyter Notebook 编写。我用最便宜的模型 Claude 3 Haiku 跑完所有 notebook,API 花费总共不到 10 元。下面是我对每门课的实际感受,哪些值...
它解决了什么问题 日常对话场景下,语音合成最大的难点不是“读出声”,而是“像人一样说话”。人说话有语气、有停顿、会笑、会犹豫,而大部分开源TTS只能输出平稳的朗读音。ChatTTS专门针对这个缺口设计——它不是通用TTS,而是定位于对话助手、LLM交互的语音模型。 模型用10万小时中英文音频训练,开...
这个项目(inkonchain/node)是一个帮你用Docker Compose跑Ink节点的方案,从simple-optimism-node fork过来做了定制。它目前用的是op-geth执行客户端。但如果你打算用它跑主网节点,有一个事情必须提前知道:op-geth的支持到2026年5月31日...
这是什么 Glance 是一个用 Go 写的单二进制自托管仪表盘,能把 RSS、Reddit、Hacker News、YouTube、Twitch、天气、股票、Docker 状态等几十种信息源聚合到一个网页上。 它在 GitHub 上有 34580 个 Star,用的是 AGPL-3.0 许可证。从...
打开shardeum/shardeum仓库的README,第一行就是个警告:“Do not try to connect to the beta network from source yet.”想跑验证节点?去GitLab上的Validator Dashboard。那这个仓库的31418颗星是什么...
这项目是什么 Firecrawl是一个网页数据提取工具,公司叫Firecrawl Inc,许可证AGPL-3.0,有开源版和托管服务。你给一个URL或搜索词,它返回清洗后的Markdown或结构化JSON,直接喂给LLM。它自己处理JS渲染、反爬、代理轮换、速率限制,你只管调API。 GitHub ...
前阵子想查“失眠 治疗”的循证方法,但我既不想把搜索词喂给Google(它拿去做广告匹配),也不想把医疗查询发给ChatGPT(数据训练不知道会存多久)。找了半天,发现Vane这个项目正好解决了这个问题——在你自己硬件上跑一个AI搜索引擎,搜索用SearxNG(不给任何引擎留cookie),回答用你...
这个项目到底在做什么 Andrej Karpathy(前特斯拉AI总监、OpenAI创始成员)把GPT-2的完整训练流程用纯C和CUDA重写了一遍,项目就叫llm.c。核心文件两个:train_gpt2.c(约1000行纯C,CPU fp32)和train_gpt2.cu(CUDA混合精度,主力代码...