add a note

03_Resources/Development/AI-ML/Inkling.md

@@ -0,0 +1,97 @@
+---
+title: Inkling — Thinking Machines Lab 的开源可定制 AI 模型
+tags:
+  - AI
+  - LLM
+  - MoE
+  - 开源模型
+  - ThinkingMachines
+created: 2026-08-19
+source: ByteByteGo Newsletter (2026-08-18)
+source_url: https://blog.bytebytego.com/p/the-new-american-ai-model-designed
+---
+
+# Inkling — Thinking Machines Lab 的开源可定制 AI 模型
+
+> 来源：ByteByteGo 邮件通讯《The New American AI Model Designed to be Customized》(2026-08-18)，内容基于公开资料整理。
+
+## 背景
+
+- **公司**：Thinking Machines Lab，由 **Mira Murati**（OpenAI 前 CTO）创立，使命是"构建扩展人类意志与判断力的 AI"
+- **发布**：Inkling 于 **2026-07-15** 发布，是公司**第一个从零训练（trained from scratch）的模型**
+- **授权**：权重以 **Apache 2.0** 协议发布在 Hugging Face，任何人可下载并重训
+- **前置产品**：Tinker（微调开源模型的服务）；Inkling 之前公司已用同架构做过实时交互系统（Interaction Models 论文）
+- **公司四个方向**：训练强模型 / 用工具让用户以自己的知识定制模型 / 扩展人机通信通道 / 公开模型构建研究
+
+## 核心规格
+
+| 项目 | 数值 |
+|---|---|
+| 总参数 | **975B**（约 9750 亿） |
+| 激活参数（每 token） | **~41B**（约 4%） |
+| 层数 | 66 层 |
+| 每层专家数 | 256 个，每 token 选 6 个运行 + 2 个共享专家（共 8 个运行） |
+| 上下文窗口 | **1,000,000 token** |
+| KV heads | 8 个 |
+| 全精度 checkpoint | ≥2 TB 显存（8× NVIDIA B300 或 16× H200） |
+| 量化 checkpoint | ~600 GB（4× B300） |
+
+## 五大核心设计
+
+### 1. 稀疏 MoE（存储与算力分离）
+- 总参数决定存储成本，激活参数决定每 token 计算成本
+- 路由参考 **DeepSeek** 方案：sigmoid 打分 + **独立 bias 负载均衡**
+  - bias 只影响专家**选择**，不参与输出**加权**，由简单计数规则在反向传播外更新
+  - 避免"路由崩溃"（少数专家垄断 → 越用越强 → 更强 → 更被选中）
+  - 不引入与主目标竞争梯度的辅助损失
+- 2 个共享专家每 token 都运行，处理通用信息；6 个路由专家 + 2 个共享专家的分数统一归一化后加权
+
+### 2. 注意力：滑动窗口 + 全注意力 5:1
+- 66 层 = **55 层滑动窗口 + 11 层全注意力**（vLLM 集成说明给出的具体数字）
+- 全注意力层用于远距离信息传递（约每 6 层 1 个），其余 5 层处理邻近上下文，成本线性增长
+- 长上下文模型的常见局限：能把握整体内容但容易漏掉埋在中间的细节
+
+### 3. 位置编码：弃 RoPE，用相对位置方案
+- 采用 **Shaw et al. 相对位置编码**：学习 token 之间"距离"对应的值，直接加到注意力分数上
+- 超过截断距离（如 128）共用同一学习值 → 长距离外推无需外推技巧
+- 团队自测：比 RoPE 表现更好、长序列外推更稳
+- 代价：vLLM 等推理框架需针对新格式写新代码（现有生态围绕 RoPE 构建）
+
+### 4. 多模态：无独立预训练编码器
+- **音频**：mel 频谱图 → **dMel** 方法量化（纯数学取整，无需训练）
+- **图像**：切 40×40 像素 patch → 四阶段 **hMLP stem** → 轻量转换层 → 与文本 token 拼接
+- 多模态组件与主模型**从零一起训练**（通用领域数据）
+- 注：官方"encoder-free"指无大型预训练编码器，并非零处理；模型卡同时称图像经"hierarchical patch encoder"编码，两者描述一致
+
+### 5. Thinking effort（思考努力度，训练进模型的可调参数）
+- 数值 0~1，预设：0（无）/ 0.1（最低）/ 0.2（低）/ 0.7（中）/ **0.9（默认）** / 0.99（最高）
+- 机制：以系统消息形式在对话前注入；通过**强化学习**训练
+- RL 时变化 effort 消息 + 调整每 token 计费成本（高 effort 允许长推理、低 effort 重罚长输出）
+- 与 max token 上限相互独立；effort=0 只是倾向最少推理，非硬性规则
+- 效果：Terminal Bench 2.1 上达到 NVIDIA Nemotron 3 Ultra 同等分数，但只生成约 **1/3** token
+
+## 权衡与局限
+
+- **硬件下限高**：稀疏路由让每 token 便宜，但整模型必须全部加载到内存
+- **权重开源 ≠ 完全可复现**：训练数据、配方、训练代码均不公开，模型卡只给泛化数据来源描述
+- **安全行为可被重训者调整**：官方建议消费者场景在模型外叠加审核/护栏工具
+- 官方自认整体能力不如现有最强开源/闭源模型，卖点是**从第一天可微调 + 量化版本降低部署门槛**
+
+## 参考资料
+
+1. [Inkling: Our Open-Weights Model — Thinking Machines Lab](https://thinkingmachines.ai)
+2. [Inkling Model Card — Thinking Machines Lab](https://huggingface.co/thinkingmachines)
+3. [The Future Worth Building Is Human — Thinking Machines Lab](https://thinkingmachines.ai)
+4. Tinker — Thinking Machines Lab（微调服务）
+5. [Interaction Models: A Scalable Approach to Human-AI Collaboration](https://thinkingmachines.ai)
+6. Thinking effort — Tinker Documentation
+7. [thinkingmachines/Inkling — vLLM Recipes](https://github.com/vllm-project)
+8. [DeepSeek-V3 Technical Report](https://arxiv.org/abs/2412.19437)
+9. [Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts](https://arxiv.org/abs/2408.15664)
+10. [Self-Attention with Relative Position Representations](https://arxiv.org/abs/1803.02155)
+11. [dMel: Speech Tokenization made Simple](https://arxiv.org)
+12. Three things everyone should know about Vision Transformers
+
+## 相关笔记
+
+- [[OpenRouter-config]]