Thinking Machines 提神推出开源多模态大模子 Inkling。该模子领有约 1 万亿参数，原生复旧图像、文本和音频输入，具备 100 万词元的超长陡立文窗口及弘远的跨模态意会才智。当今，Inkling 已在 Hugging Face 平台上线，并提供全精度 BF16 及 NVFP4 量化版块，内置猜度解码（MTP）层以加快推理，已得回 transformers、SGLang 和 llama.cpp 等主流框架复旧。

中枢架构与本事梗阻

Inkling 基于 45 万亿个多模态词元熟谙而成，是首个参数目达万亿级且原生复旧多模态输入的开源模子。其架构操办兼顾后果与性能：

夹杂大师模子（MoE）：包含 256 个大师模块，领受寥落前馈网罗，每次激活仅调用 410 亿参数，权贵提高推理速率。

刺倡导机制立异：遗弃传统 RoPE 位置编码，改用相对刺倡导机制；纠合全局与滑动窗口刺倡导（比例 5:1），在保险筹备后果的同期构建丰富特征暗示。

多模态处理模块：视觉方面领受分层 MLP Patchifier 生成图块镶嵌；音频方面通过龙套化梅尔频谱图，将每 100 毫秒音频片断分类至特定频谱 -bin。

其他优化：引入短卷积（SConv）接济局部特征处理，并领受分享大师 Sink 机制，从 6 个路由大师和 2 个分享大师中进行 Top-k 聘请。

天真部署与推理决议

为适配不同硬件环境，Inkling 提供多种部署旅途：

主流框架复旧

推选使用 transformers 库（5.14.0+ 版块）的 any-to-any pipeline。用户可左证显卡架构聘请 BF16 版块（Hopper 及以上）或 NVFP4 量化版块（Blackwell 架构）。SGLang 和 vLLM 均提供高效部署复旧，前者凭借自界说终了具备极速上风，后者适当分娩环境，两者均复旧张量并行及 OpenAI 兼容 API。

云表与土产货轻量化

Hugging Face 提供无奇迹器推理路由器，发布初期向所灵验户提供 2 小时免费额度。针对资源受限场景，Unsloth 已将模子量化至 1-bit 精度，显存占用镌汰 95%；合营 llama.cpp 入手 GGUF 方式模子，可搭建土产货 OpenAI 兼容奇迹，复旧 MCP 集成及器具调用。

应用场景与性能进展

Inkling 在多项复杂任务中展现出超卓才智：

智能体与代码：纠合 Pi 框架，模子能驾驭器具处治复杂数学及代码任务，兼具低 Token 破费上风。内置 MTP 层看成"草稿"生成器，在不葬送质地前提下大幅提高推理速率。

多模态推理：在 MMMU-Pro 等视觉测试中，模子通过 OCR 索求文本后进行逻辑评估，中等推理强度（0.7）即可终了准确率与能耗的最好均衡。在 BigBenchAudio 等音频基准测试中，模子能精确识别多语种语音及体式极度，推理链条昭彰。

后熟谙生态：官方推出专用器具 tinker，纠合 OpenEnv 环境和 ECHO 算法，复旧在无考证器情况下进行强化学习微调，或通过 GOLD 算法将常识蒸馏至端侧小模子。

基准测试适度

据线路数据，Inkling 在要津基准测试中进展强盛，接近顶尖闭源模子水平：

HLE（东说念主类水平评估）：得分 40.5。

AIME 2026（数学竞赛）：得分 99.2，展现极强数学推理才智。

SWE-bench Pro（软件工程）：得分 62.1，代码树立与生成才智郑重。

MCP-Atlas（智能体器具使用）：得分 76.8，考证了复杂器具调用的可靠性。

Inkling 的发布象征着开源多模态大模子在参数鸿沟、陡立文长度及推理后果上的首要梗阻，为新一代多模态应用奠定了坚实基础。

【星途科讯 图文丨 LCC 首发于 ZAKER 科技开云体育(中国)官方网站，转载请注明出处】