本文为《Token 经济学》系列第九期。token 正在重塑 AI 时期的价值坐标，当统统东谈主都在用 token 丈量 AI 的价值时，两篇简直同期发表的论文提议了一个更根底的问题：话语生成的中枢规画，是否必须发生在 token 空间里？如若谜底是辩说的，那么围绕 token 设立的本事范式、家具叙事和贸易花式，都将濒临再行订价。
文｜晓静
剪辑｜徐青阳
"我话语的局限，即意味着我寰宇的局限。"（Die Grenzen meiner Sprache bedeuten die Grenzen meiner Welt.）
形而上学家维特根斯坦在 1921 年写下这句话时，他挑剔的是东谈主类贯通的领域。一百年后，这句话精准地刻画了谎言语模子濒临的结构性逆境，如若 AI 的"话语"即是突破 token 序列，那么它的"寰宇"永远被困在 token 能抒发的范围内。
这也引出了一个一直被筹商的中枢问题：谎言语模子能走到 AGI（通用东谈主工智能）吗？
2024 年 12 月，OpenAI 前首席科学家 Ilya Sutskever 在 NeurIPS 发表主题演讲，他说"预考验行将闭幕"。2026 年 3 月，图灵奖得主 Yann LeCun 离开 Meta 创办 AMI Labs，班师宣判"谎言语模子道路错了"。
澳洲幸运5官方网站入口两位深度学习殿堂级的各人，一位遴聘颠覆我方亲手开启的预考验时期，另一位遴聘赓续践行我方遵从多年的寰宇模子道路，去赌" LLM 的下一个时期"。虽然全都不是现时的模子不好用或莫得贸易价值，大模子的用户数目及渗入率都在抓续增长，产业价值会越来越大。可是从本事旅途来看，他们要抒发的是：这条路有一个结构性的天花板，这个天花板刚巧卡在通往 AGI（通用东谈主工智能）的路上。
2026 年 5 月，MIT 何恺明团队和字节逾越 Seed 实验室简直同期发布论文，给出了一个更明确的信号：话语生成的中枢建模经由不消弥远发生在突破 token 空间中，也不错改动到皆集 embedding 或 latent 空间里完成，终末再映射回环本。
这是第一批来自工程实验的硬凭据，逐 token 展望可能是通向 AGI 路上的一个局部最优解。但皆集空间范式掀开了另一条路，这条路的天花板也许更高。
图片由 AI 生成
01 天花板在哪？
维特根斯坦的话不错这么富厚。
东谈主类的突破话语不是念念维的原生体式。大脑里面的贯通举止是皆集的、并行的、高维的。比如东谈主类猜测一个苹果时，激活的不是"苹果"两个字的 token，而是一大片嗅觉皮层的皆集举止花式，包括心绪、质感、分量、咬下去的声息。东谈主之是以把这团皆集体验压缩成"苹果"这个突破秀丽，地谈是因为东谈主类大脑的带宽逼你序列化。
东谈主类话语是进化想象的有损压缩契约，它是跨脑传输的工程调和。
咱们现在用到的主流的贸易化大模子家具，底层都是自追忆架构（展望下一个 token）。
自追忆大模子作念的事情是，在这个压缩契约的输出体式上建模。它无法富厚"寰宇如何运作"，它了解的是"东谈主类遴聘任什么秀丽序列来刻画寰宇"。它们极其擅长模拟东谈主类的话语步履，但模拟话语步履和富厚寰宇之间，差着一个顽强论的鸿沟。
比如体格感受，痛苦是怎么的；空间直观，知谈若何接住球但无法刻画如何接住的；因果干涉的具身响应，比如如若"我把这个椅子推倒会怎么"的直观。这些隐私在东谈主类大脑中的"嗅觉"，从未被任何东谈主类话语编码过。是以它们从未插足考验数据，在 token 序列上作念任何建模，不管参数多大、数据多多，都涉及不到这些维度。
这即是 token 范式的天花板。
02 "逃遁"实验
从 token 空间逃遁的第一批实验正在发生。
何恺明团队的 ELF（Embedded Language Flows，镶嵌式话语流）作念了一件反直观的事：把翰墨生成的全经由留在皆集向量空间里完成，只在终末一步，确实独一终末一步，球赛投注中国app官方版下载才把皆集向量投影回东谈主类可读的翰墨。它用 Flow Matching（一种 2022 年由 Yaron Lipman 等东谈主提议的皆集正则化流框架）从噪声动身，沿学习到的速率场平滑演化到打算镶嵌。32 个采样步，生成质料越过突破模子用 1024 步的遣散。考验数据约 450 亿 token，独一主流步调的极端之一。
图：ELF 仅用 32 步采样即超越 MDLM、Duo 等突破模子 1024 步的生成质料，且未使用蒸馏加快。模子参数 105M，考验数据约为同类步调的极端之一。
四天后发布的 Cola DLM（字节 Seed 团队）：先用 Text VAE 把话语压缩成更深层的语义潜空间，再在这个纯语义空间里用 Flow Matching 建模全局先验，终末才解码回环字。论斯文确说：扩散经由作念的是"潜在先验输送"，不是" token 级别的不雅测规复"。20 亿参数，8 个基准，与同体量自追忆模子和依然 scale 到 1000 亿参数的 LLaDA2.0 严格对比，皆集道路的 scaling 弧线是健康的。
图：Cola DLM 合座架构图
两篇论文的中枢都在抒发，token 不是话语建模的必要条目。皆集空间不错作念得更好、更快、更省。
图：自追忆模子逐 token 生成，每一步不可逆遴聘一个突破秀丽，已选 token 锁定后续统统可能性。
图：皆集流模子从噪声动身，沿速率场平滑演化到打算镶嵌，全程可逆可调，仅在极度映射回环字，ELF 论文。
03 AI 巨头也在质疑" Tokenization "？这两篇论文仅仅学术信号，科技巨头也在用真金白银下注。
Google 是最早、也最将强地走向"原生多模态搭伙"的巨头。Gemini 的本事阐明明确写谈：它是" from the ground up "考验的多模态模子， " not by bolting a frozen vision encoder onto a text decoder "（不是把冻结的视觉编码器接到文本解码器上）。
文本、图像、音频、视频在合并个模子里交错考验，分享忽闪光层。这个想象形而上学从 2023 年 12 月的 Gemini 1.0 延续到了 2026 年的 3.1 Pro。2026 年 3 月发布的 Gemini Embedding 2 把这件事推到了表征层面：一个 embedding 模子，原生罗致文本、图像、文档、音频、视频输入，21点游戏中国官方app下载沿路映射到合并个 3072 维向量空间。
Google 在作念的事情，本色上即是为统统模态建造一个搭伙的皆集坐标系，模态之间的领域在这个坐标系里不存在。
OpenAI 走了一条更蜿蜒的路。GPT-4V 时期的架构是拼接式的，由一个视觉编码器外挂到话语模子上，跨模态信息需要经过特别的投影层传递。GPT-5 系列公开强化了多模态推理材干，但 OpenAI 并未走漏宽裕细的架构信息。不错笃定的是，OpenAI 正在把文本、视觉、视频等材干更深地整合进中枢模子体验；不可笃定的是，它是否依然完成了搭伙 Transformer 层面的架构切换。
根据外媒报谈 Sora 运营时期"被职工视作株连核默算力的吞金兽"。OpenAI 遴聘砍掉视频愚弄，把算力集合到 GPT-5.5 的 Agent 架构和 Codex 代码器用上。这也不错估量：OpenAI 认可多模态搭伙的所在，但在视频生成这个具体维度上暂时退场，恭候更高效的架构决策锻练后再行插足。
字节逾越 Seed 团队在 Cola DLM 论文的终末一句话是"为突破文本与皆集模态的搭伙建模指出了一条具体旅途"。Seed 团队泄漏视频生成模子 Seedance 系列依然在使用类似的皆集潜空间架构，专有上风在于：它同期领有抖音 /TikTok 级别的海量视频数据和前沿模子接洽材干。如若皆集搭伙空间如实是下一代架构的谜底，字节是最有条目发轫在工业限制考证它的公司。
Anthropic 的遴聘是统统巨头中最专有的，它在刻意规避多模态生成。放置 2026 年 5 月，Claude 莫得原生图像生成材干，莫得视频富厚，莫得音频处理。2026 年 4 月发布的 Claude Design 生成的是结构化想象产出物，原型图、线框图、幻灯片，而不是像素级图像。
Anthropic 把简直统统资源压在文本推理和代码本质上。这个计谋在贸易上正在被考证：Claude Code 年化收入 25 亿好意思元，2026 年 5 月 Anthropic 隐含估值冲到 1.2 万亿好意思元（36 氪报谈），主要靠的是企业客户为推理和代码材干付费。但从范式演进的角度看，这是一个在麇集本事债的遴聘。如若两到三年后竞争的中枢转向"谁能在搭伙皆集空间里同期富厚和生成统统模态"，Anthropic 就很被迫。
在巨头除外，两个最值得关心的孤独押注来自 Ilya Sutskever 和 Yann LeCun。Sutskever 创办的 SSI（Safe Superintelligence）在 2025 年 5 月完成 20 亿好意思元融资，估值 320 亿好意思元——莫得家具、莫得论文、莫得任何公开本事细节。投资东谈主买的地谈是他对"下一个范式"的判断力。他在 NeurIPS 2024 所说的"预考验行将闭幕"，指的是靠堆数据展望 next token 的形势已到收益递减阶段，下一步需要的是质变。
LeCun2026 年 3 月离开使命越过十年的 Meta，创办 AMI Labs，融资 10.3 亿好意思元，估值 35 亿。他的 JEPA 道路和 ELF/Cola DLM 形而上学类似，都是离开 token 空间、在皆集表征空间建模，但所在不同。JEPA 不追求生成传神的输出，强调在概括空间里展望事物演化的物理服从。
LeCun 在 5 月的访谈中说："自追忆机制逐一展望 token，本色是在字符级别作念统计复现，不是在建模寰宇的因果律例。参数目的增多惩处不了这个结构性过失。"他以为，生成仅仅模拟，展望才是富厚。
04 如若 token 范式零落，谁会莫得改日？
作念视频 tokenizer 的公司首当其冲。VQ-VAE、MAGVIT、OmniTokenizer，这些使命的中枢价值主见是"高质料视频突破编码"。英伟达的 Cosmos Tokenizer、微软的 VidTok，大厂也在竞争。如若话语生成都运行把中枢规画移动到皆集空间，那么视频这类自然皆集的数据，更莫得根由被默许压成突破 token 序列。
简直的问题会酿成：什么样的视觉表征既能高效压缩，又能保留宽裕的物理、时序和语义结构。
然后是"多模态"这个家具叙事自己。当统统模态分享一个皆集空间时，"多模态材干"酿成默许成立，不再是各别化卖点。就像今天没东谈主把"撑抓汉文和英文"当成一个 AI 家具的中枢竞争力。作念模态桥接和对皆的中间层家具也濒临相似的问题——如若基础模子原生在搭伙空间运行，文本和视觉之间不存在需要被弥补的"鸿沟"，弥补鸿沟的生意就莫得根由存在。
再往下流推一步，今天通盘行业按 token 收费，是因为自追忆模子的老本结构极其透明：生成 1000 个 token 即是串行跑 1000 步推理，输入输出的 token 数班师等于算力浪费。
但如若中枢规画移动到皆集空间，扩散模子可能用固定步数生成自便长度文本，输出长度与规画量脱钩，"浪费了若干 token "就不再是老本的简直度量。
仅仅，AI 的发展太快，揣度 AI 贸易价值的简直订价体系还没固定下来，下一个范式可能就会发生。而具体会是多快，莫得东谈主能够展望。
05 谎言语模子能走到 AGI 吗？
回到起头的问题，谎言语模子范式能走到 AGI 吗？
从 token 范式自己的结构来看，不可，它的考验信号有信息论上的硬上限。东谈主类话语行动有损压缩契约，在编码时就不可逆地丢弃了寰宇的多数结构。在压缩产物上作念任何建模，都还原不了被丢弃的维度。
但"杀死 tokenization "也不等于到达 AGI。ELF 和 Cola DLM 评释了皆集空间更高效、更优雅，但它们的考验数据仍然来自东谈主类产出的内容，一个有损压缩后的寰宇。LeCun 看到了这一层，是以他押注"能展望物理服从的寰宇模子"。Sutskever 简略也看到了。
但这也许仅仅第一步，如若模子不再受困于东谈主类话语的压缩体式时，它需要的新考验信号从那处来？
谜底简略不在更多的数据里，而在某种主动探索中——辞寰宇中行动，承受服从，从响应中学习。
这将是咱们在后头的另外一篇著述中(中国)21点游戏官方app下载，赓续筹商的主题。