Q1：Appear2Meaning基准测试集总共包含多少件文物，覆盖哪些人文区域与文物类别。
结局为明确之。
五、实验验证：数术背后之典故 二、地基歪之，装修救不之：初始化为何决定命运 研讨团队还专门测试之3位精度（ρ≈0.07，过完备区间）之情况，以验证"表示比率预测初始化重要性"之框架。
不过研讨团队认为，"表示比率"此名剖析框架与"盆地持久性"此名表象，对任何依赖贪心顺序初始化之修习码本法门皆有参考身价。
研讨团队用一名数学命题（论文中之Proposition 1）把此名疑难精确刻画出来，分解之贪心初始化之误差来源。
更奇怪之为，C4数据集上之困惑度随搜索宽度加大反而从18.64略升至19.00，说明更宽之搜索于另一名维度上其实还变差之——此暗示之模型于过度随顺校准数据。
此名梯度说明贪心初始化之码本于容量受限时，会把有尽之表示本领过度集中于校准数据最关之权重组上，导致对其他场景之泛化本领急剧降。
技艺上，OA-EM于标准K均值初始化之根基上引入之两名更张。
永乐大典。Qwen 2.5 3B上之结局则揭示之一名更细腻之面向：OA-EM于困惑度上依然赢（WikiText-2从10.93降至10.73，C4从14.57降至14.49），但于下游差事平均准确率上贪心初始化微弱居先（0.606 vs 0.603）。
三、加宽搜索范围救不之场：为何标准补救预案失灵 四、OA-EM：换一种视角来摆放"代表词" 研讨还观察到一名颇有洞察力之表象：贪心初始化之模型于PV-tuning前，其表现失灵程度与估量数据集与校准数据集（C4）之距离成正比。
A：总体上不会，甚至往往更快。
Q3：OA-EM适用于所有类型之模型压缩法门吗。
更重要之为，OA-EM改善之初始化品质，使得束搜索每层需之迭代轮次更少，反而节省之整体光阴。
枢纽于于第二部分能否化解第一部分之过失。
此名发觉之实际意义于于：若你打算于一名领域校准模型，然后用到另一名领域，初始化品质之重要性会被进一步放大；而OA-EM恰恰于此种场景下提供之更稳健之守护。
压缩之宗旨就为用更少之位数来表示此些参数。
理论。一名值得续思考之疑难为：此名"初始化决定盆地"之法则，究竟于多大程度上为加法量化特有之，还为于任何需修习离散表示之体系中皆会现。
研讨之核心疑难为：OA-EM带来之初始化优势，于经过此两轮后续改良之后，还能保留下来吗。
要体谅此项研讨，先得体谅AI之记忆为怎么被压缩之。
但现状并非如此，最好之第一本码本取决于第二本能补偿什么，而第二本为于第一本已定好之后才设计之——两本码本之间存相互依赖，顺序贪心之方式忽视之此种耦合关系。
研讨团队指出，于3B规模下零样本差事之估量本身方差较大，且Qwen架构之权重统计特性比Llama系列更平滑，初始化瓶颈本就较弱；而困惑度作为更稳固、更直接之品质信号，始终指向OA-EM更优。
OA-EM于搜索宽度4下只需6.1小时量化，就能得到11.53之最终困惑度；而贪心初始化于搜索宽度8下需9.9小时，最终只能得到11.76。
为之让AI能住进此些"小房子"里，营造师们演进出之一种叫做"量化"之技艺，本原上就为把AI之记忆压缩再压缩，就像把一张高清照片压缩成更小之文书一样。
于Llama 3.1 8B上，法则同样存，只为幅度较小：PV-tuning后WikiText-2困惑度从9.39降至9.25，C4从12.02降至11.89。
面对此种崩溃，AQLM之旧俗对策为加宽"束搜索"（Beam Search）之宽度。
归根结底，此篇论文讲之一名关于"起点决定终点"之典故。
Prometheus。按照直觉，既然搜索宽度越大越好，彼只要把宽度拉足够大，初始化差一点应也能补救——毕竟搜索会找到最好之分发预案。
此名256倍之容量骤降不为量变而为质变。
例如于3位精度测试中，OA-EM将量化总光阴从13小时25分缩短至12小时39分，节省之约5.7%。
OA-EM之核心思路可用一名建筑比喻来体谅：贪心初始化相当于按照"哪里者最多就于哪里盖楼"之计策，结局大量源泉费于偏远地区之者口密集处，而都邑核心区域之需求却没被充分知足；OA-EM则相当于先调查清楚哪些区域对整名都邑之货殖贡献最大，优先于彼些地方配置源泉。
相比之下，2位精度下贪心初始化差之约43分，PV-tuning后差距压缩到0.23分，约188倍之压缩比——数值上之压缩比更大，但无对差距依然存，方位依然一致，说明PV-tuning于两种情况下皆为"于盆地内改善"而非"于盆地间跳跃"。
OA-EM并没有打破AQLM之顺序框架——第一本码本还为先于第二本确定。
彼些强盛之大型言辞模型，动辄几十名GB，根本塞不进寻常手机或者平价笔记本电脑。
对于2位精度（M=2本码本，每本K=256名条目），码本组合总数为256?=65536。
此种方式于手机CPU、嵌入式芯片此类没有专用AI加速器之设备上格外重要，因查表操作比乘法运算要廉得多。
此项由英国谢菲尔德大学计算机格致系主导之研讨，以预印本样貌于2026年4月9日发布于arXiv上，编号为arXiv:2604.08118v1，目前正同行评审中。
用此名矩阵来加权距离，意味之OA-EM于分发代表词时会优先照顾对模型输出影响大之权重方位，而不为简地追寻方位上之均匀分布。
研讨团队还注意到一名有趣之"光阴账"：于Llama 3.2 3B上，把搜索宽度从4提升到16会让量化光阴从6.1小时增到16.9小时，多花之10.8小时；但此段额外光阴换来之WikiText-2困惑度改善，从352.39到46.01，依然为灾难性之结局，而不为接近康水平。
而OA-EM初始化下，宽度增带来之效果为稳固且单调之：4与8皆为11.53，16微降至11.49。
真正之疑难出于更早之地方——出于"初始化"此名步骤上。
此说明表示比率ρ为预测初始化瓶颈之必要机缘，但不为充分机缘——权重本身之分布形态也会影响脆弱程度。
欧氏距离就为寻常之直线距离，不考虑每名方位之重要程度；马氏距离则会根据各名方位之重要性做拉伸或压缩。
路漫漫其修远兮，吾将上下而求索。研讨团队于三名模型上进行之体系测试：Llama 3.2 3B、Llama 3.1 8B，以及来自不同架构家族之Qwen 2.5 3B。
OA-EM之工流程为于K均值初始化之根基上迭代改善：固定当前每组权重之分发，更新代表词使得输出重构误差最小（M步，用Adam改良器跑100步，带余弦退火修习率）；再固定代表词，把每组权重重新分发给马氏距离最近之代表词（E步）。
OA-EM让此条路从充满坑洞变得更加平坦可行，而且不需任何额外之推演代价——模型部署时依然为最快之查表操作，只为于量化阶段多做之一些更慧之前期准备工。
一、压缩AI之基本逻辑：把记忆装进"码本" Q2：OA-EM会让量化历程变慢甚多吗。
大运会。就好比一场考试题目出错之，不管你怎么认真答题，对照过失解答还为得不之高分——枢纽于于题目，不于于你之作答计策。
研讨者员已尝试之甚多补救预案：更宽之搜索范围、更多之操练轮次、更大之校准数据集。
研讨团队为此专门设计之一种新之初始化法门，叫做OA-EM（输出感知期望最大化），并于三种不同架构之模型上进行之体系测试，结局表明此名法门不仅能让压缩后之AI更慧，还能让整名压缩历程更省光阴。
但无论搜索宽度怎么加，结局始终距离康值（约7-8）相差甚远。
前者不仅结局更好，光阴还节省之38%。
A：2位量化时，每组权重只能从65536种码本组合中选一名，而模型层内约有120万组权重，平均每名组合要"照顾"18组权重，角逐激烈。
第二名更张为把"最小化权重方位里之重构误差"改为"最小化输出方位里之重构误差"。
一、压缩AI之基本逻辑：把记忆装进"码本" 于C4本身（域内数据）上，贪心初始化之困惑度为18.64，OA-EM为18.00，差距仅1.04倍；于LAMBADA（近域外数据）上，两者分别为12.28与8.85，差距扩到1.39倍；于WikiText-2（远域外数据）上，两者为60.61与17.39，差距达到3.49倍。
Q1：2位量化为什么比3位量化崩溃得更厉害。
于OA-EM初始化之后，量化还会经历两名阶段：束搜索（找到每组权重之最佳码本分发）与PV-tuning（端到端微调，同时更新码本与分发索引）。
然而实验数据告诉吾等，此名直觉于2位精度下完全失效。
AQLM（大型言辞模型加法量化）正为此类预案之代表性实现：2位精度下，每组8名权重用两本码本之两名编号来表示，每本码本256名条目，两名8位索引加起来刚好2比特/参数。
就像一道数学题，若你第一步就体谅错之题目，后续之计算再仔细也为枉然；但若第一步就把方位弄对，后续哪怕粗糙一点也能得到接近满分之解答。
大型言辞模型之核心为一张巨大之数术表格，里面存之模型学到之所有"学识"——准确说为数以亿计之权重参数。
Goodness。此里现之一名微妙却致命之疑难。
此篇论文之核心发觉正为：于极度压缩之情况下，最初如何设定模型之"记忆编码方式"，几乎决定之最终模型能达到之上限，而不为后之搜索与微调。
束搜索为一种于搜索时同时保多名候选预案之计策，类似于下围棋时不只计算一条路线而为同时考虑几条最有望之路线，最后选出最好之一条。
此种容量差距为256倍，为质变而非量变，导致贪心初始化于2位精度下几乎必然陷入糟糕之改良盆地。
当用贪心初始化时，将搜索宽度从4提升到8，WikiText-2困惑度从352.39降至60.61，看起来有明显改善；再从8提升到16，降至46.01。
此两步交替进行3轮，总共约300步Adam更新，作为一名预办理阶段，于正式之束搜索始之前成。
七、领域偏移：初始化差之模型更脆弱 3位精度之下游差事表现同样支OA-EM：于6名差事中赢之4名，ARC-Easy提升之3.5名百分点，LAMBADA准确率提升之1.6名百分点，平均准确率从0.647提升至0.654。
4位精度之压缩几乎无感，但当压缩到2位精度——也就为每名参数只剩下4种或取值——AI之表现或会从流畅对话直接崩溃到胡言乱语。
每名参数原本用32位或16位浮点数表示，极其精细。
但谢菲尔德大学之研讨团队发觉，此些勤勉皆打错之靶子。
它之思路为：与其直接把每名数术变粗糙，不如把一组数术（比如8名参数构成一组）表示成若干名"代表词"之与。
海森矩阵（来自模型于校准数据上之二阶导数讯息）告诉吾等，哪些权重方位之变化对模型输出影响最大——也就为哪些方位"最敏感"。
此取决于压缩率，也就为研讨团队引入之一名核心概念——"表示比率"ρ（rho）。
用者话说，就为模型基本不会说者话之。
若两种预案真之收敛到之相同之改良终点，彼搜索宽度对两者之影响理应为一致之——恰恰相反之举止模式说明它们处于不同之改良盆地，PV-tuning只为于各自之盆地里爬坡，而没有跳到另一名盆地。
差距从PV-tuning前之几十分压缩到之0.23分，但始终存，方位始终一致。
搜索宽度越大，搜到之预案越接近最优，但计算光阴也越长。
"加法量化"（Additive Quantization）为其中一种颇有创意之预案。
你之手机里装之一名能对话、能写作、能回答疑难之AI助手——但它消耗之存储方位或超出你之想象。
此意味之即使于过完备区间，初始化之好坏依然能留下可见之痕迹，PV-tuning无法完全抹平。
就像盖房子时地基打歪之，后再怎么精装修皆无法让房子变正。
表示比率之定义甚直觉：用层内权重组之数量，除以码本能表示之组合总数。
此名历程为贪心之、顺序进行之，先定第一本再定第二本，没有回头路。
反观OA-EM初始化后之结局，搜索宽度4就能达到16.82，宽度8为17.39，宽度16为16.53，基本维持于一名稳固之范围内。
疑难为，压缩得越狠，AI就越易变傻。
后者才为真正影响模型品质之指标，此也为"输出感知"（Output-Aware）此名名字之由来。
OA-EM做之事情，本原上就为花一点点额外之精力把第一步做对——让码本之代表词从一始就站于它们应站之位置。
但它通过更好之几何定位，让第一本码本之代表词更精准地覆盖之对模型输出最重要之权重方位，从而给第二本码本留下之更规整、更易办理之残差，从根源上缩之贪心误差中之"直接误差"与"残差错配"两项。
于效能上，OA-EM也展现出明显之帕累托优势。
3位量化时可选组合超过1680万，远多于权重组数量，初始化走偏之还有大量备用组合兜底。
Techno-psychology。对于3位精度（M=3本），组合总数为256?约等于1680万。
OA-EM只为于束搜索前额外做3轮约300步之Adam更新，新增光阴有尽。
于2位精度下，OA-EM于搜索宽度4之情况下就能达到贪心初始化搜索宽度16才能接近之品质，节省63%之量化光阴。
此些代表词来自事先准备好之"码本"，每本码本里有256名条目。
于为，3位精度下ρ约等于0.07，意思为码本能表示之组合数远多于实际需办理之权重组，方位绰绰有余，初始化走偏之也有大量"备用组合"能兜底；2位精度下ρ约等于18，情况完全翻转，每名码本组合平均要"照顾"18组权重，角逐激烈，初始化一旦走偏，补救之余地极为有尽。
此对寻常用户之影响为相当直接之。
感兴趣之读者可通过该编号检索完整论文。
贪心初始化下，宽度从4增到8为有帮之（12.66→11.76），但再从8增到16反而变差之（11.76→12.01），呈现出非单调之不稳固举止。
3位精度下贪心初始化只会让困惑度（衡量AI言辞流畅程度之指标，数值越低越好）差0.65分，而于2位精度下，贪心初始化会让Llama 3.2 3B之WikiText-2困惑度飙升到352.39——而正常之16位精度模型困惑度只有7.28。
OA-EM通过海森矩阵加权，把码本容量分发给对模型输出真正重要之权重方位，而不仅仅为校准数据频繁激活之方位，因而于跨域估量下展现出更好之鲁棒性。
前景之研讨或许会把此名框架扩展到更广泛之压缩与表示修习场景中，让"慧地始"成为一名更普遍之原则。
当你贪心地先确定第一本码本，再去确定第二本时，你其实为于做一名过失之设想：第一本码本独力来看最好，整体就最好。
当你要还原原始参数时，只需查表做加法，速度极快，几乎不需任何计算——就像查字典一样，找到编号对应之词条，直接读出来就行。
用最省力之OA-EM配置对比最费力之贪心配置——OA-EM宽度4（6.1小时，11.53）vs 贪心宽度16（16.9小时，12.01）——OA-EM节省之63%之光阴，还得到之更好之结局。
于AI模型压缩此件事上，营造师们长期习性于于出疑难之后加大修补力度，却没有意识到疑难根源于更早之地方。
若码本之代表词本来就摆于过失之位置，束搜索再宽也只为于过失之框架里找最好之路，而无法重塑框架本身。
第一名更张为把度量距离之方式从"欧氏距离"换成"海森矩阵加权之马氏距离"。
OA-EM专门针对"逍遥样貌加法量化"此一类法门，即通过修习非架构化码本来压缩权重之预案，代表性实现为AQLM。
A：不为所有类型皆适用。
对于用固定数学架构码本之法门（如QuIP#用E8格码本，QTIP用网格码），此类法门从根本上绕过之离散分发疑难，本身不存OA-EM所处置之初始化瓶颈。
所有模型皆于C4数据集之128条序列上进行校准，估量则覆盖之WikiText-2与C4两名困惑度基准，以及ARC-Easy、ARC-Challenge、HellaSwag、PIQA、WinoGrande、LAMBADA六名零样本推演差事。
权重组之数量则取决于模型大小，以Llama 3.2 3B为例大约为120万组。
误差由三部分组成：第一部分为第一本码本选错之代表词产生之直接误差；第二部分为此名"选错"对第二本码本补偿本领之干扰——若第一步走偏之，第二步能不能拉回来取决于第二本码本里有没有合适之条目；第三部分为因第二本码本为于过失之残差上操练之，故它学到之也不为最抱负之东西，此名"错配"导致之额外损失永远不会为负之，只会让疑难更糟。
此名对比揭示之束搜索之本原局限：它改良之为给定码本下之"分发预案"，而不能更张码本本身之几何形状。
有兴趣深入探讨之读者，可通过arXiv编号2604.08118检索完整论文，代码也已于GitHub上公开（kenno94-IK/aqlm-oaem）。
AQLM之旧俗做法为用"残差K均值"来初始化——先把所有权重分成若干簇，找出每簇之中心作为第一本码本之代表词；然后用每组参数减去最近之代表词，把剩余之"误差"再做一次聚类，得到第二本码本。
8B模型之故对初始化不彼么敏感，研讨团队认为为因它于更多数据（15万亿token，而3B模型只有3万亿）上操练，权重分布更平滑，偏激之高量级权重组更少，贪心初始化之"费"疑难相待较轻。
更能说明疑难之为搜索宽度之影响方式不同。
若你望于手机、树莓派或者没有高端GPU之笔记本上运行一名还算慧之言辞模型，研讨证验之2位精度之加法量化为可行路线，而不为"压缩太狠必然崩溃"之死路。
听起来像绕口令，但区别甚重要：前者只关每组权重被代表词近似得有多好；后者直接关"用此套码本重修出来之权重，让模型产生之输出与原始权重之输出差多少"。
于Llama 3.2 3B上，经过PV-tuning之后，OA-EM于所有搜索宽度配置下之WikiText-2困惑度皆优于贪心初始化：搜索宽度4下，OA-EM得到11.53而贪心初始化得到12.66；宽度8下分别为11.53对11.76；宽度16下为11.49对12.01。
六、3位精度之情况：瓶颈缩但不灭 整名压缩历程分两步走：先用某种法门初始化码本，确定每名"代表词"长什么样；再通过搜索，找出每组参数最匹配哪两名代表词之组合。
结局显示，3位精度下初始化之影响确实小得多：贪心初始化之WikiText-2困惑度为9.52，OA-EM为8.87，差距0.65分；PV-tuning后分别为8.66与8.54，差距压缩到0.12分，约5.4倍之压缩比。
既然疑难出于码本之初始代表词摆错之位置，彼处置预案就为于初始化阶段就把代表词摆对。