动态域名可以做网站吗网站制作多少钱新闻

动态域名可以做网站吗,网站制作多少钱新闻,网络推广计划书案例,新开的网页游戏大全henry 发自 凹非寺量子位 | 公众号 QbitAI压缩即智能#xff0c;又有新进展#xff01;在最新研究CompressARC中#xff0c;Mamba作者Albert Gu团队给出了一个不同于大规模预训练的智能配方——最小描述长度#xff08;MDL#xff09;。研究显示#xff0c;仅通过在推理阶…henry 发自 凹非寺量子位 | 公众号 QbitAI压缩即智能又有新进展在最新研究CompressARC中Mamba作者Albert Gu团队给出了一个不同于大规模预训练的智能配方——最小描述长度MDL。研究显示仅通过在推理阶段最小化目标谜题的描述长度一个76K参数完全没有经过预训练的模型就能在ARC-AGI-1基准上解决20%的问题。值得一提的是CompressARC不仅没使用ARC-AGI的训练集还是目前唯一一个只在单个样本上运行的深度学习方法。凭借这一突破CompressARC获得了ARC Prize 2025的第三名并且据论文一作Isaac Liao透露这项研究仅使用了一张GPU就得以完成。这是怎么做到的新的智能recipe最小描述长度如上所说CompressARC一没利用训练集、二不进行预训练且网络中仅有76K参数但它仍能泛化并解决20%的评估谜题和34.75%的训练谜题。这种不靠预训练获取智能的关键在于CompressARC的最终目标不是像普通神经网络那样学习一个泛化的规则而是把一个特定的ARC-AGI谜题用一个最短的计算机程序表达出来。换句话说CompressARC并不是像监督学习一样学习一个x到y的映射而是寻找一种能用最少比特信息来表述给定谜题的方法。这一思想源自最小描述长度MDL理论以及与其相关的Solomonoff归纳法和Kolmogorov复杂度理论——一个现象谜题的最短描述程序往往能揭示其最深层的规律。在ARC-AGI的情境中CompressARC旨在将一个特定的ARC-AGI谜题包括其输入和期望的输出用一个最短的计算机程序来表达出来。这个最短的程序意味着它找到了最简洁、最本质的规则而这些规则恰好就是谜题的解。与此同时研究还遵循奥卡姆剃刀原理即最短的程序被假设具有最强大的泛化能力。因此CompressARC仅使用谜题本身两个示例输入/输出对和测试输入而不加载任何额外的附加数据或训练集。接下来我们具体来看。CompressARC挑战的ARC-AGI-1是一个检验系统能否在少量示例中找到规则的测试。简单来说这有点像行测考试里的找规律题每道题目会给出几对输入-输出作为示例模型需要找到谜题中的规则从而生成正确的、对应的网格。CompressARC 的“压缩”过程就是找到图里最本质的信息/规则。目前在该测试中取得最好成绩的仍是基于互联网数据预训练的大语言模型。比如o3能达到88%的成绩但o1则只有25%左右。而在不进行预训练、仅使用ARC-AGI 数据训练的神经网络中最高成绩为40.3%CompressARC这次只在测试谜题本身上进行训练。总的来说CompressARC解决问题的过程是一个最小化目标谜题的程序性描述长度Minimum Description Length, MDL的过程这可看作是用神经网络来“写”最短的程序。MDL 框架与搜索空间的转换首先由于计算机程序的组合搜索空间过于庞大无法穷尽所有可能的程序来找到绝对最短的那一个计算上不可行。因此论文设计了一个固定的“程序模板”Template Program / Algorithm 1。这个模板包含一套固定的运算流程从随机噪声z采样经过一个神经网络再次采样生成谜题颜色。这些模板中留下了几个“空位”用于填入硬编码的数值即“种子”以及神经网络的权重。只要填入了这些种子和权重这个模板程序就能运行并“打印”出整个 ARC-AGI 数据集。由此寻找最短程序的问题就转化成了寻找最短的种子和权重的问题。接下来研究借鉴了变分自编码器VAE的原理将程序长度的最小化转化为一个可微分的优化问题种子长度 1 (KL 散度)衡量了从标准正态分布中采样随机输入z所需的编码信息成本。通过最小化z分布与标准正态分布的KL散度实现了对z所携带信息量的惩罚迫使网络以最短的比特数来编码z。种子长度 2 (交叉熵/重构损失) 衡量了神经网络输出的谜题与真实已知谜题的匹配程度即负对数似然。匹配得越好说明该谜题被成功重构所需的“额外校正信息”即用于校正输出结果的种子就越少。不过原始的算法2需要进行复杂的相对熵编码REC涉及指数级的计算速度太慢。因此CompressARC通过算法3跳过了这些复杂步骤直接用VAE中的损失函数KL 散度和交叉熵来近似种子的预期长度。这把原本不可行的“寻找最短程序”的组合搜索问题转化成了一个可行的、可以用梯度下降深度学习的标准优化方法来求解的优化问题。在架构方面网络的全部目标是在没有外部训练数据的情况下通过内置的强大归纳偏置Inductive Biases使得网络本身就具有极高的概率能“生成”一个合理的 ARC-AGI 谜题从而使所需的种子信息量降到最低。这包含四个方面的处理等变性与对称性处理架构内置了对ARC-AGI 谜题常见变换的等变性Equivariance包括旋转、翻转、颜色置换和示例顺序置换。这保证了网络能够默认赋予所有等价变换后的谜题相同的概率避免了使用冗长代码来描述这些对称性进一步缩短了程序长度。数据结构多张量Multitensor网络内部并非使用一个单一的大张量而是使用一个“张量桶”或多张量Multitensor其中包含形状不同的张量每个张量代表不同粒度的信息。这种表示方式专门用于存储高层次的关系信息从而提供了更有效的归纳偏置使网络能够更容易地进行抽象推理。核心骨干类 Transformer 结构架构在结构上类似于Transformer采用一个残差骨干Residual Backbone由线性投影读取/写入和专门设计的操作组成并重复运行4次。整个模型仅有76K参数。这是因为大部分参数仅用于通道维度的线性读/写投影而核心操作本身是无参数的。归纳偏置无参数的自定义操作网络的核心功能不是传统的注意力机制而是一系列针对谜题规则高度定制的、无参数的操作这些操作直接体现了对ARC-AGI谜题规则的先验知识信息汇总与传播 沿着一个轴求和并将结果广播回去实现不同粒度信息的交互。几何操作 沿着几何维度进行单像素平移实现对象的移动/复制。拓扑/形状操作 沿着几何维度取累积最大值Cumulative Max有助于捕捉图案的延伸、填充或边界等拓扑属性。通过这种“高度工程化”的架构CompressARC确保了其对谜题的描述性程序能够被最大程度地压缩从而在无预训练、数据极度受限的条件下成功实现了对ARC-AGI谜题的泛化求解。实验验证为了评估CompressARC的性能研究为CompressARC提供了2000个推理时训练步骤来处理每个谜题每个谜题大约花费20分钟。在这个推理时计算预算内CompressARC 正确解决了20%的评估集谜题和34.75%的训练集谜题。如开头所示总的来说研究挑战了智能必须源于大规模预训练和数据的假设其表明巧妙地运用MDL和压缩原理可以带来令人惊讶的能力。CompressARC作为一个概念证明旨在展示现代深度学习框架可以与MDL结合从而创建一条通往通用人工智能AGI的可能的、互补的替代路径。One more thing这篇论文的作者Isaac Liao目前是CMU机器学习系的在读博士生师从Albert Gu教授。他本科与硕士阶段均就读于麻省理工学院MIT且本科期间便拿下了计算机科学与物理学双学位。他的研究兴趣包括最小描述长度Minimum Description Length, MDL、变分推断、超网络Hypernetworks、元学习、优化方法以及稀疏性。值得一提的是这项研究中用到的核心基准测试ARC-AGI-1Abstraction and Reasoning Corpus 由Google AI 研究员、深度学习库Keras的创始人François Chollet于2019年提出。这一基准是为了应对当时深度学习方法在狭窄、专业任务上表现出色但在展示类人泛化能力方面不足的现状旨在评估 AI 处理新颖、未曾明确训练过的问题的能力是衡量通用人工智能AGI能力的核心标尺。它专门用于基准测试技能习得能力智能的根本核心而非在单一预定义任务上的性能。一键三连「点赞」「转发」「小心心」欢迎在评论区留下你的想法—完—