香港六合彩开奖号码统计 陈丹琦团队降本大法又来了：数据砍掉三分之一，性能却完全不减

陈丹琦团队又带着他们的降本大法来了——

数据砍掉三分之一，大模子性能却完全不减。

他们引入了元数据，加速了大模子预熏陶的同期，也不增多单独的狡计支拨。

在不同模子范围（600M - 8B）和熏陶数据起头的情况下，均能终了性能方面的栽种。

天然之前元数传奇念过许多，但一作高天宇示意，他们是第一个展示它怎样影响卑劣性能，以及具体怎样执行以确保推理中具备多量实用性。

2025年1月6日22:00-1月7日6:00，2025年1月7日22:00-1月8日6:00，天河南一路分段封闭施工，机动车、非机动车按现场指示通行。

男子叫做姚勇，他之所以如此宝贝这个手机号，不是因为它48万的身价，而是因为这个手机尾号有5个8的吉利数字。然而，这个让姚勇如此喜爱的靓号，却突然之间不清不楚的消失了……这究竟是怎么回事呢？1999年，做生意的姚先生和自己的朋友一起换手机号。姚先生的手机号是5个7结尾的靓号。他的朋友买到了5个8结尾的靓号。“888发发发”！这样吉利的数字，对做生意的姚先生来说是极好的彩头。他对朋友后的号码十分的心动。

来望望具体是怎样作念到的吧？

元数据加速大模子预熏陶

话语模子预熏陶语料库中存在着格调、范围和质地水平的遍及各异，这关于斥地通用模子智商至关弥留，然则高效地学习和部署这些异构数据源中每一种数据源的正确活动却极具挑战性。

在这一布景下，他们建议了一种新的预熏陶步地，称为元数据转念然后冷却（MeCo，Metadata Conditioning then Cooldown）。

具体包括两个熏陶阶段。

预熏陶阶段（90%），将元数据（如文档 URL 的十足域名c）与文档拼接（如 “URL: en.wikipedia.org [document]”）进行熏陶。

（举例，如若文档的 URL 是 https://en.wikipedia.org/wiki/Bill Gates，那么文档 URL 的十足域名c等于 en.wikipedia.org；这种 URL 信息在许多预熏陶语料库中王人很容易得到，它们大多来自 CommonCrawl2（一个通达的集会持取数据存储库））

当使用其他类型的元数据时，URL 应替换为相应的元数据称号。

他们只狡计文档艳丽的交叉熵吃亏，而不商量模板或元数据中的艳丽，因为在初步实验中发现，对这些艳丽进行熏陶会稍许挫伤卑劣性能。

临了10%的熏陶设施为冷却阶段，使用表率数据熏陶，禁受元数据转念阶段的学习率和优化器状况，即从上一阶段的临了一个查验点启动化学习率、模子参数和优化器状况，并不绝凭证狡计调理学习率：

1）禁用跨文档Attention，这既加速了熏陶速率（1.6B 模子的熏陶速率提高了 25%），又提高了卑劣性能。

2）当将多个文档打包成一个序列时，咱们确保每个序列从一个新文档起初，而不是从一个文档的中间起初—当将文档打包成固定长度时，这可能会导致一些数据被丢弃，但事实发挥注解这故意于提凹凸游性能。

本次实验使用了Llama Transformer架构和Llama-3 tokenizer。咱们使用四种不同的模子大小进行了实验：600M、1.6B、3B 和 8B，以及辩论优化诞生。

扬弃暴露，MeCo 的推崇彰着优于表率预熏陶，其平均性能与 240B 艳丽的基线十分，而使用的数据却减少了 33%。

临了转头，他们主要完成了这三项孝顺。

1、 MeCo 大幅加速了预熏陶。

实考据明，MeCo 使一个 1.6B 的模子在少用 33% 的熏陶数据的情况下，达到了与表率预熏陶模子调换的平均卑劣性能。在不同的模子范围（600M、1.6B、3B 和 8B）和数据源（C4、RefinedWeb 和 DCLM）下，MeCo 暴走漏一致的收益。

2、MeCo 开启了蛊惑话语模子的新步地。

举例，使用factquizmaster.com（非真实URL）不错提高学问性任务的性能（举例，在零次学问性问题解答中十足提高了6%），而使用wikipedia.org与表率的无条目推理比较，毒性生成的可能性缩小了数倍。

3、消解了 MeCo 的联想聘任，并发挥注解 MeCo 与不同类型的元数据兼容。

使用散列 URL 和模子生成的主题进行的分析标明，元数据的主要作用是按起头将文档归类。因此，即使莫得URL，MeCo 也能灵验地整合不同类型的元数据，包括更密致的选项。

陈丹琦团队

论文作家来自普林斯顿NLP小组（隶属于普林斯顿话语与智能PLI）博士生高天宇、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi以及陈丹琦。

一作高天宇，本科毕业于清华，是2019年清华特奖得主，现在普林斯顿五年龄博士生，瞻望本年毕业，不绝在学界搞盘考，盘考范围包括天然话语管束和机器学习的交叉范围，终点暖和妄言语模子（LLM），包括构建诳骗措施、提高LLM功能和成果。

Luxi He现在是普林斯顿狡计机专科二年龄博士生，现在盘考要点是剖判话语模子并改善其一致性和安全性，硕士毕业于哈佛大学。

YiHe Dong现在在谷歌从事机器学习盘考和工程职责，专注于结构化数据的示意学习、自动化特征工程和多模态示意学习，本科毕业于普林斯顿。

— 完 —香港六合彩开奖号码统计