陈丹琦团队又带着他们的降本大法来了——香港六合彩正版资料大全
数据砍掉三分之一，大模子性能却完全不减。
他们引入了元数据，加速了大模子预测验的同期，也不增多单独的狡计支出。
在不同模子范畴（600M - 8B）和测验数据开首的情况下，均能终了性能方面的栽种。
固然之前元数据道过许多，但一作高天宇示意，他们是第一个展示它若何影响下流性能，以及具体若何现实以确保推理中具备多数实用性。
来望望具体是若何作念到的吧？
据媒体报道，近期流感高发，据中国疾控中心最新数据，目前流感病毒阳性率持续上升，其中99%以上为甲流。随着流感感染人数增多，抗流感药物的销量近期也持续增长，目前，新一代“流感神药”玛巴洛沙韦更是有药店定价高至300元。
但巴列霍并不想在这个窗口离开皇马，他更愿意留队在本赛季结束，履行完与皇马的合同。巴列霍昨日因为身体轻微不适接受了检查，不会参加皇马对阵米内拉的国王杯比赛。
元数据加速大模子预测验
话语模子预测验语料库中存在撰述风、范畴和质料水平的弘大各异，这关于迷惑通用模子才气至关进击，然而高效地学习和部署这些异构数据源中每一种数据源的正确算作却极具挑战性。
在这一布景下，他们提倡了一种新的预测验花式，称为元数据颐养然后冷却（MeCo，Metadata Conditioning then Cooldown）。
具体包括两个测验阶段香港六合彩正版资料大全。
预测验阶段（90%），将元数据（如文档 URL 的总计域名c）与文档拼接（如 “URL: en.wikipedia.org [document]”）进行测验。
（举例，若是文档的 URL 是 https://en.wikipedia.org/wiki/Bill Gates，那么文档 URL 的总计域名c便是 en.wikipedia.org；这种 URL 信息在许多预测验语料库中王人很容易取得，它们大多来自 CommonCrawl2（一个绽开的收罗持取数据存储库））
当使用其他类型的元数据时，URL 应替换为相应的元数据称呼。
他们只狡计文档记号的交叉熵蚀本，而不探求模板或元数据中的记号，因为在初步实验中发现，对这些记号进行测验会稍微毁伤下流性能。
临了10%的测验才能为冷却阶段，使用程序数据测验，汲取元数据颐养阶段的学习率和优化器景色，即从上一阶段的临了一个搜检点驱动化学习率、模子参数和优化器景色，并不绝凭据瞎想休养学习率：
1）禁用跨文档Attention，这既加速了测验速率（1.6B 模子的测验速率提高了 25%），又提高了下流性能。
2）当将多个文档打包成一个序列时，咱们确保每个序列从一个新文档入手，而不是从一个文档的中间入手—当将文档打包成固定长度时，这可能会导致一些数据被丢弃，但事实评释这成心于提上下流性能。
本次实验使用了Llama Transformer架构和Llama-3 tokenizer。咱们使用四种不同的模子大小进行了实验：600M、1.6B、3B 和 8B，以及关连优化建立。
截至走漏，MeCo 的推崇显着优于程序预测验，其平均性能与 240B 记号的基线尽头，而使用的数据却减少了 33%。
临了追念，他们主要完成了这三项孝顺。
1、 MeCo 大幅加速了预测验。
实考评释，MeCo 使一个 1.6B 的模子在少用 33% 的测验数据的情况下，达到了与程序预测验模子一样的平均下流性能。在不同的模子范畴（600M、1.6B、3B 和 8B）和数据源（C4、RefinedWeb 和 DCLM）下，MeCo 走漏出一致的收益。
2、MeCo 开启了交流话语模子的新花式。
举例，使用factquizmaster.com（非真实URL）不错提高学问性任务的性能（举例，在零次学问性问题解答中总计提高了6%），而使用wikipedia.org与程序的无条目推理比拟，毒性生成的可能性缩小了数倍。
3、消解了 MeCo 的瞎想遴荐，并评释 MeCo 与不同类型的元数据兼容。
使用散列 URL 和模子生成的主题进行的分析标明，元数据的主要作用是按开首将文档归类。因此，即使莫得URL，MeCo 也能灵验地整合不同类型的元数据，包括更概述的选项。
陈丹琦团队
论文作家来自普林斯顿NLP小组（隶属于普林斯顿话语与智能PLI）博士生高天宇、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi以及陈丹琦。
一作高天宇，本科毕业于清华，是2019年清华特奖得主，当今普林斯顿五年龄博士生，展望本年毕业，不绝在学界搞询查，询查范畴包括当然话语处治和机器学习的交叉范畴，脱落怜惜诳言语模子（LLM），包括构建诈欺花式、提高LLM功能和成果。
Luxi He当今是普林斯顿狡计机专科二年龄博士生，当今询查要点是相识话语模子并改善其一致性和安全性，硕士毕业于哈佛大学。
YiHe Dong当今在谷歌从事机器学习询查和工程使命，专注于结构化数据的示意学习、自动化特征工程和多模态示意学习，本科毕业于普林斯顿。
— 完 —香港六合彩正版资料大全