少用33％数据，模型性能不变，陈丹琦团队用元数据来做降本增效

普林斯顿大学陈丹琦团队提出了一种新的预训练方法 MeCo，通过在预训练期间使用元数据（如URL）进行调节，并在最后10%的训练中实施冷却阶段。该方法可以显著提高语言模型的数据效率，减少33%的训练数据量，同时几乎不增加计算开销和复杂性。MeCo 在不同模型规模和数据源上均表现出一致的性能提升，并增强了模型的可控性和实用性。