Meta发布了Llama2-Long模型,它处理长文本时不增加计算需求,保持卓越性能。采用持续预训练、位置编码改进和数据混合策略,减少计算开销最多可达40%。在长短任务上表现卓越,甚至超越了GPT-3.5。这一发布为自然语言处理领域注入了新的活力。
本文由「aiuc」编辑整理,文章链接:https://www.aiuc.net/23074
该文观点仅代表作者本人,平台仅提供信息存储空间服务。
[db:摘要]
Meta发布了Llama2-Long模型,它处理长文本时不增加计算需求,保持卓越性能。采用持续预训练、位置编码改进和数据混合策略,减少计算开销最多可达40%。在长短任务上表现卓越,甚至超越了GPT-3.5。这一发布为自然语言处理领域注入了新的活力。
本文由「aiuc」编辑整理,文章链接:https://www.aiuc.net/23074
该文观点仅代表作者本人,平台仅提供信息存储空间服务。