通义千问 - 7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的 70 亿参数规模的模型。
近日,阿里云开源了 QWen-7B 和 QWen-7B-Chat 模型。目前,两个模型均已在 AI 模型社区「魔搭 ModelScope」上线。
开源地址
魔搭 ModelScope:
https://modelscope.cn/models/qwen/Qwen-7B/summary
https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary
Hugging Face:https://huggingface.co/Qwen
GitHub:https://github.com/QwenLM/Qwen-7B
Qwen-7B 是基于 Transformer 的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。在 Qwen-7B 的基础上,阿里云使用对齐机制打造了基于大语言模型的 AI 助手 Qwen-7B-Chat。
通义千问 - 7B(Qwen-7B)主要有以下特点:
大规模高质量训练语料:使用超过 2.2 万亿 tokens 的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。
强大的性能:Qwen-7B 在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的相近规模开源模型,甚至在部分指标上相比更大尺寸模型也有较强竞争力。
覆盖更全面的词表:相比目前以中英词表为主的开源模型,Qwen-7B 使用了约 15 万大小的词表。该词表对多语言更加友好,方便用户在不扩展词表的情况下对部分语种进行能力增强和扩展。
可在魔搭社区找到相关的详情信息:https://modelscope.cn/models