Llama Family
Llama模型、技术和爱好者的家园
欢迎加入Llama中文社区！
生态伙伴
愿景
以开源促进通用人工智能的发展
Llama模型的开源无疑极大促进了大模型技术的发展，我们致力于构建一个开放平台，能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型，从文本到多模态，从软件到硬件算法优化，我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代，加入Llama Family，与技术一同进步，与社区一同前行，一起迈向AGI！
活动
算力
GPU Source
GeForce RTX 30 Series
GeForce RTX 40 Series
coming soon
NVIDIA H100 Tensor Core GPU
coming soon
NVIDIA A100 Tensor Core GPU
coming soon
...
算力获取
算力合作 
模型
Meta Llama
Meta开源的Llama模型目前是业界和学术界最广泛使用的大模型。最新的模型训练数据量为2.0T tokens，参数量分为7B、13B、34B和70B，同时包含基础模型和指令微调模型。
模型
训练数据
参数量
数据量
LLaMA
英文CommonCrawl、C4、Github、Wikipedia、Gutenberg and Books3、ArXiv、Stack Exchange
7B
1.0T
13B
1.0T
33B
1.4T
65B
1.4T
Llama 2
开放的互联网数据，没有详细介绍
7B
2.0T
13B
2.0T
34B
2.0T
70B
2.0T
Llama 3
一个新的公开可用在线数据的混合，相比于Llama2总数据量多了7倍，代码数据多了4倍，为了提升多语言能力，Llama3预训练数据集的5%以上由覆盖30多种语言的高质量非英语数据组成
8B
15.0T
70B
15.0T
400B+
暂未发布
Code Llama
Code Llama在Llama2的基础上结合代码数据进行训练，分为Base Model、Python Model和Instruct Model三类，参数量包含7B、13B、34B和70B，可以进行代码续写、代码填充和指令编程。
模型
训练数据
参数量
模型类别
Code Llama
在Llama 2的基础上，采用500B tokens的公开代码数据集训练。为了帮助模型保持对自然语言的理解能力，从与代码相关的自然语言数据集中获取了8%的样本数据，包含了许多关于代码的讨论、自然语言问题或答案中的代码片段
7B
基础模型
用于代码生成的基础模型
Python版本
针对Python语言优化的模型
Instruct版本
通过人类指令和合成代码数据微调的模型
13B
34B
70B
Atom
原子大模型由原子回声联合Llama中文社区研发，基于Llama架构，采用2.7T中文以及多语种语料训练，参数量包含1B、7B和13B，对Llama模型的中文能力做了大幅提升。
模型
训练数据
参数量
数据量
Atom
中文以及多语种的百科、书籍、博客、新闻、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等
1B
2.7T
7B
2.7T
13B
2.7T
Llama Family
