![](/_nuxt/home-bg.ClNuMS1Y.png)
Llama Family
Llama模型、技术和爱好者的家园
欢迎加入Llama中文社区!
生态伙伴
![](/_nuxt/banner1.G36IaNhW.png)
![](/_nuxt/banner1.G36IaNhW.png)
![](/_nuxt/banner1.G36IaNhW.png)
![](/_nuxt/banner2.Ch67Z2_d.png)
![](/_nuxt/banner2.Ch67Z2_d.png)
![](/_nuxt/banner2.Ch67Z2_d.png)
![](/_nuxt/banner3.DsE5C4_3.png)
![](/_nuxt/banner3.DsE5C4_3.png)
![](/_nuxt/banner3.DsE5C4_3.png)
![](https://cdnfile-hf.atomecho.cn/llama/home/Mission-bg.png)
愿景
以开源促进通用人工智能的发展
Llama模型的开源无疑极大促进了大模型技术的发展,我们致力于构建一个开放平台,能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型,从文本到多模态,从软件到硬件算法优化,我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代,加入Llama Family,与技术一同进步,与社区一同前行,一起迈向AGI!
活动
![](https://cdnfile-hf.atomecho.cn/llama/home/7.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/2.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/3.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/4.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/1.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/5.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/6.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/7.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/2.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/3.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/4.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/1.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/5.jpg)
![](https://cdnfile-hf.atomecho.cn/llama/home/6.jpg)
算力
![](https://cdnfile-hf.atomecho.cn/llama/home/compute.png)
GPU Source
GeForce RTX 30 Series
GeForce RTX 40 Series
coming soon
NVIDIA H100 Tensor Core GPU
coming soon
NVIDIA A100 Tensor Core GPU
coming soon
...
算力获取
算力合作 ![](https://cdnfile-hf.atomecho.cn/llama/home/cooperate.svg)
模型
Meta Llama
Meta开源的Llama模型目前是业界和学术界最广泛使用的大模型。最新的模型训练数据量为2.0T tokens,参数量分为7B、13B、34B和70B,同时包含基础模型和指令微调模型。
模型
训练数据
参数量
数据量
LLaMA
英文CommonCrawl、C4、Github、Wikipedia、Gutenberg and Books3、ArXiv、Stack Exchange
7B
1.0T
13B
1.0T
33B
1.4T
65B
1.4T
Llama 2
开放的互联网数据,没有详细介绍
7B
2.0T
13B
2.0T
34B
2.0T
70B
2.0T
Llama 3
一个新的公开可用在线数据的混合,相比于Llama2总数据量多了7倍,代码数据多了4倍,为了提升多语言能力,Llama3预训练数据集的5%以上由覆盖30多种语言的高质量非英语数据组成
8B
15.0T
70B
15.0T
405B
15.0T
Code Llama
Code Llama在Llama2的基础上结合代码数据进行训练,分为Base Model、Python Model和Instruct Model三类,参数量包含7B、13B、34B和70B,可以进行代码续写、代码填充和指令编程。
模型
训练数据
参数量
模型类别
Code Llama
在Llama 2的基础上,采用500B tokens的公开代码数据集训练。为了帮助模型保持对自然语言的理解能力,从与代码相关的自然语言数据集中获取了8%的样本数据,包含了许多关于代码的讨论、自然语言问题或答案中的代码片段
7B
基础模型
用于代码生成的基础模型
Python版本
针对Python语言优化的模型
Instruct版本
通过人类指令和合成代码数据微调的模型
13B
34B
70B
Atom
原子大模型由原子回声联合Llama中文社区研发,基于Llama架构,采用2.7T中文以及多语种语料训练,参数量包含1B、7B和13B,对Llama模型的中文能力做了大幅提升。
模型
训练数据
参数量
数据量
Atom
中文以及多语种的百科、书籍、博客、新闻、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等
1B
2.7T
7B
2.7T
13B
2.7T
Llama Family