Llama Family

Llama模型、技术和爱好者的家园

欢迎加入Llama中文社区！

生态伙伴

愿景

活动

算力

模型

生态伙伴

愿景

以开源促进通用人工智能的发展

Llama模型的开源无疑极大促进了大模型技术的发展，我们致力于构建一个开放平台，能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型，从文本到多模态，从软件到硬件算法优化，我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代，加入Llama Family，与技术一同进步，与社区一同前行，一起迈向AGI！

活动

算力

GPU Source

GeForce RTX 30 Series

GeForce RTX 40 Series

coming soon

NVIDIA H100 Tensor Core GPU

coming soon

NVIDIA A100 Tensor Core GPU

coming soon

...

算力获取

算力合作

模型

Meta Llama

Meta开源的Llama模型目前是业界和学术界最广泛使用的大模型。语言模型版本包含1B、3B、8B、70B和405B，训练数据量超过15.0T tokens。视觉模型包含11B和90B，训练数据量超过60亿图文对。

模型

训练数据

参数量

数据量

发布时间

LLaMA

英文CommonCrawl、C4、Github、Wikipedia、Gutenberg and Books3、ArXiv、Stack Exchange

7B（6.7B）

1.0T

2023/02/24

13B（13.0B）

1.0T

33B（32.5B）

1.4T

65B（65.2B）

1.4T

Llama 2

开放的互联网数据

2.0T

2023/07/18

13B

2.0T

34B

2.0T

70B

2.0T

Llama 3

开放的互联网数据

15.0T

2024/04/18

70B

15.0T

Llama 3.1

一个新的公开可用在线数据的混合，相比于Llama2总数据量多了7倍，代码数据多了4倍，为了提升多语言能力，Llama3预训练数据集的5%以上由覆盖30多种语言的高质量非英语数据组成

15.0T

2024/07/23

70B

15.0T

405B

15.0T

Llama 3.2

Llama 3.2-Text

开放的互联网数据

1B（1.23B）

9.0T

2024/09/25

3B（3.21B）

9.0T

Llama 3.2-Vision

在图像和文本对数据上进行了预训练。指令微调数据包括公开可用的视觉指令数据集以及超过 300 万个合成数据

11B（10.6B）

6B（图片，文本）对

90B（88.8B）

6B（图片，文本）对

Code Llama

Code Llama在Llama2的基础上结合代码数据进行训练，分为Base Model、Python Model和Instruct Model三类，参数量包含7B、13B、34B和70B，可以进行代码续写、代码填充和指令编程。

模型

训练数据

参数量

模型类别

Code Llama

在Llama 2的基础上，采用500B tokens的公开代码数据集训练。为了帮助模型保持对自然语言的理解能力，从与代码相关的自然语言数据集中获取了8%的样本数据，包含了许多关于代码的讨论、自然语言问题或答案中的代码片段

基础模型

用于代码生成的基础模型

Python版本

针对Python语言优化的模型

Instruct版本

通过人类指令和合成代码数据微调的模型

13B

34B

70B

Atom

原子大模型由原子回声联合Llama中文社区研发，基于Llama架构，采用2.7T中文以及多语种语料训练，参数量包含1B、7B和13B，对Llama模型的中文能力做了大幅提升。

模型

训练数据

参数量

数据量

发布时间

Atom

中文以及多语种的百科、书籍、博客、新闻、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等

2.7T

2023/12/20

2.7T

2023/08/28

13B

2.7T

2023/07/31

Llama Family