马斯克突然开源 Grok ：3140亿参数，打脸OpenAI，免费可商用，点击下载，安装史上最大模型！

Grok-1 开源模型下载：

1.Grok-1 开源模型下载：【磁力链接】 ，然后使用 【Torrent 客户端】进行下载即可！

2.Grok 开源项目：【Github】

3.如果需要在云端安装Grok-1大模型，可以通过【租赁H100 云GPU】进行云端搭建

4.当然也可以直接调用HuggingFace Hub：

git clone https://github.com/xai-org/grok-1.git && cd grok-1

pip install huggingface_hub[hf_transfer]

huggingface-cli download xai-org/grok-1 –repo-type model –include ckpt-0/* –local-dir checkpoints –local-dir-use-symlinks False

模型详情:

• 基于大量文本数据训练,未针对任何特定任务微调
• 3140亿参数MoE模型,激活权重25%
• 使用旋转嵌入而非固定位置嵌入
• Tokenizer词汇大小131,072,嵌入大小6,144
• 64层Transformer,每层解码器层包含多头注意力块和密集块
• 多头注意力:48头查询,8头键/值,键值大小128
• 密集块:加宽因子8,隐藏层大小32768
• 每个token从8个专家选择2个
• 旋转位置嵌入大小6,144
• 上下文长度8192 tokens,精度bf16

模型能力:

• 在标准LM基准测试中表现超过同等计算量模型
• HumanEval编码任务63.2%,MMLU 73%
• 在匈牙利高中数学考试中获C级(59%)
• 整体在推理和编码任务中表现出色

局限性:

• 缺少独立搜索网络能力,需结合搜索工具增强
• 可能产生幻觉,需人工审查
• 目前无法像X平台付费版实现实时获取信息

开源意义:

• 遵循Apache 2.0许可证,用户可自由使用修改分发
• 体现了xAI追求透明化和社区开放的理念
• 为进一步研究和创新提供了宝贵资源

总的来说,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能。

License

The code and associated Grok-1 weights in this release are licensed under the Apache 2.0 license. The license only applies to the source files in this repository and the model weights of Grok-1.