新鲜出炉，实测开源 AI 模型 Llama3.1 8B

写在前面的话：实测开源 AI 模型 Llama3.1 8B，在无法联网工作的情况下，是一个上佳之选。计划将部分学习型、科普类、翻译类的任务转至使用本地部署的开源模型。

正如马克·扎克伯格前天早上在一封公开信中所说的那样：我们相信开源将确保世界各地更多的人能够获得AI的好处和机会，权力不会集中在少数人的手中，这项技术可以在社会中更均匀和安全地部署。这就是为什么我们继续在开源AI成为行业标准的道路上迈进。

刚刚测试了 llama3.1 8B ，效果良好，在无法联网工作的情况下，是一个上佳之选。计划将部分学习型、科普类、翻译类的任务转至使用本地部署的开源模型。具体请查看下面的演示视频：

用M3 pro（36GB 内存）运行 70B 十分卡顿， 推测配备高配显卡的电脑运行效果会更优。依据 llama 官方发布的测评结果而言，Llama3.1 70B 与 gpt-3.5 的水平相当， 或者稍高一点。

Llama3.1 405B 模型对硬件的要求颇高， 其水平相当于 gpt-4 。 能够借助一些平台服务来替代， 价格必然会逐步降低。这些开源项目， 会促使大模型的成本愈发降低。

如果想体验刚发布的 Llama 3.1 405B，这几个地方可以免费体验：
Meta.ai 官网： http://meta.ai
Huggingface chat：http://huggingface.co/chat
Groq（暂时不支持 405B，但是支持Llama3.1 8B和70B）：http://groq.com

Llama 3.1 405B 在不同平台的价格:
Fireworks: $3 input / $3 output / 1M tokens
Together: $5 in / $15 out
Replicate: $9.5 in / $9.5 out
Groq: 仅支持企业用户
对比一下：
GPT-4o: $5 in / $15 out
Claude 3.5 sonnet: $3 in / $15 out