小扎All in 开源AGI：正训练Llama 3，年底将有35万块H100
小扎All in 开源AGI：正训练Llama 3，年底将有35万块H100
白交 发自 凹非寺 量子位 | 公众号 QbitAI
小扎宣布新目标：All in 开源AGI。
不错，小扎又All in了，正是OpenAI谷歌必争之地。
不过在AGI之前，着重强调了是Open Sourse（开源）的。
此举受到不少好评，一如此前LIama系列大模型开源之时。
不过此次又一波All in，不禁让网友想起上一波All in了：元宇宙去哪里了？？？
但必须要说的是，此次列的Flag确实更具体一些，甚至也透露了一些关键数据。
比如，
- 年底将有35万块H100，而包括其他GPU在内，总算力将相当于60万块H100。
- FAIR团队的工作将与GenAI团队更为紧密。
- LIama 3即将到来。
最后他还打了个小广告。他们正在打造以AI为中心的新型计算设备，比如Ray Ban Meta 智能眼镜。
看来元宇宙还在继续。
小扎又All in了
现在，小扎正式宣布加入AGI之争。
虽然没有明确的时间表，但作为长期愿景，明确表示两个关键点：
负责任地开源，并广泛提供，让每个人都能从中获益。
而为了实现这一目标，主要有两件事：
第一，将现有两大AI研究工作团队（FAIR 和 GenAI）紧密结合在一起。
按照LeCun的话说，就是两个成为兄弟部门。
并表示，Llama-3 is coming！
第二，建设大规模的计算基础设施：今年年底将拥有35万块H100，总算力相当于60万个H100。
按照2.5万美元至3万美元出售价来测算，总算力价值将达到150亿美元至180亿美元。
此前曾有机构预计，2023年英伟达朝Meta的H100出货量能达到15万块，同微软持平，并且至少是其他公司的三倍。
为此小扎表示，我们已经建立了这样的能力，其规模可能比任何其他单独的公司都大。
有网友算了算计算能力直呼：大脑大小的模型即将到来。
不过也有人质疑，英伟达应该生产不了那么多。
但有Meta领导现身说法：H100是包含现有在内，一共35万块。
除此之外，还强调了硬件设备上的进展。
大佬们对于AGI的评价
在小扎宣布这一消息之前，不少大佬在达沃斯世界经济论坛上发表了不少关于AGI的评论。
像LeCun则在The Expanding Universe of Generative Models这一论坛上强调了AGI实现路径中开源的重要性。
我们之所以能在人工智能领域看到如此快速的进步，是因为人们进行了开放研究。
即便他经常经常对AGI很快到来（当然不是在未来五年内）表示怀疑，但AGI还是到来了。
而Transformer主创Aidan Gomez则表示：
目前我们还没有完成扩展，我们还需要继续努力。
至于像OpenAI CEO奥特曼表示，人类水平的人工智能很快到来，但对世界的改变远比我们想象的要小。
通用人工智能（AGI）可能会在“相当接近的未来”得到开发。
对于AGI的发展，你们怎么看？
— 完 —