早在2017年就曾有研究人员问道:“到2040年人工智能会写出大部分代码吗?”如今,OpenAI的GPT-3已被beta测试人员使用,已经可以用任何语言编写代码了,机器主导的编码几乎就在我们眼前。
GPT-3已接受了数千亿字或者甚至是整个互联网的训练,这就是为什么它可以用CSS、JSX、Python编码。GPT-3不需要对多种语言任务进行训练,其训练数据已包罗万象。反而是当给定琐碎的指示时,网络会将自己限制在手头的任务上。
GPT-n的演变
GPT通过将监督学习与无监督的预训练(或使用无监督步骤的参数作为监督的起点)配对,在语言任务中达到了最先进的水平。与其后继者相比,GPT很小,它只在几千本书和一台8GPU机器上进行训练。
GPT-2大幅扩大了规模,包含了10倍的参数,并提供了超过10倍的训练数据。尽管如此,数据集仍然相对有限,它被专门训练为“来自Reddit的链接,它至少收到了3个karma。”GPT-2被描述为一个“变色龙一样”的合成文本生成器,但它不像下游任务中的问答总结或翻译一样是最先进的。
GPT-3在人工智能领域中是里程碑式的存在,在一系列的任务中达到了最先进的水平,其主要突破是不再需要对特定任务进行微调。就尺寸而言,其模型再一次大幅扩大,达到1750亿个参数,是其上一代的116倍。
GPT-3根本不需要训练(一个零次学习的例子),其本来就令人印象深刻的性能在一次或两次学习之后黯然失色。
发展或灭亡
现在情况是:Beta测试人员正在使用GPT-3生成工作代码,这需要一些琐碎的知识。从按钮到数据表,甚至重建谷歌的主页,这些都可以通过零次学习完成。
除了人工智能的快速发展,其他两个主要的技术趋势正在加剧这样一个现实,未来编程工作将变得不再是“铁饭碗”:无代码和自动机器学习。
无代码分析:让每个人都成为数据科学家
无代码是指使任何人更容易构建新产品的可视化工具,无论是网站、设计、数据分析还是模型。Word Press、Wix和Shopify是典型的无代码工具,这使数百万人不再需要雇用开发人员或设计师,自己就能够做事情。
第二种趋势是AutoML,即自动机器学习,这大大缩短了人工智能生产所需的时间。
AutoML会成为数据科学家的终结吗?
类似Apteo的工具顺应了这些趋势,使人们无需具备编码技能都能够部署人工智能模型。GPT-3则将引发无代码和自动机器学习的又一波浪潮,许多潜在的雇主会选择这些工具,而不是雇佣昂贵的程序员。
当然,技术含量最低的程序员将最先离开,而专家就像在任何领域一样,将享受更长时间的工作保障。
不仅仅是代码——GPT-3已应用于任何语言任务
要将GPT-3引导到特定的语言任务,只需向它提供希望实现的示例。你可以直接用GPT-3写代码,也可以直接写诗歌、音乐媒体评论或任何其他文本。
例如,如果想生成一篇新闻文章,可以输入一个正标题,如“联合卫理公会同意历史分裂”和一个副标题,如“那些反对同性婚姻的人将形成自己的派别”。
输入这些,GPT-3产生以下结果:
华盛顿邮报称,经过两天的激烈辩论,联合卫理公会已经同意了这一历史性的分裂——这一分裂预计将以创建一个新的教派结束,这个教派 “在神学和社会方面都是保守的”。大多数出席5月教会年度大会的代表投票支持加强禁止LGBTQ神职人员的任命并制定新的规则,将对主持同性婚礼的神职人员“予以处罚”。但是那些反对这些措施的人有一个新计划:他们称将在2020年形成一个单独的教派,其教会称为基督教卫理公会教派……
这段文字骗过了88%的人,只有12%的人认为这是由人工智能写的。
就像人类一样,GPT-3还可以根据例句学习生词。例如,给定语境:“Burringo”是一辆加速速度非常快的汽车。GPT-3的输出是:在我们的车库里有一辆Burringo,我父亲每天开它去上班。
这些结果令人印象极其深刻。人工智能正在不可避免的进化当中,对当前性能的任何批评都将化为其快速迭代中的泡影。
不仅仅是语言——GPT应用于图像
GPT不仅可以写代码和编写任何东西,还可以生成图像。相同的模型体系结构可以在像素序列而非文本编码上进行训练,从而生成新的图像而非文本。事实上,它非常擅长这样做,甚至可以和顶级CNN竞争。
这表明,GPT(及其后继者)不仅有可能在某一天取代编码器,其多功能性甚至使其具有取代整个行业的潜力。
GPT-3令人惊叹的性能让许多人相信我们正前所未有地接近超级智能,或者至少,人工智能生成的代码比我们想象的更接近,它能产生有创造性、有洞察力、有深度甚至是美丽的内容,未来已来。
本文转载自微信公众号「 读芯术」,可以通过以下二维码关注。转载本文请联系读芯术公众号。
这是个数据互联的时代,这是个智能手机的时代,大量的智能机应运而生。国内外的...
尽管在过去的几十年中,头显设备的技术取得了不小的进步,但光学镜片的发展仍然...
如今,有两种可能的深度学习技术部署:直接在设备上在云端和边缘。 由于对处理能...
终端连接数超过1.8亿,应用于工业互联网的5G基站总数超过3.2万个,5G+工业互联网...
人工智能已经统治世界很多年了,不同领域的主要问题都是通过人工智能来解决的,...
从太空看地球,达摩院找到了新方法!9月18日,2020云栖大会上,达摩院发布首个泛...
简介 随着项目的不断迭代,代码量跟资源文件不断增多。那么就会出现打包后的 APK...
新兴技术的迅速运用给人们的生活带来了极大的便利,同时也引发了各种网络安全问...
我们迎来了一个自拍热的时代,全世界的人都爱上了自拍。在美图秀秀带动下,国人...
5GAmericas在一份新报告中观察到,5G是历史上发展最快的移动技术,其采用速度是L...