前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >GPT-4多模态模型

GPT-4多模态模型

作者头像
ytkah
发布2023-03-13 11:13:59
1.1K0
发布2023-03-13 11:13:59
举报
文章被收录于专栏:ytkahytkah

GPT-4 模型是OpenAI开发的第四代大型语言模型(LLM),它将是一个多模态模型,会提供完全不同的可能性-例如文字转图像、音乐甚至视频。GPT 全称为 Generative Pre-trained Transformer,是一种使用人工神经网络的深度学习技术,能够使机器像人一样聊天交流并进行创作。

GPT-4 建立在 GPT-3 之上,GPT-3 于 2020 年 5 月发布,并迅速成为使用最广泛的自然语言处理模型之一。 GPT-4 比 GPT-3 更大更强,能够更准确、更流畅地处理和生成文本。

在GPT-4之前是GPT-3.5,由该模型开发的聊天机器人 ChatGPT 一经面世,便引爆 AI 界的军备竞赛

多模态或成GPT-4最大亮点

  微软 AI 技术专家 Holger Kenn 和 Clemens Sieber 对多模态 AI 的相关功能进行了介绍。

  根据 Kenn 的说法,多模态 AI 不仅可以将文本转化成相应的图像、音乐甚至是视频。在微软宣布前,机器学习专家 Emil Wallner 就在推特上预测,称 GPT-4 可能具备这种能力。

  Sieber 则介绍了一些多模态 AI 产业化的潜在案例,例如多模态 AI 能够将电话呼叫的语音直接记录成文本。根据估算,该功能能为微软位于荷兰的一家大客户节省 500 个工作小时/天。

  这项技术已经发展到基本上“适用于所有语言”,也就是说“可以用德语提问,然后用意大利语得到答案。”

  近期接受媒体采访时,OpenAI 首席执行官 Sam Altman 直接否认了一些传言,比如 GPT-4 可能会使 AGI 有和人类一样的意识。

  Altman 强调,GPT-4 是一次进化,而不是一项革命性的技术。ChatGPT 的下一个版本不会是 AGI ,也不会有 100 万亿个参数

  OpenAI 的首席技术官 Mira Murati 认为少宣传是好事,但表示 GPT-4 可能会“为人们拓宽发展机会”。

GPT简介?

GPT,即 Generative Pre-trained Transformer,是由 OpenAI 提出的一系列非常强大的预训练语言模型。该系列模型基于互联网上的可用数据上进行训练,在 NLP(自然语言处理)方面表现卓越,可用于问答、文章生成、机器翻译、代码生成和对话 AI 等。

在 GPT 系列模型推出之前,传统的 NLP 模型都是针对特定任务(如分类、翻译等)进行训练的,并且往往使用监督学习,这就导致了两个问题:缺乏大量的标注数据,模型也无法概括和泛化任务。

以下是GPT的演变历史

GPT-1

OpenAI 在 2018 年推出了 GPT-1,模型参数数量为 1.17 亿,通过未标注的数据训练出一种生成式语言模型,再根据特定的下游任务进行微调,将无监督学习作为有监督模型的预训练目标。

GPT-2

时隔一年后,2019 年具有 15 亿参数的 GPT-2 出现。与 GPT-1 相比,GPT-2 在结构上并没有太多创新与设计,使用了更大的数据集和更多的模型参数进行训练,以此强化并提高模型性能。

从 GPT-1 的 1.17 亿到 GPT-2 的 15 亿,超 10 倍的参数差距带来了性能上的飞跃。这似乎意味着,随着容量和参数量的增多,模型性能还有更大的潜力

GPT-3

2020 年 GPT-3 的参数量翻了 100 倍:1750 亿,其预训练数据量也高达 45TB(GPT-2 是 40GB,GPT-1 约 5 GB)。

事实证明,海量参数确实让 GPT-3 具备了更强大的性能,它在下游任务表现的非常好。即便是复杂的 NLP 任务,GPT-3 也表现惊艳:可以模仿人类写作,编写 SQL 查询语句、React 或 JavaScript 代码等。

InstructGPT

2022 年初推出全新的 InstructGPT 模型,只要 13 亿参数,效果就比 GPT-3 更好。InstructGPT能根据用户的反馈数据进行训练。

ChatGPT

ChatGPT,由 GPT-3.5 系列中的模型微调而成。自从去年 11 月发布以来,ChatGPT 迅速火爆全球。根据 Similarweb 的测算,其访问量已经从 1 月的 6.16 亿达到目前的超过 10 亿。

ChatGPT API

3月1日,OpenAI 放出了ChatGPT API(GPT-3.5-turbo 模型),1000个tokens为$0.002美元,等于每输出 100 万个单词,价格才 2.7 美金(约 18 元人民币),比已有的 GPT-3.5 模型便宜 10 倍。

GPT-4

GPT-4 模型是第四代大型语言模型(LLM),它将是一个多模态模型,会提供完全不同的可能性-例如文字转图像、音乐甚至视频。

本文参与?腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2023-03-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客?前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 多模态或成GPT-4最大亮点
  • GPT简介?
    • GPT-1
      • GPT-2
        • GPT-3
          • InstructGPT
            • ChatGPT
              • ChatGPT API
                • GPT-4
                相关产品与服务
                NLP 服务
                NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
                http://www.vxiaotou.com