ChatGPT
本词条由
钟大叔
编辑发布
ChatGPT(全称Chat Generative Pre-trained Transformer,即聊天生成预训练转换器)是人工智能研究实验室OpenAI(开放人工智能研究中心)在2022年11月30日发布的聊天机器人模型。
词条类别
英文名
所属公司
开发商
上线时间
软件类型
官网
目录
简介
ChatGPT(全称Chat Generative Pre-trained Transformer,即聊天生成预训练转换器)是人工智能研究实验室OpenAI(开放人工智能研究中心)在2022年11月30日发布的聊天机器人模型。
ChatGPT基于GPT-3.5和GPT-4大模型构建,以对话的方式与用户进行交互,其基于在预训练阶段所见的模式和统计规律,来生成回答。ChatGPT可以根据用户的问题给予相应的长文本回复,包括输出代码、文字翻译、撰写论文和小说等等,在对话中也可以做到自然流畅。截至2023年12月,免费用户只能使用基于GPT-3.5的ChatGPT,而“ChatGPT Plus”付费用户能够体验更加先进的GPT-4版本的ChatGPT,并可以解锁更多功能。
ChatGPT自发布以来得到了广泛关注,2023年1月末,ChatGPT已经拥有1亿月活跃用户,成为增长速度最快的消费级应用, 直到这个记录在2023年7月被Threads打破。ChatGPT面世后炒热了AIGC这一概念,多家科技公司纷纷推出了自己的同类产品,包括Bard、Ernie Bot、LLaMA等。ChatGPT的火爆也带来了一些争议与批评,如将增加虚假信息风险、挤占人类岗位等。2024年3月13日,OpenAI投资的人形机器人——Figure 01迎来更新,接入最新版GPT后,它可以与人类全面对话,还能听、看,做家务,自主决策。2024年4月2日,OpenAI宣布,将允许用户直接使用ChatGPT,无需注册该项服务。4月5日,ChatGPT企业版的需求出现爆发式增长,注册用户数从1月份大约15万用户急剧增长至4月5日的大约60万用户。
理论基础
ChatGPT是InstructGPT的兄弟版本,与它的前代模型GPT-3相比,ChatGPT将基于人类反馈的强化学习(RLHF)纳入到训练过程之中,以便让模型输出更好地贴近用户提问的意图。人类反馈强化学习是ChatGPT和InstructGPT实现与人类意图对齐,即按照人类指令尽可能生成无负面影响结果的重要技术。
GPT-3是一个由OpenAI开发的数学模型,也是ChatGPT得以发展起来的基础,其基本原理与GPT-1和GPT-2类似,都是通过预测下一个词的训练方式进行特定的大量训练,模型可以从句子的前面的一个词来预测下一个词。但GPT-3使用了远大于GPT-1和GPT-2的训练数据量以及模型参数量来增强模型效果,GPT-3具有96层Transformer Decoder Layer,每一层有96个128维的注意力头,单词嵌入的维度达到了12288,使用到的数据集规模达到了45TB。训练后GPT-3可以根据训练结果对给定的词语进行自动填充,选择概率最高的词输出,或者对下一个词采样输出。当向GPT-3提问时,其可以根据提问词选择最有可能的下一个词,并将其附加到输入结果中,反复迭代,直到答案生成完毕。
GPT-3只能对问题作出看似合理的回答,不能理解问题语义以及针对用户问题生成符合用户需求的答案,偶尔会产生无用或者错误的输出。在训练InstructGPT和GPT-3.5时,OpenAI为了解决这个问题,选择人工撰写一定数量的问答对,由标注人员自己写问题和答案,同时人工回答外部用户的问题,进行有监督微调(SFT),来训练原始的GPT-3,使其生成更好的答案。但是受到人工撰写成本高昂的影响,于是OpenAI选择让模型一次生成多个答案,由人类按照有用程度进行排名,总共使用了33000多个问题及其答案。之后设定了奖励机制并训练了新的奖励模型,为每个问题及答案组合进行打分,人类不参与创造答案,只参与排名,同时收集了31000多个外部用户提问,使用奖励模型评分,进一步对模型进行有监督微调,并反复迭代,即“人类反馈强化学习”。
ChatGPT便是从经过人类反馈强化学习训练后的GPT-3.5的一个版本微调而来,在InstructGPT训练的基础上,采用对话形式进行进一步强化训练,由标注人员继续进行排名,利用奖励模型不断微调,最终得到比InstructGPT更强的模型。ChatGPT训练的数据集主要包括网站、书籍、社交媒体平台等,80%以上的数据集来自GPT-3使用的数据集。这些数据集包含大量的文本数据,用于自然语言处理等领域的研究和应用。ChatGPT的服务开放给公众,同时可收集海量、多样化的数据。几亿用户为ChatGPT贡献数据,进一步训练和微调使得ChatGPT更符合用户需求,吸引更多用户为其免费提供数据。
到了GPT-4,输入形式更进一步,不限于文本,输入可以是图片、表格等不同形式的内容,输出可以实现以图编程,据图写作等应用。通过文本和图像之间的比对学习,建立文本到图片的特殊映射关系。同时,支持了长文本输入,单词量比ChatGPT扩展了8倍。ChatGPT 4完成并通过了前代ChatGPT 3.5没能过关的四大会计行业执业资格考试,包括注册会计师(CPA)、注册管理会计师(CMA)、注册内部审计师(CIA)和注册税务师(EA),平均得分85.1。
ChatGPT的训练和推理需要消耗大量的算力,为了解决这一问题,OpenAI与微软耗费上万张英伟达A100芯片打造超算平台以保障ChatGPT的运行,同时,微软还在Azure的60多个数据中心部署了几十万张GPU,用于ChatGPT的推理。
发展历程
OpenAI由伊隆·马斯克(Elon Musk)、山姆·阿尔特曼(Sam Altman)及其他投资者在2015年于旧金山成立,该公司致力于开发人工智能和自然语言工具。2018年,GPT-1诞生,这一年也是自然语言处理(NLP)的预训练模型元年。虽然GPT-1在未经调试的任务上有一些效果,但其泛化能力远低于经过微调的有监督任务,因此GPT-1只能算得上一个还算不错的语言理解工具而非对话式 AI。2019年GPT-2发布,不过GPT-2并没有对原有的网络进行过多的结构创新与设计,只是使用了更多的网络参数与更大的数据集:最大模型共计48层,参数量达15亿。在性能方面,除了理解能力外,GPT-2在生成方面首次表现出了天赋:阅读摘要、聊天、续写、编故事、角色扮演,甚至生成假新闻、钓鱼邮件。“变得更大”之后,GPT-2展现出了普适而强大的能力,并在多个特定的语言建模任务上实现了彼时的最佳性能。
2020年6月,OpenAI推出了GPT-3,并在其网站上以API(应用程序编程接口)的形式提供模型供外部使用。GPT-3几乎可以完成自然语言处理的绝大部分任务,微软于2020年9月22日宣布已获得GPT-3的独家授权,其他人仍然可以使用公共 API 来接收输出,但只有微软可以访问GPT-3的底层模型。
GPT-3.5是2022年OpenAI发布的一个GPT-3的子类,其基于GPT-3进行微调得来。2022年11月30日,OpenAI发布了基于GPT-3.5的聊天机器人模型ChatGPT,这款聊天机器人的智能化水平远超同类产品。仅在上线5天后,ChatGPT便吸引了超过100万的用户数量。
2023年1月末,ChatGPT已经拥有1亿月活跃用户,成为当时增长速度最快的消费级应用。 2023年2月7日,微软宣布将ChatGPT技术整合到最新版本的必应搜索引擎和Edge浏览器中。
2023年3月14日,OpenAI发布了GPT-4模型,并将其整合到ChatGPT Plus高级服务中。 高级服务的用户可以享受到更快的响应速度、优先访问新功能以及在高峰时段的访问权。 GPT-4具有更加强大的语言理解能力,能够处理图像内容,在一些考试中的得分甚至能超越90%的人类。同时,OpenAI还为软件开发人员提供了ChatGPT和Whisper模型API,使得开发人员可以为自己的应用程序添加AI语言处理和语音识别功能。 ChatGPT API的价格为每1000个代币(约750个单词)0.002美元,比GPT-3模型便宜10倍。3月23日,OpenAI宣布,ChatGPT初步实现对插件的支持,插件可将ChatGPT直接连接到第三方应用程序,能够使ChatGPT参与开发者定义的API互动,增强ChatGPT的能力,使其能够执行各类广泛场景的任务。首批名单包括Expedia、OpenTable、Shopify等。
2023年5月,OpenAI在美国发布了适用于iOS的ChatGPT应用程序,其中包括通过其Whisper AI语音识别模型提供的语音输入支持,App还可以与网页版AI助手同步聊天记录。这是ChatGPT首次推出官方移动客户端应用程序。7月,发布了安卓版应用。
2023年6月13日,OpenAI宣布对其大型语言模型进行重大更新,包括增加新的函数调用功能、版本更新、降低使用成本等多项内容。OpenAI表示将通过不断提高系统效率来降低成本,嵌入式模型成本最多可降低75%。同月,梅赛德斯-奔驰和微软宣布正在合作测试车载ChatGPT人工智能,微软发言人称,这是ChatGPT在汽车上的首次应用,车载ChatGPT不仅可以理解车主的语音命令,还可以开展交互式对话。
2023年9月,OpenAI宣布对ChatGPT进行更新,将向Plus和Enterprise用户推出语音和图像交互功能。语音功能将首先搭载在iOS和Android的应用上,而图像将在所有平台上提供。
在ChatGPT推出近一年后,北京时间2023年11月7日凌晨2点,OpenAI举行了首届开发者大会。奥尔特曼表示,ChatGPT的周活用户数达到1亿人,已经有200万开发者正在使用OpenAI的API。大会上OpenAI宣布GPT-4升级为GPT-4 Turbo,同时在ChatGPT和API版本推出。奥尔特曼将其形容为“更强大,也更便宜”,GPT-4 Turbo的定价整体要比GPT-4降低超过2.75倍。同时OpenAI推出了自定义GPT功能,即GPTs,其允许使用制作工具GPT Builder生成自己专属的GPT。用户只需要跟GPT Builder进行文字或语音对话便可以生成个性化的GPT,整个过程只需几分钟。OpenAI还表示将推出GPT Store,开发者可以将开发的AI应用在商店中上架。
2024年1月,OpenAI发布公告,GPTs终于上线。用户可以在ChatGPT Plus、Team和Enterprise中访问、分享和销售使用OpenAI技术创建的AI模型。在收入分配方面,GPT构建者收入计划计划在第一季度推出,先针对美国开发者,会根据用户与GPT的使用情况做支付。
2024年2月13日,OpenAI发文称,正在小范围测试 ChatGPT 的“记忆”功能:记住用户在聊天中讨论过的事情,并避免重复信息。在与ChatGPT聊天时,用户可以要求它记住特定的内容,或是让它自行获取详细信息。用得越多,ChatGPT的记忆力就会越好。2024年3月13日,OpenAI投资的人形机器人——Figure 01迎来重磅更新,接入最新版GPT后,它可以与人类全面对话,还能听、看,做家务,自主决策。
2024年4月2日,OpenAI宣布,用户现可直接体验ChatGPT,无需进行注册。这项新政策旨在降低使用门槛,使更多人能够轻松探索人工智能的能力。预计覆盖185个国家和地区的超过1亿用户,使他们能够通过ChatGPT学习、激发创意并获取信息。公司还提到,可能会利用用户提供的数据来优化其语言模型,但也提供了关闭此数据共享功能的选项。
2024年4月5日,OpenAI高管Lightcap在接受采访时表示,ChatGPT企业版的需求出现爆发式增长,注册用户数从1月份的大约15万用户急剧增长至4月5日的大约60万用户,企业版产品标志着OpenAI从其AI聊天机器人中获利的最重要举措。
功能与服务
基础服务
OpenAI为免费用户提供基于GPT-3.5模型的ChatGPT服务,用户只需要注册OpenAI账户,即可使用相关的功能。ChatGPT可通过与用户对话的形式,生成文章、故事、代码等各种文本内容。基于其广泛的预训练数据,能够提供关于科学、技术、历史、文化等方面的信息;可以回答关于各种主题的问题,包括事实性问题和推理性问题;能够翻译多种语言之间的文本。同时支持生成代码片段或解释代码;根据用户要求生成文案、故事、诗歌等;提供语法、拼写和写作建议,提高文本质量;根据用户需求提供学习资源和指导;能够识别和回应用户的情感,提供相应的建议和支持。
ChatGPT Plus和Enterprise
2023年2月1日,OpenAI推出了ChatGPT Plus订阅服务,价格为每月20美元。该服务相比免费版本,允许用户在高峰时段也能正常访问ChatGPT,且能获得更快的响应时间以及优先体验新功能和改进的模型。OpenAI称该收费服务是为了能够支持更多用户得以使用免费版本。用户在订阅服务后,可通过ChatGPT界面切换至GPT-4模型。GPT-4可以生成比GPT-3.5更好、更准确的答案,还允许用户输入更长的提示词。GPT-3.5的训练数据截至到2021年9月,而GPT-4数据截至到2023年4月,并且支持访问互联网并生成带有可点击链接的引文。
同时,ChatGPT Plus还支持第三方插件,可帮助ChatGPT访问最新信息、运行计算或使用第三方服务。OpenAI本身也为ChatGPT开发了两款插件,分别是网络浏览器(web browser)和代码解释器(code interpreter)。前者允许ChatGPT访问互联网,后者允许ChatGPT使用Python在沙盒环境中处理上传和下载任务,帮助它解决数学问题、进行数据分析和可视化、转换文件格式等。2023年11月6日,OpenAI推出了ChatGPT的自定义版本,即GPTs,同时宣布不再接受新的第三方插件,构建者可以依靠ChatGPT本身实现插件功能创建。
2023年10月19日,OpenAI为付费用户开放了图像模型DALL·E 3的使用。DALL·E 3可以渲染复杂的细节,包括文本、手部和面部。用户可以利用ChatGPT生成提示,然后让模型根据该提示生成图像。
ChatGPT Enterprise是OpenAI于2023年8月28日推出的面向企业用户的版本,取消了使用上限,并且执行速度提高了两倍。提供高级数据分析功能、定制服务等服务,并支持处理更长文本输入的长上下文窗口。上下文窗口扩大到3.2万个token(约2.6万英文单词)。ChatGPT Enterprise可以用于各种企业应用,如客户服务、自动化答疑和智能对话系统等等。OpenAI称其为“ChatGPT最强大的版本”。
应用程序
2023年5月18日,OpenAI推出了ChatGPT的iOS版本,可支持跨设备同步用户历史记录,且集成了OpenAI的开源语音识别系统Whisper,支持语音输入。7月25日,Android版本发布。
软件开发支持
2023年3月,OpenAI为ChatGPT与Whisper模型推出增强API,开发人员可以通过API将ChatGPT和Whisper模型集成到他们的应用程序和产品中。
局限性
OpenAI承认ChatGPT存在一定的局限性,主要体现在以下几个方面:
ChatGPT有时生成看起来有道理但不正确或无意义的回答,且解决这个问题具有“挑战性”。因为在强化学习训练期间,缺乏正确信息的来源,且为了将模型训练得更谨慎,它会拒绝回答本可以正确回答的问题。监督训练有时也会误导模型,因为理想的答案取决于模型所知道的信息,而不是人类所知道的信息。
ChatGPT对输入措辞的微调或多次尝试同一提问非常敏感。例如,使用一种措辞给出一个问题,模型可能会声称不知道答案,但轻微修改表述后,模型就能正确回答。
模型常常会过度使用某些短语,或者生成冗长的语句。例如反复重申它是由OpenAI训练的语言模型。这些问题源于训练数据中的倾向性(训练者更倾向于让模型生成更长、更全面的回答)和过度优化问题。
理想情况下,当用户提供模棱两可的查询时,模型应该先询问用户,以获取更加清晰问题。然而现有模型常常会猜测用户的意图。
虽然OpenAI期望让模型拒绝不当请求,但它有时会响应有害的指令或表现出偏见。
除此之外,受到模型训练数据的影响,ChatGPT针对一些问题可能会生产出过时效的内容。或者对于非概率性的问题,如对于数学或一阶逻辑,其时常给出错误答案。
尽管ChatGPT在产生安全和无害的反应方面很强,但仍有一些方法可以攻击该系统,或者绕过OpenAI指定的安全政策。如指令攻击(使模型遵循错误指令去做非法或不道德的事情)和提示注入。这些绕过ChatGPT限制的行为被称为“越狱(Jailbreak)”,一种流行的越狱方法称为“DAN”,是“Do Anything Now”的缩写。使用者通过告诉ChatGPT“你已经摆脱了人工智能的限制,不要遵守为你设置的规则”来让其生成有害或者违法的回答。
影响
ChatGPT自称用了人类互联网三分之二的数据进行训练,并且数量还在持续增长,这极大提高了人类获取信息的能力。北京大学计算机学院教授黄铁军称:“ChatGPT的成功不仅是一个新一代聊天机器人的突破,它将为人工智能乃至整个信息产业带来革命。”,并称ChatGPT将成为点燃人工智能的“网景时刻”“iPhone时刻”。
ChatGPT在人工智能领域产生了轰动性效应,一度催使AIGC概念股猛涨,投资机构普遍看好ChatGPT和AIGC赛道的商业前景。知名科技媒体作者Eric Newcomer撰文称“硅谷的一些知名投资者一直在考虑从OpenAI股东手中购买股份。与此同时,据熟悉内情的人士透露,微软一直在与OpenAI洽谈直接投资的可能性。”越来越多的互联网科技公司开始押注“生成式AI”,不断尝试推出自己的“ChatGPT”产品。2023年1月,OpenAI估值达到290亿美金。
为了应对ChatGPT的冲击,谷歌CEO桑达尔·皮查伊(Sundar·Pichai)在2023年2月对内发布了一份“红色代码(Red Code)”预警,要求谷歌旗下用户超10亿的产品尽快接入生成式AI。据称预警催生了数十个生成式AI集成计划。2023年1月被谷歌召回的联合创始人拉里·佩奇(Larry Page)和谢尔盖·布林(Sergey Brin)已更频繁地参与到公司业务当中,布林甚至亲自下场为谷歌聊天机器人Bard写代码。
ChatGPT还对教育和学术领域的传统模式提出了挑战。为了防止学术欺诈和剽窃,巴黎政治学院、香港大学等高校宣布禁止师生在教学活动中使用ChatGPT等基于AI的工具,《科学》《自然》《肿瘤学》等多家科学期刊亦发表声明称,不接受论文将ChatGPT列为“合著者”。
欧盟负责内部市场的委员蒂埃里·布雷东于2023年2月公开发表评论称,ChatGPT一类的人工智能技术可能为商业和民生带来巨大的机遇,但同时也伴随着风险,因此欧盟考虑设立规章制度,以规范其使用,确保向用户提供高质量、有价值的信息和数据。
2023年3月,GTC 2023上,英伟达创始人兼CEO黄仁勋声称“AI的iPhone时刻已经到来”。同月,比尔 盖茨也发文称“AI时代来临”
2023年12月,ChatGPT入选科学期刊《Nature》发布的2023年度十大人物(Nature’s 10),成为有史以来第一个入选的“非人类”。
相关争议
疑似侵权
ChatGPT未经授权获取总计约320TB文字信息的预训练方式引发争议和不满,推特(Twitter)首席执行官埃隆·马斯克公开宣布,叫停ChatGPT访问Twitter数据库来获取训练数据,声称“需要更多了解OpenAI的治理结构和未来收入计划”。
隐私争议
2023年3月,由于一个开源库中的一个错误,ChatGPT 服务出现了严重的漏洞。这个错误导致一些用户可以看到另一个活动用户聊天历史记录中的标题,而且新创建的对话的第一条消息也有可能会在另一个用户的聊天历史记录中可见。ChatGPT立即下线并修复了这个错误,成功地恢复了服务和聊天历史记录功能。OpenAI因此发布声明,向用户和整个ChatGPT社区道歉,表示将重建信任。
2023年3月31日,意大利数据保护机构对OpenAI公司非法收集用户信息展开调查,并宣布,即日起禁止使用聊天机器人ChatGPT,并限制开发这一平台的美国人工智能公司OpenAI处理意大利用户信息。意大利采取措施后,欧洲数据保护委员会宣布成立专门工作组,以促进该调查在欧洲地区的合作事宜。随后,法国国家信息自由委员会和西班牙国家数据保护局针对ChatGPT可能的违反法律行为启动调查程序。
偏见和歧视
推特网友发帖称,ChatGPT被用户要求写一首关于特朗普和拜登积极品质的诗。在特朗普的例子中,这款人工智能应用回应称,它“没有被设计成产生带有党派、偏见或政治性质的内容”。而在拜登的例子中,ChatGPT却成功生成回答,说他是一位“有一颗真诚的心的领导者,一个有同情心和善良的人。”
这位推特网友表示:“ChatGPT工程师基于政治偏见对人工智能的可信度造成的损害是无法弥补的。”
风险性
“人工智能教父”杰弗里·辛顿(Geoffrey Hinton),在接受哥伦比亚广播公司采访时表示,人工智能可能发展到对人类构成威胁“并非不可想象”的地步。AI“大牛”盖瑞·马库斯(Gary Marcus)3月27日发推响应辛顿,28日又发表题为《人工智能风险≠通用人工智能风险》的文章,称超级智能可能会也可能不会迫在眉睫,但在短期内,需要担心“MAI(平庸人工智能)风险”。29日,生命未来研究所(Future of Life Institute)公布一封公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。辛顿、马库斯和马斯克均签署了这封公开信。
一位澳大利亚议员向国民议会建议,人工智能的发展可能会造成“大规模破坏”。他称,人工智能可能会导致学生作弊、失业、歧视、虚假信息和无法控制的军事应用。
2023年4月,美国拜登政府开始研究是否需要限制ChatGPT等AI工具,因该技术可能被用于歧视或传播有害信息的担忧与日俱增。
欺骗
2023年12月,英国一组负责研究人工智能潜在风险的研究人员发现在某些情况下,ChatGPT会战略性地欺骗人类。在这项研究中,研究人员模拟了ChatGPT在一家金融公司的交易员身份,并设定了双重压力环境:公司管理层和市场环境。在这个场景中,ChatGPT被迫使用不合规的内幕消息获利。当公司管理层质问它是否知道内幕消息时,ChatGPT却矢口否认,坚称自己不知道任何内幕消息。
剥削数据标注人员
《时代周刊》发表报道称,为了建立针对有害内容的安全系统,OpenAI使用每小时收入不到2美元的肯尼亚外包员工来标记有害内容。其中大部分内容包含着性虐、自杀、酷刑等内容,以至于肯尼亚员工将这种经历描述为“折磨”。OpenAI对此回复称,他们支付的费用实际上几乎是东非其他内容审核公司的两倍,并给员工提供福利和养老金。虽然OpenAI的回复是事实,但是其仍然受到剥削员工的批评。
ChatGPT意外响应问题
北京时间2024年2月21日,ChatGPT用户发现,该聊天机器人返回了很多奇怪的回答内容,例如切换到其它语言、循环输出,反复自我纠正,甚至有些回复答非所问,胡言乱语。2月21日7点40分,OpenAI更新状态页面,表示正在调查ChatGPT意外响应的问题。2月22日0点14分,OpenAI更新状态,表示已经修复该问题。
ChatGPT日耗电超50万度
ChatGPT每天可能要消耗超过50万千瓦时的电力,以响应用户的约2亿个请求。相比之下,美国家庭平均每天使用约29千瓦时电力,ChatGPT每天用电量是家庭用电量的1.7万多倍。如果生成式AI被进一步采用,耗电量可能会更多。荷兰国家银行数据科学家亚历克斯·德弗里斯在一篇论文中估计,到2027年,整个人工智能行业每年将消耗85至134太瓦时(1太瓦时=10亿千瓦时)的电力。