爱吧机器人网 » 技术 > 人工智能 > 正文

OpenAI发布高级语言人工智能模型GPT-2,参数达7.74亿个

OpenAI于8月20日声称,它计划发布新一代GPT-2。GPT-2是一种高级语言人工智能模型,在今年2月发布后引发了社会热烈讨论。此次发布的版本包含7.74亿个参数,参数含量高于此前该组织在2月和5月为部分研究人员开发的版本。

OpenAI同时还公开了一份开源法律协议,为开发大型人工智能模型的公司拟定自己的模型共享协议提供了支持。完整的模型包含大约15亿个参数,目前尚未被发布,不过OpenAI表示,自2月份以来,他们已经与5家复制了该模型的组织进行了交涉。

同日,OpenAI的研究人员和哈佛大学的研究助理Ariel Herbert-Voss在一份白皮书中详细介绍了其对GPT-2的相关研究及其阶段性发布流程。

白皮书中还描述了OpenAI选择延迟发布GPT-2完整版本的原因。

“由于跨维度的性能——比如文本的一致性——会随着模型参数的增加而提高,我们决定不同时发布所有四个GPT-2模型,因为我们担心参数较高的模型会被滥用。以这种方式的发布,我们能够为风险分析留出时间,并从发布低参数的模型中总结经验,来调整对高参数模型采取的行动。”

OpenAI以担心恶意滥用和赝品仿制为理由,在今年2月GPT-2首次亮相时,选择不共享所有版本(共四个)的模型,在一系列任务上取得了优异结果。在训练中,GPT-2使用了40GB的互联网文本。

最初,有些人质疑OpenAI这样做法,他们表示,OpenAI未发布源代码,而这会对缺乏资源复制该模型或其作品的科学家及社会人士构成潜在威胁。

其他人则称这是OpenAI的宣传噱头。OpenAI最近从微软手中获得了10亿美元资金,并在今年3月改变了其非营利性的商业地位。

为了避免信息错误传播,OpenAI与安全专家合作,监控人们对GPT-2的使用,并“对自动检测、潜在偏见和误用进行了内部研究”。

为了继续挖掘潜在误用,以及更安全地发布像GPT-2这样的大型模型,OpenAI与俄勒冈大学、德克萨斯大学奥斯汀分校、米德尔伯里国际问题研究所以及康奈尔大学建立了合作关系。

比起探讨其潜在误用,白皮书讲述了GPT-2灵活运用现有案例的行为,包括帮助作者完成他们的工作、支持软件工程师完成代码自动化、升级聊天机器人以及回答关于健康的问题。

康奈尔大学的研究人员本月早些时候在《外交事务》杂志上发表的一篇分析文章指出,据统计,阅读GPT-2生成文本的人中,超过70%的人认为这些文本就像《纽约时报》的文章一样可信。

白皮书引用了艾伦人工智能研究所和Hugging Face NLP的交错发布方法,作为未来发布大型语言理解模型可能采用的方式。

在一篇附着了法律协议和白皮书链接的博客中,研究人员提出:“我们认为,将分阶段发布的形式和基于合作伙伴关系的模型共享形式相结合,很可能成为人工智能领域有责发布的关键基础,尤其是在大量模型发布的大背景下。”

“随着时间的推移,大型模型带来的固有问题将会增加,而不是减少。我们希望与GPT-2的合作将有助于为此提供证据,让人工智能社区在面对人工智能研究固有的出版挑战时有所借鉴。”

上一篇:每天超50亿推广流量、3亿商品展现,阿里妈妈的推荐技术有多牛?
下一篇:周鸿祎谈人工智能:在网络攻防中只能作为辅助
精选推荐
英国首台月球车是个小型四腿机器人 将于2021年登月
英国首台月球车是个小型四腿机器人 将于2021年登月

[2019-10-12]  探测器将用四条腿探测月球表面,并将数据传回着陆器,后者将把数据传回地球图 詹姆斯温斯皮尔英国即将成为继美国、俄罗斯、中国之后的又一 ...

基于生物启发的机器人很容易适应丢失附属器官
基于生物启发的机器人很容易适应丢失附属器官

[2017-12-17]  很多机器人被设计应用在危险环境,如灾难现场。在这些地方,他们的运动系统完全有可能被损坏。那这样会吓跑这些机器人吗?也许不是,如果它们像日本的东北和北海道大学创造的......

智能机器人困惑的时候知道该问什么问题
智能机器人困惑的时候知道该问什么问题

[2017-03-20]   照片:Nick Dentamaro 布朗大学 上周,我们提到了麻省理工学院的一些研究,即通过链接人的大脑来帮助机器人在他们将要犯错误的时 ...

MIT研制出可以像植物一样生长的机器人
MIT研制出可以像植物一样生长的机器人

[2019-11-09]  麻省理工学院开发了一种新型机器人,这种机器人可以本质上自我延伸,其生长方式与植物幼苗向上生长的方式惊人相似。值得注意的是,研究人员 ...

九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味
九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味

[2019-11-09]  本周,在麻省理工学院10号楼外草坪上展开了一场别开生面的足球比赛。在绿草如茵的基利安球场上,一群由人工智能驱动的机器人就是这场比赛的 ...

一个让深度学习惨败的通用人工智能领域——语境处理
一个让深度学习惨败的通用人工智能领域——语境处理

[2019-11-04]  Context是指用来解释一段给定文本或语句的来源框架,我们可以翻译为上下文或语境。维基百科将context定义为:*在符号学、语言学、社会学和 ...

17世纪的莱布尼茨试图制造“思想机器”却被现实打脸
17世纪的莱布尼茨试图制造“思想机器”却被现实打脸

[2019-11-05]  莱布尼茨,德国哲学家、数学家、律师,历史上少见的通才1666年,德国博学家戈特弗里德·威廉·莱布尼茨(Gottfried Wilhelm Leibniz)发 ...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

本周栏目热点

说一说那些进入日常生活的智能机器人

[1970-01-01]    从《星球大战》里的机器人英雄,到前些年大受欢迎的电影《我,机器人》,无数的科幻作品里都少不了机器人元素,人们将之视为 未来感的 ...

奇点大学:人工智能与“奇点理论”

[1970-01-01]    就在前几天和行业内的几个朋友吃饭时,内容在不经意间又转向了那个老生常谈的话题-到底什么是在智能电视上最好的交互方式上,于是乎五 ...

说客小π情感机器人体验【评测】

[2015-12-29]     前言  随着语音识别技术的发展,声控灯、语音输入法、语音交互等各具特色 ...

Facebook人工智能机器人生成照片以假乱真

[1970-01-01]    无论你是否认为面部识别令人毛骨悚然,很明显全球多家科技公司正在继续投资开发更强大的图像智能技术。  无论是微软的猜年龄机器人, ...

麻省理工智能机器人最新技术 机器手指研究获得突破

[2015-12-27]     麻省理工智能机器人最新消息,今年在研究机器手方面跨出了一大步,现在它又 ...