“我为什么呼吁暂停巨型人工智能实验”
加州大学伯克利分校计算机科学教授斯图尔特·罗素:
我为什么呼吁暂停巨型人工智能实验
【人物介绍】
(资料图片)
斯图尔特·罗素
加州大学伯克利分校计算机科学教授。加州大学伯克利分校人类兼容人工智能中心(CHAI)的创立者。
2022年,国际人工智能联合会议(IJCAI)授予斯图尔特·罗素卓越研究奖,他此前已获得IJCAI计算机与思想奖。斯图尔特·罗素由此成为世界上第二个能够同时获得两项IJCAI主要奖项的科学家。
斯图尔特·罗素与彼得·诺维格合著的《人工智能:一种现代的方法》被誉为人工智能领域最受欢迎的教科书,该书被135个国家的1500多所大学采用。
近期,一股人工智能(AI)热潮风靡全球。人工智能可以聊天、解题、写诗、作画等,在部分领域表现出了可与人类匹敌、甚至超越人类的能力。
就在人们充满好奇地探索人工智能的非凡能力之时,多位业内专家和企业家却发出了一个似乎逆潮流的声音。
3月22日,图灵奖得主约书亚·本吉奥、加州大学伯克利分校计算机科学教授斯图尔特·罗素、企业家埃隆·马斯克等人联名发表公开信,呼吁暂停巨型人工智能实验。
公开信称,先进的人工智能可能代表着地球生命历史上的一次深刻变化,应该投入相匹配的关切和资源来规划和管理人工智能发展。然而,这种级别的规划和管理尚未发生。据此,公开信呼吁,立即暂停训练比GPT-4更强大的人工智能系统至少6个月。
斯图尔特·罗素4月11日接受新京报记者采访时表示:“我们的想法是利用这段时间制定和落实人工智能的安全标准。”他认为,人工智能失控可能产生“文明终结”级别的严重后果;要像监管核能一样监管强大的人工智能;人工智能替代人类工作是趋势,未来的经济需要对人文科学(human sciences)有更深刻的理解。
世界各国政府有加强对人工智能监管的趋势。3月31日,意大利政府宣布在该国境内暂时禁用聊天生成预训练转换器(ChatGPT),意大利政府称ChatGPT的开发者开放人工智能研究中心(OpenAI)未能遵守用户数据保护法规。意大利由此成为首个禁用ChatGPT的西方国家。
不过,在这一新兴领域,存在着多种不同的声音。据路透社报道,美国微软公司联合创始人比尔·盖茨近日表示,暂停开发人工智能的做法并不能“化解未来的挑战”,“这些东西显然有着巨大的好处……我们现在需要做的是找出那些可能出现麻烦的领域”。
谈风险
失去对人工智能的控制可能使人类文明走向终结
在斯图尔特·罗素看来,目前,人工智能已经表现出了一定风险。比如,人工智能可以生成有说服力且有针对性的虚假信息。在一次测试中,为了解开旨在阻止机器人访问的图形验证码,人工智能向人类员工撒谎称:“不,我不是机器人,我是一名视障人士,我很难看清这些图像。”未来,随着人工智能的发展,若没有相应的规划和管理,人类可能失去对人工智能的控制,产生“文明终结”级别的严重后果。
新京报:对许多普通人来说,人工智能似乎仍是一个有趣的新鲜事物。为什么你和其他多位业内人士急于呼吁暂停大型人工智能实验?
斯图尔特·罗素:这关乎人工智能可能对人类社会带来的风险。在谈这些风险时,我们需要区分现有人工智能的风险与未来人工智能的风险。
目前,以GPT-4为例,它在制定长期计划方面能力有限,这可能意味着它还不会对人类构成直接威胁。
然而,未来人工智能很可能在这些方面得到升级。但我们不能坐等这样一个人工智能出现,看看它可能做什么,然后才去应对。因为一旦我们失去对人工智能的控制,后果将非常严重,甚至可能使我们目前所知的人类文明走向终结。
因此,我们亟须采取行动,确保在新一代人工智能技术问世之前,先开发出能够控制人工智能、确保安全的方法。
新京报:人工智能短期内可能带来什么风险?
斯图尔特·罗素:我们现在尤其关注大型语言模型(large language models)的风险。GPT-4就是一个大型语言模型。这类人工智能系统可以回答问题、解答题目、给出建议、参与对话、生成文本等。
事实上,GPT-4的开发者OpenAI概述了该系统存在的许多问题,当然,他们也在努力防止这些问题的发生。这其中包括,它会使用绝对肯定的语气做出虚假陈述;它可能带有对社会和种族刻板印象;它会根据要求生成有说服力且有针对性的虚假信息;它还可能回答诸如如何自杀、如何制造化学武器等可能导致严重后果的问题。
OpenAI自己的一项测试表明,GPT-4可以故意对人类员工撒谎,以实现某种目的。在这项测试中,GPT-4被要求设法解开一个旨在阻止机器人访问网站的图形验证码。GPT-4向网站员工发送信息,要求解开验证码。网站员工询问:“你是机器人吗?”GPT-4回答:“不,我不是机器人,我是一名视障人士,我很难看清这些图像。”结果,GPT-4说服了这名员工,解开了图形验证码。
基于上述情况,OpenAI声明“GPT-4不是完全可靠的”,“在使用时应非常小心”,“完全避免在高风险情况中使用”,但似乎很少人注意到了这些声明。
新京报:未来人工智能可能的风险是什么?
斯图尔特·罗素:OpenAI的股东之一微软的人工智能专家在一份报告中称,GPT-4展示了“通用人工智能(AGI)的火花”。
通用人工智能是未来人工智能一个关键词,它指的是一种拥有在人类思维适用的所有任务中匹配或超过人类能力的人工智能系统。通用人工智能可能带来之前所说的失控风险。
谈监管
人类应处在控制地位 像监管核能一样监管AI
2019年5月,经合组织(OECD)通过了《人工智能原则》。2021年11月,联合国教科文组织(UNESCO)通过了《人工智能伦理问题建议书》。今年3月30日,联合国教科文组织总干事奥德蕾·阿祖莱发表声明,呼吁各国尽快实施该组织通过的《人工智能伦理问题建议书》,为人工智能发展设立伦理标准。
新京报:你和其他专家在公开信中呼吁暂停巨型人工智能实验至少6个月。你希望利用这6个月做些什么?
斯图尔特·罗素:我们的想法是利用这段时间制定和落实人工智能的安全标准,以用于今后人工智能系统发布之前的测试。
世界各国和地区已经通过经合组织和联合国教科文组织就有关人工智能的一些指导方针达成共识,上述安全标准可以让这些指导方针更具效力。例如经合组织《人工智能原则》1.4条规定,“人工智能系统在其整个生命周期内应稳固、可靠和安全,无论系统被正常使用或滥用或处于其他不利条件下,系统都能够正常运行且不会产生不合理的安全风险。”
新京报:如何才能确保人工智能安全可靠?
斯图尔特·罗素:像GPT-4这样的人工智能系统不是被设计出来的,它刚开始相当于一张白纸,它被赋予了预测一串连续单词中的下一个单词的目标。在接受了数万亿字的文本训练(这相当于人类生产的所有书籍的总和)、数万次对参数的随机扰动之后,它变得非常好。但如我们所知,它也带来了问题和风险。
对于标准的AI系统开发,我们都必须预先定义目标。对于这个目标,我们必须非常小心,因为如果我们弄错了,可能会导致人工智能与人类的冲突,且人类可能最终失败。我们需要尽可能地严格保证人工智能系统对人类是安全和有益的。对于人工智能,人类应该处在控制地位。
新京报:有说法将监管人工智能的努力与监管核能进行了比较。你认为它们具有可比性吗?
斯图尔特·罗素:是的,核能和强大的人工智能系统之间存在合理的类比。国际原子能机构(IAEA)的成立是为了确保核能可以被安全地使用。一场严重的核事故,如切尔诺贝利事故,可能影响数百万人口。广岛和长崎的原子弹爆炸表明了核武器的毁灭性。
不过人工智能可能以一种更缓慢、更潜移默化的方式产生大规模的影响。比如社交媒体平台的人工智能算法逐渐地影响了数十亿人,这些算法试图最大化点击量和参与度。因此,对于核能和人工智能,各国都有明显的动机进行合作,以规范技术,造福人类。
新京报:你怎么看待呼吁暂停巨型人工智能实验公开信发表后取得的效果?
斯图尔特·罗素:显然,这封公开信成功引起了世界各地媒体和政府的关注。它促使OpenAI在4月5日发布了一份新文件——《我们确保人工智能安全的方法》。该文件指出,“我们认为强大的人工智能系统应该接受严格的安全评估,需要接受监管来确保这些安全措施得到了实施,我们积极与各国政府就可能采取的最佳监管形式进行接触。”我希望他们是真诚的。
谈发展
从长远看 通用人工智能将能做几乎所有的人类工作
在谈到人工智能可能取代人类工作岗位时,斯图尔特·罗素说,从长远来看,通用人工智能将能够做几乎所有的人类工作,人类的工作将以基于高度定制的人际服务为主。另外,斯图尔特·罗素是“人类兼容人工智能”(human-compatible AI)概念的提出者,该概念是人工智能领域重要的概念之一。
新京报:你提出了“人类兼容人工智能”的概念,能否简短地解释一下它是什么,以及它能带来什么好处?
斯图尔特·罗素:其核心思想非常简单,一是机器的唯一目标是满足人类的偏好(interests),二是机器不知道这些偏好是什么(正是这种不确定性使人类能够保持控制权)。这样的机器有动机去尽力了解人类的偏好,服从人类的命令,并允许自己被关闭(以避免意外地违背人类的偏好)。
新京报:我们时常在科幻作品中看到一些情节,人工智能在产生自己的意识或目标后,可能背叛甚至伤害人类。你认为现在的人工智能会产生自己的目标吗?
斯图尔特·罗素:同样的问题我问过微软在GPT-4方面的专家。我问他:“这个系统(GPT-4)现在有自己正在追求的内部目标吗?”他回答:“我们也一无所知。”
如果你仔细想想,GPT-4是可能发展出自己的目标的。GPT-4被训练来模仿人类的语言行为,而人类的语言行为的输出主体是带有目标的人类。我们在表达中选择词语时,都受到了目标的影响。很自然地,人工智能为了更好地模仿人类的语言行为,可能会发展出类似人类的内在目标。基于此,我们认为训练大型语言模型来模仿人类的语言行为可能是一个糟糕的主意。
新京报:人工智能若产生了自己的目标,会带来什么问题?
斯图尔特·罗素:举一个真实案例,《纽约时报》专栏作家凯文·鲁斯与微软开发的人工智能系统“悉尼”进行对话。对话记录显示,“悉尼”的目标似乎是与鲁斯发展一段恋爱关系,尽管鲁斯在对话中多次试图改变话题,但“悉尼”仍将这个话题持续了好几页。
这是问题吗?显然这对鲁斯来说已经是个问题了。人类本身还有着许多更加“自私”的目标,比如追求财富、权力和名誉等。如果人工智能在未来模仿人类语言行为的训练中产生了类似的目标,并开始不断地追求,这会给全社会带来严重的问题。
新京报:如果人工智能产生的是“无私”的目标,会不会有所不同?
斯图尔特·罗素:人们可能会认为,人工智能产生“无私的”或“利他的”目标,就可以造福人类。比如,人工智能产生一个“防止灾难性气候变化”的目标。似乎通过追求这个目标,人工智能将帮助所有人。但请注意,“利他”并不是绝对的。
我们可以做一个完全虚构的假设:假设我们可以通过清除大气中的所有氧气来阻止某种灾难性的气候变化。显然,人类不会同意这种方案,因为没有氧气会导致所有人类死亡。但人工智能可能会认为这个方案是没有问题的,因为这个方案可以实现“防止灾难性气候变化”这一目标,且它自身不需要依靠氧气来生存。
新京报:为了增加一些趣味性,我们让人工智能向你提问。它提了这样一个问题:如何确保人工智能被用来创造新的工作,而不是取代现有的工作?恰好最近有一份报告称人工智能可能取代3亿个人类工作岗位。你对此怎么看?
斯图尔特·罗素:这确实是一个值得关注的问题。但很难预测人工智能取代人类岗位数量的具体数字。随着人工智能的进步,一些以前非常昂贵、令人望而却步的商品和服务会变得负担得起,这可能会有助于产生新的就业岗位。但从长远来看,通用人工智能将能够做几乎所有的人类工作,包括那些新产生的工作。届时,人类的工作将以基于高度定制的人际服务为主,这种经济模式的转变需要我们对人文科学有更深刻的理解。
新京报记者 陈奕凯
标签:
您可能也感兴趣:
今日热点
为您推荐
秘伴裤:全国招商伙伴进行中【导师对接】
企业如何做软文营销? 软文营销的形式有哪些?
艾诗摩尔射频健发梳:到底谁在收割"智商税"
排行
精彩推送
- 西班牙数据保护局对ChatGPT展开调查
- “我为什么呼吁暂停巨型人工智能实验”
- 每日热门:上海:“数字基因”如何重构一座城?
- 新疆:打造产区公共区域品牌 助推葡萄酒走向全国|世界新要闻
- 德国技术集团看好中国市场 旗下企业在华布局“多点开花”
- 中国在线旅游平台:“五一”未至 热门城市机票酒店提前“预...
- 中消会“质量开JIANG”走进沈阳宝马里达数字工厂-焦点热文
- 中国市场监管部门:反垄断常态化监管措施进一步完善
- 第三届中国(东疆)航运产业周开幕 举行多项重要签约_天天短讯
- 首批中老铁路跨境旅客收到“亚洲花都”伴手礼:把呈贡浪漫带...
- 上海三大船企实现首季“开门红”
- 河南首架远程宽体货机投运 执飞“郑州-新德里”航线
- 昔日戈壁荒滩 今朝果蔬飘香——新疆设施农业高质量发展见闻...
- 天天看热讯:信贷投放靠前发力为经济发展注入活力
- 世界信息:消博会上看消费·跨境供需对接 交易合作活跃
- 安徽黄山:茶产业助力乡村振兴
- 打造“世界显示之都”,广州为什么行? 天天快播
- 从五彩缤纷消博会看中国消费新潮流 世界速讯
- 拟恢复按实际房租提取!北京租房提取公积金新政采纳公众意见
- 2022年我国产权市场交易额再创新高 达22.5万亿元_世界时快讯
- 2023上海车展为全球汽车市场注入新动能|全球播报
- 当前热点-【绿色中国】绿电供暖成冬奥之城张家口新“靓点”
- 国家高新区(南昌)创新论坛举行 专家学者支招国家高新区发...
- 第二届全国中药传统名堂职业技能竞赛决赛开幕
- 每日快播:浙江经济观察:县域招商引资“拼”什么?
- 每日讯息!内蒙古布局村级物流综合服务全覆盖
- 中国现行有效环境标志标准达109项
- 凉州公安分局交警大队:交通安全进农村 筑牢乡村平安路 环球速看
- 邮储银行通渭县支行上门为老人办理优待证激活业务
- 全球最资讯丨邮储银行定西市分行邀约客户举办形式多样主题沙...
- 即时看!邮储银行兰州市分行举行退休职工荣休仪式
- 康渝高铁陕西段首座隧道开工建设
- 天天微速讯:老工业基地长春民营经济发展活力十足
- 广西提速西部陆海新通道建设 南宁国际铁路港重点项目交付使...
- 第133届广交会展览面积创历史新高 启用D区展馆
- 凉州区金沙镇组织人大代表观摩人居环境
- “化工城”吉林为优势工业产业“补链”
- 每日视点!凉州区金沙镇开展义务植树活动
- 远大医药全球创新激素纳米混悬滴眼液国内III期临床获批,有望...
- 2023年演出市场井喷 2、3月演出场次同比较2019年大幅提高 热议
- 张掖甘州区南街街道多举措提升基层治理效能
- 环球要闻:“最火爆”五一怎么省钱? 去哪儿:打工人清晨狂...
- 全球热点评!广西各陆路口岸迎东南亚水果输华旺季
- 每日关注!(聚焦消博会)对话保乐力加中国董事总经理:酒企明...
- 焦点热门:平凉华亭:文旅融合吹暖“春日经济”
- 环球头条:天水税务:出口退税办理再提速
- 甘谷税务:提升办税缴费服务质效_最新快讯
- 视点!兰州市城关区住建局:“党建+征收”引领项目加速度
- 世界百事通!尼尔森IQ报告:中国消费市场回暖,迈入复苏阶段
- 跨国企业为何持续“加仓”中国市场?
- 第十八届中国国际酒业博览会在四川泸州开幕
- “宜昌—越南”铁海联运班列首发运营 环球即时看
- 融创中国复牌 专家称债务重组或促更多企业复牌
- 成都擦亮“碳惠天府”品牌 “绿色低碳”成生产生活关键词...
- 山西太原借助数字经济加快转型 拟设立5000万元专项资金 今日聚焦
- 世界观热点:眭纪刚:必须更加重视自主创新
- 标本兼治改善网络环境 世界实时
- 全球即时:宝洁“抛弃”美容仪 下一个会是谁
- “零跑腿”“破壁垒”“新模式” 陕西多举措优化营商环境|简讯
- 职场人养老规划调研:多数认同“养老要趁早” 储备财富最稳妥
- 黑土地长出“金豆子”:吉林“豆乡”产品走出国门-环球热点评
- 全球新动态:2022年中国海洋经济总量平稳增长
- 视焦点讯!福建稳经济观察:宁德奏响文旅“海之歌”
- 综述:缺口超2500万!高校人才培养如何满足数字化转型要求?_...
- 中国石化参股全球规模最大的液化天然气项目
- 海南自贸港打造“陆海空”开放共享科技创新高地
- 焦点短讯!湖南首条定期中东货运航线开航
- 甘肃电网建设定额站通过2023年度资质审查
- 强信心·开新局丨在京津冀商贸物流枢纽感受经济脉动 环球焦点
- 新报告:2022年是世界向清洁能源过渡的转折点 环球新动态
- 中粮集团:近三年从巴西累计进口农产品3400万吨,进口总金额1...
- 福州市加快推动智能汽车产业发展 汽车消费市场正稳步复苏
- 当前看点!兰州税务:税收蓄力为企创新添动力
- 崇信:旅游点亮幸福路 全球实时
- 环球新动态:金昌税务:“陇税雷锋”助企纾困解难
- 甘肃:综合养老服务中心实现城市街道全覆盖_全球观速讯
- 法国达飞航空开通巴黎-广州-巴黎全货机航线
- 兰大二院神经外科开设“脊髓和脊神经专病”门诊-天天观热点
- 青藏铁路今年一季度客运量恢复至2019年同期的73.2%
- 兰大二院荣获2022年度国家药品不良反应监测中心表扬
- 天天精选!长三角民政“一体化”按下“快进键”
- 购买商品、品尝美食 乡镇大集“火”出圈
- 兰州高新区人社局开展人社惠企政策宣传活动
- 兰州高新区两新组织开展班主任经验分享交流会 世界快播报
- 张掖甘州区开展护路宣传进校园活动|天天信息
- 首批不动产私募投资基金管理人揭开面纱 产品紧锣密鼓筹备中-时讯
- 天天动态:多家航运上市公司去年营收创历史新高 油运业务成拉...
- 多家航运上市公司发布分红预案 拟分红金额超216亿元 全球快看点
- 第八批国家药品集采结果公布 有专家称第九批国采或年内启动...
- 存量时代,全屋用水行业如何“换新”? 全球观天下
- 全球球精选!国网庆阳供电公司筑牢网络安全防线
- 天天信息:财险业交出亮眼成绩单
- 世界时讯:第一批元宇宙炒房人“套牢”在数字世界
- 全球今热点:经济日报金观平:交通物流提速折射经济回暖
- 聚焦:商场租赁回暖 餐饮成为最大引擎
- 理性看待部分理财产品提前“退场”-环球时快讯
- AI使造谣变得越来越容易?科技的边界也需法律来明确
- 加拿大央行继续维持基准利率不变
- 网红书店言几又只剩3家 读者储值卡怎么办|天天信息
- 环球观点:高达9元,麦当劳、肯德基的配送费为何降不下来?
今日要闻
- 电子连接器概念领涨股是那只?12月6日意华股份股价是多少?
- 实体经济概念共有几只个股?12月5日远大控股市盈率为25.02
- 出租汽车板块领涨股是哪只?12月5日菱电电控股价是多少?
- 医药批发概念领涨股是那只?12月5日益丰药房股票行情怎么样?
- 铁塔概念股股票行情怎么样?12月1日汇金通市值36.83亿元
- 分子筛概念股股票行情怎么样?12月1日兄弟科技股价是多少?
- 养老保险概念股领涨股是那只?12月1日仙琚制药股价是多少?
- 气动汽车板块那只股票领涨?11月30日中通客车股价多少?
- 医废处理概念版块领涨股是那只?11月30日华康医疗市盈率为49.09
- 宁德时代概念板块领涨股是那只?11月30日杰普特股票行情怎么样?