近日，英伟达CEO黄仁勋与OpenAI联合创始人兼首席科学家Ilya Sutskever进行了一场深度对谈，就AI研究的过去、现阶段大语言模型技术、如何实现安全防护以及未来潜力等话题展开讨论。

Ilya Sutskever是大型语言模型GPT4以及Open AI公开后代ChatGPT的主要负责人之一。在人工智能领域，Ilya Sutskever成就卓越，几乎参与了近年所有“破圈”的AI模型研究。他曾是卷积神经网络AlexNet的主要推动者，后者在2012年以强大的性能震惊了学界，并引发深度学习革命。

黄仁勋与Ilya Sutskever结缘，正是起因于GPU在深度学习的应用。

【资料图】

英伟达在2006年发布了CUDA平台。这既是一个并行计算平台，也是一个编程模型，包含一系列的开发工具。然而该平台仅在高性能计算(HPC)有部分应用，少有人理解其真正价值，唯独黄仁勋坚持对CUDA进行迭代。

好在努力终有回报，外界对CUDA的质疑，在2012年AlexNet出现之后烟消云散。CUDA找到了完美的应用，将AI这块大蛋糕从CPU手中抢了过来。

据Ilya Sutskever回忆，20年前AI研究刚刚起步时，几乎没有人想过计算机可以仿真人类大脑进行深度学习，因此研究并不乐观。“当时我们在多伦多的实验室，同事说我们必须试试GPU，于是开始尝试，但最开始我们也没有完全搞懂它们的真正用途在哪里。”Ilya Sutskever表示。

此后团队发现，随着ImageNet数据集的出现，卷积神经网络是非常适合GPU的模型。GPU可以把它变得非常快，因此能做规模远超以前的训练。

在随后的一次学术竞赛中，Ilya Sutskever与AI先驱Geoff Hinton和Alex Krizhevsky展示的 AlexNet模型识别图像的速度比人类快，远远打破纪录。对此，黄仁勋评价他们当时的工作“震惊了世界”。

过去数月，人工智能和实用化的发展可谓一日千里。2022年11月30日，OpenAI发布聊天机器人ChatGPT，迅速引发全球AI旋风。市场研究机构Similarweb数据显示，2023年1月，ChatGPT独立访问用户达1.015亿，月环比暴增78%。瑞银研报则称，图片社交软件Instagram达到相同用户数耗时2.5年，字节跳动旗下的短视频应用TikTok花了九个月，而ChatGPT只用了两个月。不仅如此，微软、百度、谷歌纷纷发布聊天机器人，参与竞争。

这种现象被黄仁勋形容为“iPhone时刻”，大量应用纷纷涌现，相关公司、风投蠢蠢欲动。

OpenAI继去年底推出ChatGPT后，于3月14日再推加强版的多模态AI模型GPT4.此模型在数学和律师考试等测验中，分数已胜过多数学生，能够识别图像，展现出更好的性能。

GPT4通过更大量的文字和图像进行多模态训练被视为一项重要突破。当黄仁勋问及两代模型的最大差异时，Ilya Sutskever表示，GPT4的可靠度更胜一筹，已不大会用愚蠢的方式回答问题。他对GPT4解读梗的能力感到惊艳，完全知道梗在哪里。

Ilya Sutskever称，人类一生听到的词汇仅有约10亿个或更多一些，加上人类是视觉动物，亲眼看到颜色会更快理解红色比蓝色更接近橙色，因此对AI进行视觉训练可以加速学习并扩大应用。

Ilya Sutskever还表示，GPT4对文本的理解力变强，因此能够更精准预测文本中的下一个单词。以侦探小说为例，书中充满复杂的人物、事件、故事情节，但侦探最后收集所有线索，能推敲出谁是凶手。这就好比GPT4可以从理解大量的文本中去预测出下一个单词。

Ilya Sutskever进一步解释，ChatGPT是一个非常复杂的系统，周边还存在微调、强化学习等配套系统。OpenAI在训练一个大型神经网络来准确预测互联网上许多不同文本中的下一个词时，实际分为两个阶段：

第一阶段学习一切，模型尽可能多地从这个世界的映射中学习知识，也就是文字。“世界由文字映射出来，对下一个文本的预测越准确，还原度越高，在这个过程中得到的世界的分辨率就越高，这就是预训练阶段的作用。”

第二阶段即强化学习，如果想拥有一个真实的、遵循某些规则且有帮助的助手，对模型的微调和额外训练不可或缺，“人类和AI去教导我们的AI模型，不是教它新的知识，而是与它交流，和它传达我们希望它成为什么样。”Ilya Sutskever说，“第二阶段做得越好，这个神经网络就越有用，越可靠。”

黄仁勋提及这似乎代表GPT4已有某种程度的逻辑推理能力时，Ilya Sutskever回应称，GPT4还没有到达可以逻辑推理的水平，团队会持续提升模型技能，但无法保证能达到多高的推理能力。

黄仁勋好奇OpenAI应该如何为ChatGPT设置边界，使其足够安全。Ilya Sutskever说，现在AI语言模型还会产生幻想，犯下人类不会犯的错误，必须通过更多研究才能加强可靠性，也就是当ChatGPT收到压根没听过的知识时能够问清楚不确定的地方，并且不会回复它所不知道的答案，“这是当前遇到的瓶颈。”

当问及“你想让一个神经网络总结长文档或获取摘要，如何确定重要的细节没有被忽视？”，Ilya Sutskever反称，“如果一个要点显然重要到每个读者都会对此达成一致，那么就可以承认神经网络总结的内容是可靠的。”

Ilya Sutskever认为，只有提高模型保真度和可信度，才能设定精确的AI安全护栏，使这些AI模型遵循用户预期的指令，不要偏离边界。这也是未来两年要提升的重要技术，如此一来AI才能被信赖，达到真正可用的标准。

llya Sutskever回应黄仁勋对AI未来发展的提问时，称预测未来是一件困难的事，有充分理由相信这个领域会持续进步，AI也将在自己的能力边界继续用实力震惊人类。

回顾过去，他强调尽管生成式人工智能还不完美，也无法预测未来能够到达什么地步、是否能解决诸多不确定性。他最惊讶的是自己的理念终被实现，通过更大规模和更深度的数据训练，做到原本只是概念性的想法。

（文章来源：界面新闻）

标签：