生成式人工智能简史

由柏拉图重新发布

关注： 0

生成式人工智能的历史相当短，该技术最初是在 1960 世纪 2014 年代以聊天机器人的形式引入的。它是人工智能的一种形式，目前可以在几秒钟内生成高质量的文本、图像、视频、音频和合成数据。然而，直到 XNUMX 年，生成对抗网络 (GAN) 的概念被引入，生成人工智能才发展到能够创建看起来像真人真实录音的图像、视频和音频。

目前，生成式人工智能是 ChatGPT 及其变体的主要组成部分。

该1950s

生成式人工智能基于机器学习和深度学习算法。第一个机器学习算法是由 Arthur Samuel 于 1952 年为下棋而开发的——他还提出了“机器学习”这个词。

第一个能够被训练的“神经网络”被称为感知器，由康奈尔大学心理学家 Frank Rosenblatt 于 1957 年开发。感知器的设计与现代神经网络非常相似，但只有“一个”层包含可调节的阈值和权重，将输入层和输出层分开。这个系统失败了，因为它太耗时了。

该1960s和1970s

历史上第一个生成式人工智能的例子叫做 ELIZA。它也可以被认为是聊天机器人的早期版本。它由 Joseph Weizenbaum 于 1961 年创建。 ELIZA 是一个会说话的计算机程序，可以使用自然语言和旨在听起来具有同理心的响应来对人类做出反应。

1960世纪70年代和XNUMX年代，进行了计算机视觉和一些基本识别模式的基础研究。当 Ann B. Lesk、Leon D. Harmon 和 AJ Goldstein 显着提高了面部识别的准确性时，面部识别取得了巨大的飞跃（人脸识别中的人机交互，1972）。该团队开发了 21 个特定标记，包括嘴唇厚度和头发颜色等特征，以自动识别面孔。

1970 世纪 XNUMX 年代，Seppo Linnainmaa 开始使用反向传播。期限 ”反向传播“是一个向后传播错误的过程，作为学习过程的一部分。涉及的步骤是：

在输出端处理
发送向后分发
通过网络层进行训练和学习

（反向传播用于训练深度神经网络。）

第一个人工智能冬天将机器学习和人工智能分开

第一个人工智能冬天开始和结束大约从 1973 年到 1979 年——做出了承诺，但没有兑现期望。资助人工智能研究的机构（Darpa、NRC 和英国政府）突然因其发展缺乏进展而感到尴尬。

然而，机器学习 (ML) 仍在不断发展。不是因为它仍在接受政府资助，而是因为机器学习作为一种响应工具对企业来说变得非常有用。机器识别最初是作为人工智能的一种训练技术，但人们发现它也可以用来执行简单的任务，例如接听电话并将电话转接给适当的人。虽然机器学习程序可能无法进行智能对话，但它们可以执行基本但非常有用的任务。企业没有兴趣放弃既经济又实用的工具。

企业选择资助自己的研究来发展机器学习，而前研究人员也将自己重组为一个独立的行业，直到 1990 世纪 XNUMX 年代再次与人工智能合并。

尽管神经网络是由芝加哥大学的两位研究人员 Warren McCullough 和 Walter Pitts 于 1944 年提出的，这是第一个功能性“多层”人工神经网络， 认知机, 由福岛邦彦于 1975 年开发。

神经网络为机器学习和深度学习的使用奠定了基础。他们的设计支持输入层和输出层，它们之间的隐藏层用于转换输入数据，使其对输出层有用。通过这种新设计，面部和语音识别能力得到了显着提高。隐藏层也为深度学习提供了基础。

1979年，福岛邦彦建议开发一个分层的、多层的人工神经网络，他将其命名为 新认知药。这是第一个深度学习神经网络。他的设计支持计算机学习如何识别视觉模式，更具体地说，识别手写字符的能力。他的设计还允许手动调整重要数据，从而允许人类增加某些连接的“权重”。

1980 世纪 XNUMX 年代和第二个人工智能冬天

1982 年，约翰·霍普菲尔德 (John Hopfield) 又有了另一个发现，他开发了一种新形式的神经网络—— 霍普菲尔德网 – 使用完全不同的方法。霍普菲尔德网络比以前的系统更像人脑收集和检索记忆。

然而，第二个人工智能冬天大约从 1984 年开始，一直持续到 1990 年，减缓了人工智能以及生成式人工智能的发展。由于兑现承诺和期望落空而引发的愤怒和沮丧是如此强烈，“人工智能”一词呈现出伪科学的地位，并且经常被人轻蔑地谈论。人们对人工智能产生了广泛的怀疑。不幸的是，大多数人工智能和深度学习研究的资金被削减。

1986 年，David Rumelhart 和他的团队推出了一种新的方式使用 1970 世纪 XNUMX 年代开发的反向传播技术训练神经网络。

在 1980 世纪 XNUMX 年代末，MOS（金属氧化物半导体），于 1959 年开发）与 VLSI 合并（超大规模集成）并提供了更实用、更高效的人工神经网络。这种组合被称为互补MOS （或 CMOS）。

1989 年，深度学习成为现实，当时 Yann LeCun 和他的团队使用反向传播算法和神经网络来识别手写的邮政编码。

深入学习使用算法处理数据并模仿人类思维过程。它采用旨在处理数据、视觉识别对象和理解人类语音的多层算法。数据在每一层中移动，前一层的输出提供下一层所需的输入。在深度学习中，使用的附加层提供了更高级别的“抽象”，从而产生更好的预测和更好的分类。使用的层越多，做出更好预测的潜力就越大。

深度学习已经成为一种非常有用的训练过程，支持图像识别、语音识别和处理大量数据。

1990 世纪 XNUMX 年代和人工智能研究的复苏

由于人工智能的资助在1990世纪1990年代再次开始，机器学习作为一种训练机制也获得了资助。机器学习行业在人工智能的第二个冬天里继续研究神经网络，并在 XNUMX 世纪 XNUMX 年代开始蓬勃发展。机器学习的持续成功很大程度上归功于字符和语音识别的使用，以及互联网的迅猛发展和个人电脑的使用。

“Boosting”的概念是在 1990 年的论文中分享的 弱学习能力的优势，罗伯特·夏皮尔着。他解释说，一组弱学习器可以创建一个强学习器。提升算法减少监督学习过程中的偏差，并包括能够将多个弱学习器转变为几个强学习器的机器学习算法。（弱学习者的预测正确率略高于 50%。）

电脑游戏行业在帮助生成式人工智能的发展方面值得大量赞誉。 3D显卡是图形处理单元 (GPU) 的前身，于 1990 世纪 XNUMX 年代初首次推出，旨在改善视频游戏中的图形呈现。

1997 年，Juergen Schmidhuber 和 Sepp Hochreiter 创建了“长短期记忆”（LSTM）与循环神经网络一起使用。目前，大多数语音识别训练都使用这种技术。 LSTM 支持需要记忆数千步之前的事件的学习任务，并且这些任务在对话中通常很重要。

Nvidia（负责许多游戏技术的进步）于 1999 年开发了先进的 GPU，计算速度提高了一千倍。他们的第一个 GPU 被称为 GeForce 256.

令人惊讶的是，GPU 的用途不仅仅限于视频游戏。新的 GPU 被应用于人工神经网络，取得了令人惊讶的积极结果。图形处理器它在机器学习中变得非常有用，与中央处理单元相比，每个芯片使用的处理器数量大约是 200 倍。（中央处理器然而，CPU 更灵活，可以执行更广泛的计算选择，而 GPU 往往针对特定用例进行定制。）