首页 >> 投影板

神经网络CLIP在图像识别中镜像人脑神经元吐鲁番

金联机械网 2022-09-15 17:22:06

神经网络CLIP在图像识别中镜像人脑神经元

由埃隆·马斯克（Elon Musk）创立的研究公司Open AI刚刚发现，他们的人工神经网络CLIP表现出与人脑极为相似的行为。这一发现使科学家对AI网络以符号，概念和文字能力识别图像的未来充满希望。

当人类大脑通过将一系列抽象概念与总体主题相关联来处理视觉图像时，第一个以类似方式运行的生物神经元就是“ Halle Berry”神经元中国机械网okmao.com。

该神经元被证明能够识别女演员的照片和草图，并将这些图像与“ Halle Berry”的名字联系起来。

现在，OpenAI的多模式视觉系统继续优于现有系统，即具有诸如“蜘蛛人”神经元之类的特征，这是一种人造神经元，不仅可以识别文本“蜘蛛”的图像，还可以识别图中所示的漫画人物和现场表演表格。

识别在各种情况下表示的单个概念的能力证明了CLIP的抽象能力。类似于人的大脑，抽象的能力使视觉系统可以将一系列图像和文本与中心主题联系在一起。

然而，生物学和人工神经元之间的区别在于语义与视觉刺激。大脑中的神经元将一连串的视觉输入与单个概念相连，而AI神经元则对一连串的想法做出反应。

确实，通过精确检查CLIP等系统的识别方式，研究人员可以潜在地了解有关人类神经元如何识别各种常见概念的信息，例如面部表情，名人，地理区域和宗教肖像等。

同样，通过研究CLIP如何形成其词典，科学家希望发现与人脑更多的相似之处。

研究团队从两方面检查CLIP：1）特征可视化，用于观察神经元对视觉输入量的响应程度，以及2）数据集示例，用于评估神经元响应的激活数据集图像的分布。

到目前为止，研究小组已经发现CLIP神经元似乎是多方面的，这意味着它们以高度抽象的方式响应了许多独特的概念。

作为一种识别系统，CLIP还表现出各种形式的偏差。例如，系统的“中东”神经元与恐怖主义相关联，而“移民”神经元则对涉及拉丁美洲的输入做出响应。

就这些发现的局限性和进一步研究的空间而言，科学家们承认，尽管CLIP在定位地理区域，单个城市甚至地标上有着精湛的技巧，但该系统似乎并未表现出与地标相关的独特“旧金山”神经元。作为双峰到达标识符San Francisco。