V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sillydaddy
V2EX  ›  程序员

似曾相识,怎么用人工神经网络表达?

  •  1
     
  •   sillydaddy · 2023-06-01 08:49:59 +08:00 via Android · 3423 次点击
    这是一个创建于 498 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有时候回忆一些事,感觉就快想起来了,距离它非常近,就好像话就要到嘴边了,就差捅破一层窗户纸它就能从记忆里唤醒,进入到意识中。

    这种现象对应到人工神经网络里的概念,是什么呢?

    第 1 条附言  ·  2023-06-01 12:35:30 +08:00
    我的标题可能有误,「似曾相识」这个成语,应该改为「呼之欲出」,就是表达那种想法就在嘴边时,卡壳了,但是却知道自己已经非常接近想说的答案,很强烈的那种感觉。
    25 条回复    2023-06-02 16:30:33 +08:00
    Worldispow
        1
    Worldispow  
       2023-06-01 08:51:43 +08:00
    丢包
    ipfox
        2
    ipfox  
       2023-06-01 08:54:51 +08:00
    "似曾相识"可以用人工神经网络中的"模式识别"来表达。人工神经网络是一种模仿人脑神经系统的计算模型,其目的是通过学习数据中的模式和规律来进行预测和分类。在模式识别任务中,神经网络会学习数据中的模式,并将其存储在网络的权重和偏差中,以便在未来对新数据进行分类或预测时使用。

    当人工神经网络经过训练后,它可以通过检测数据中的模式来判断输入数据是否与已经学习过的数据相似。当输入数据与已经学习过的数据相似时,神经网络会输出一个相应的标签或类别,就像人类感觉到“似曾相识”的感觉一样。因此,可以说“似曾相识”是人工神经网络在模式识别任务中的一种表现。

    这种现象在人工神经网络中可以被描述为“激活阈值”或“触发阈值”的概念。在神经网络中,每个神经元都有一个激活阈值,当输入信号的加权和超过该阈值时,神经元会被激活并产生输出信号。类比于人类的记忆和回忆,当我们试图回忆某件事情时,我们大脑中的神经元会被激活并开始传递信号。如果这些信号的加权和超过了神经元的激活阈值,我们就能够回忆起这个记忆。

    在上述情况下,当我们回忆某件事情时,我们已经接近了记忆的“激活阈值”,这就是为什么我们感觉非常接近,就像话就要到嘴边了,而且只需要轻微的刺激就能成功地唤醒这个记忆并将其带入我们的意识中。类比于神经网络,这种情况可以理解为输入信号已经接近了某些神经元的激活阈值,只需要稍微增加一些输入信号,这些神经元就会被激活并将信号沿着网络传递,最终使我们成功地回忆起这个记忆。
    --------------------
    来自 gpt-3.5-turbo🐶
    DTCPSS
        3
    DTCPSS  
       2023-06-01 09:00:00 +08:00
    Loss 下不去
    yolee599
        4
    yolee599  
       2023-06-01 09:14:38 +08:00 via Android
    失真
    DigitalG
        5
    DigitalG  
       2023-06-01 09:46:35 +08:00
    欠拟合,置信度低?
    ql562482472
        6
    ql562482472  
       2023-06-01 09:49:37 +08:00   ❤️ 1
    @ipfox #2 这个 3.5 感觉有点不太行 看看 4 的:


    你所描述的现象,从人工神经网络的角度来看,可能与“激活”或者“推理”有关。在神经网络中,激活是指在特定的输入刺激下,神经元对特定的特征或模式进行响应。在你的情况下,这个“似曾相识”的感觉可能是由于你的大脑正在尝试激活与这个记忆相关的神经元。

    另一个相关的概念是“推理”。在人工神经网络中,推理是指在给定输入(例如,一个问题或一个观察)的情况下,神经网络如何利用其训练过的知识进行预测或决策。在你的情况下,你的大脑可能正在尝试从你的记忆中推理出这个“似曾相识”的情境。

    此外,这种现象也可以与“遗忘门”相关,它是在长短期记忆( LSTM )网络中的一个概念。遗忘门的工作原理是,它决定了哪些信息需要被保留,哪些信息需要被遗忘。当你试图回忆起一个记忆时,遗忘门可能会控制哪些相关的信息被激活,哪些被抑制。

    然而,这些都只是从一个抽象的角度来理解你所描述的现象。人脑的工作机制与人工神经网络在许多方面都不同,而且人脑的工作机制在很大程度上还未被完全理解。因此,这个解释只能作为一种概念性的理解,而不能作为一个准确的模型来解释你的体验。
    sentinelK
        7
    sentinelK  
       2023-06-01 09:53:39 +08:00
    有多种可能,除了楼上的欠拟合,loss 跑飞了这种模型角度的叙述。

    还有一种就是过拟合,导致最终落到了错误的局部最优,而不是全局最优区间。
    Morriaty
        8
    Morriaty  
       2023-06-01 10:24:17 +08:00
    可以看下我曾经的帖子,https://v2ex.com/t/485933 ,有不少有意思的讨论
    HankAviator
        9
    HankAviator  
       2023-06-01 10:34:00 +08:00
    @ipfox
    @ql562482472
    v2ex 上不让用 AI 回复了,要当心哦😈
    sillydaddy
        10
    sillydaddy  
    OP
       2023-06-01 12:34:48 +08:00
    @Morriaty #8
    我的标题可能有误,「似曾相识」应该改为「呼之欲出」,表达那种想法就在嘴边时,卡壳了,但是却知道自己非常接近正确答案,很强烈的那种感觉。

    @ipfox #2
    「当我们回忆某件事情时,我们已经接近了记忆的“激活阈值”,这就是为什么我们感觉非常接近,就像话就要到嘴边了」,这个还是有点问题,虽然是接近“激活阈值”,但毕竟没有触发,那么这种神经元未触发的情况下,大脑怎么知道它非常接近触发了?
    vToExer
        11
    vToExer  
       2023-06-01 12:49:38 +08:00 via Android
    op 说的感觉更像是“顿悟”前的一刻,“顿悟”Grokking 指神经网络如 llm 在经过特定次数的训练后,准确率突然大幅上升的现象。目前关于 Grokking 没有特别好的诠释
    ipfox
        12
    ipfox  
       2023-06-01 13:28:21 +08:00
    @HankAviator 才知道,请问如何删除自己的回复?
    kiroter
        13
    kiroter  
       2023-06-01 13:42:52 +08:00
    神经网络没这玩意
    jtsai
        14
    jtsai  
       2023-06-01 13:46:30 +08:00
    电力不足
    elmon
        15
    elmon  
       2023-06-01 14:22:36 +08:00 via iPhone
    坏道
    InvincibleDream
        16
    InvincibleDream  
       2023-06-01 14:55:35 +08:00
    “请用一句话回答大型语言模型可能有感情或者感觉吗?”
    “大型语言模型本身没有真正的感情或感觉,它是基于算法和数据训练而成的工具,无法体验情绪或具备主观意识。”
    语言模型只是依据其评价指标给出答案,并不会有所谓的“似曾相识”或者“呼之欲出”的感觉,所以答案是 NULL 吧。
    AOK123
        17
    AOK123  
       2023-06-01 15:39:07 +08:00
    uncertainty aware {detection, estimation, ...}
    HankAviator
        18
    HankAviator  
       2023-06-01 16:21:31 +08:00
    @ipfox 删不掉的,删掉的都是很糟糕的回复而且只有管理员可以删。不像刚开始 gpt 出来时其他人用 AI 刷屏就好,被处罚的通常也都是被举报的回复
    kkhaike
        19
    kkhaike  
       2023-06-01 17:40:35 +08:00   ❤️ 1
    我觉的 AI 回复这个事情可以斟酌一下
    1. 比如主动标注是 ai 回复
    2. 不要太长
    3. 不用重复

    还是可以接受的,作为一种参考
    kukat
        20
    kukat  
       2023-06-01 20:09:41 +08:00
    Déjà vu (/ˌdeɪʒɑː ˈv(j)uː/
    既视感[注 1],或似曾相识、幻觉记忆
    https://zh.wikipedia.org/wiki/%E6%97%A2%E8%A6%96%E6%84%9F
    geelaw
        21
    geelaw  
       2023-06-01 21:16:51 +08:00 via iPhone
    “呼之欲出”是用来形容画像逼真的,你要说的是“暂时性失忆”。
    leaflxh
        22
    leaflxh  
       2023-06-01 22:30:59 +08:00
    发散,不可收敛(不是
    pathetique
        23
    pathetique  
       2023-06-02 01:55:05 +08:00
    @leaflxh 我觉得是“多线接近收敛”但无一通路
    shawndev
        24
    shawndev  
       2023-06-02 12:08:53 +08:00
    梯度消失
    blurh11E27
        25
    blurh11E27  
       2023-06-02 16:30:33 +08:00
    memory error
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3148 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 11:30 · PVG 19:30 · LAX 04:30 · JFK 07:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.