江西快3

<form id="asvbdjha"></form>

<address id="asvbdjha"><listing id="asvbdjha"><meter id="asvbdjha"></meter></listing></address>

        <em id="asvbdjha"></em>

        <form id="asvbdjha"></form>

          
          

                當前位置:首頁 > 新聞中心 > 媒體掃描

              媒體掃描

              【科学网】新型算法可有效解决“灾难性遗忘”问题 类人通用智能算法获新进展

            1. 发表日期:2019-08-12 【 【打印】【關閉】
            2.   人腦是公認的高智能典範。人不僅可以在新環境中持續吸收新知識,還可以根據環境靈活調整行爲。相較于人腦,傳統深度神經網絡(DNN)既無法連續學習,也沒有情景依賴學習的能力。近日,中科院自動化所腦網絡組研究中心與模式識別國家重點實驗室余山課題組在克服上述兩個核心問題方面取得了关键進展。相關成果已于8月9日在線發表在《自然—機器智能》上。  
                传统DNN一方面会受到“灾难性遗忘”问题的困扰,难以在学习新知识的同时保留旧知识,即缺少连续学习(continual learning)的能力;另一方面,DNN频繁只能落实预先训练好的固定操作,不可对实际环境中存在情境信息(如本身状况,环境变化、任务变化等)做出灵活的响应,难以满足复杂多变的需求,即缺少情境依赖学习(contextual-dependent learning)的能力。这两方面能力的缺失是制约当前DNN发展出类人通用智能等高水平智能的关键瓶颈。
                在 《神经网络中依赖于上下文处理的连续学习》(Continual Learning of Context-dependent Processing in Neural Networks)一文中,硕士生曾冠雄、博士后陈阳等提出了正交权重修改(orthogonal weights modification,OWM)算法和情境依赖处理(context-dependent processing,CDP)模块,二者相结合使人工神经网络具备了连续学习和情境依赖学习能力,有效地解决了“灾难性遗忘”等难题。
                據介紹,OWM算法可以有效克服神經網絡中的“災難性遺忘”,實現連續學習;受大腦前額葉皮層啓發的CDP模塊可以有效整合情境信息,調制神經網絡的信息處理過程。二者的有效結合,可使人工神經網絡具備強大的連續學習和情境依賴學習的能力,並大大增加其靈活性和適應性。
                图灵奖得主Allen Newell和诺贝尔奖得主Herbert A. Simon曾经联合撰文,将智能定义为“适应环境变化,落实本身目的”的能力;DeepMind的联合创始人之一Shane Legg也曾在总结出数十种智能的定义后,提出智能的通用衡量指标应该是“在不同的环境中落实特定目的的能力”。从中可见,个体对复杂、动态环境的高适应性是智能的关键标志。
                值得一提的是,2018年10月,由余山指導,曾冠雄、研究生崔波和陳陽組成的團隊,曾憑借作品《基于情境信號的連續多任務學習》從國內外84所高校和研究院所的近300支參賽隊伍中脫穎而出,獲得2018年國際大學生類腦計算大賽最高獎“創新特等獎”,並獲得獎金30萬元。
                鏈接:http://news.sciencenet.cn/htmlnews/2019/8/429204.shtm

              网站地图