SynSense时识科技出席类脑国际研讨会Telluride:类脑开发板,这届工程师怎么“玩”?
Telluride类脑认知工程研讨会是全球最早创立的类脑主题研讨会。回溯上世纪90年代初,加州理工Carver Mead教授进行了早期的类脑系统研究,学术界对类脑技术的兴趣正在快速攀升。1993年,对新技术的热切关注直接促成了第一届类脑研讨会。次年,研讨会迁至Telluride并形成了年度会议,参与者包括Misha Mahowald等类脑领域的重要开拓者。举办至今,超过3000名来自世界各地学术及工业界的前沿研究人员参与了Telluride研讨会,催生了技术创新及合作。
6月25日,为期三周的2023Telluride类脑认知工程研讨会揭幕。SynSense时识科技人工智能副总裁Sadique Sheik、高级算法工程师Felix Bauer、机器学习工程师Gregor Lenz现场出席。目前,多个联合实践围绕SynSense时识科技Speck™及 Xylo™类脑开发套件展开。这是一次跨机构、跨领域的交流,也是前沿技术群体对类脑视觉及音频技术的创新探索。
类脑视觉&音频技术联合实践
探索技术边界
以特定的话题范围为组织原则,Telluride研讨会每年通过探索神经认知原理,启发类脑创新系统的实现。2022年,Telluride研讨会的主题之一为大语言模型和人工智能。2023年,Telluride的主题则包括开源类脑硬件、软件和生物学实验,量子启发的神经形态优化器、音频-运动耦合等。
SynSense时识科技参会工程师在本次研讨会中为“开源类脑硬件&软件”主题版块提供指导,为参会者组织类脑视觉、音频处理技术相关教程讲座、开发工具及实践指引。
“我们正在推进一些项目,同时为使用我们产品的参会者提供支持,人们很高兴体验SynSense时识科技如此便捷的类脑产品,”高级算法工程师Felix Bauer表示。
基于SynSense时识科技类脑动态视觉开发套件Speck™及类脑音频开发套件Xylo™Audio,SynSense时识科技工程师与来自其他机构的技术人员展开了多种探索,包括:
- 小型赛车光流分析:用于自主运动预测、避障。
- 多模态语音识别:利用Speck™和Xylo™ AFE提取视觉(嘴唇运动)和音频(声音)特征。
- 通过人类反馈进行持续学习:使用人类语音反馈(通过Xylo™检测),帮助标注用于人体姿态识别(通过Speck™识别)模型训练的数据。
- 使用Speck™进行3D姿态估计。
- 使用扩散模型对DVS事件/帧进行建模。
- 将SynSense时识科技软件接口与其他开源SNN库进行连接。在snnTorch或Norse中训练网络,通过Sinabs或Rockpool进行部署。
据悉,Telluride研讨会在推进和整合生物学和人工智能系统方面具有成功的历史。跨机构的实践探索作为研讨会的最主要内容之一,已催生了不少重要的技术创新,并培养了未来的工业和学术领导者。
Sadique Sheik表示:“我们带来了一批SynSense时识科技硬件,计划联合进行多个项目。期待获得超棒的合作成果!”
SynSense时识科技支持类脑开源
助推生态发展
今年的Telluride同样汇集了来自学术和工业界的跨学科研究人员,包括工程师、计算机科学家、神经科学家、行为和认知科学家等领域的参与者,旨在通过此次机会探索、学习各领域的前沿技术及原理。
SynSense时识科技所参与的开源版块,重点聚焦开源工具的交流与推广,从而助推类脑研究,支持类脑生态的建设发展。
研讨会首周,SynSense时识科技机器学习工程师Gregor Lenz及Felix Bauer分别围绕Speck™动态视觉及Xylo™超低功耗实时音频处理技术及相关demo进行演示并发表了演讲,分享了如何使用SynSense时识科技的类脑开源软件工具链训练脉冲神经网络,同时在片上部署算法模型。
主办方认为,过去十年,一部分深度学习所取得的巨大成就可归功于开源运动。在类脑领域,一系列开源工具在近期取得了相当进展,在类脑工程的跨学科发展中架起了桥梁。类脑社区期望利用这一进展,了解各个领域的交互方式,最终提高类脑系统的持续性和性能。
目前,SynSense时识科技已发布基于Dynap™-CNN、Speck™及Xylo™的多款类脑动态视觉及音频开发套件,同时,已开发Sinabs、Rockpool及Samna,用于快速、多用途模型训练的开源脉冲神经网络模拟框架,以及用于数据资源操作的工具Tonic。SynSense时识科技期望脉冲神经网络研究社区能从这一生态中获益,为类脑的应用与普及构建更加完善的基础环境。