中科院自动化所“紫东太初”全模态大模型正式发布
【慧聪教育网】近日,中国科学院自动化研究所发布了该所研制的新一代人工智能大模型——紫东太初 2.0。
据悉," 紫东太初 " 全模态大模型是在千亿参数多模态大模型 " 紫东太初 "1.0 基础上升级打造的 2.0 版本,在语音、图像和文本三模态的基础上,加入视频、信号、3D 点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力,面向数字经济时代加速通用人工智能的实现。
早在 5 月 6 日,在华为昇腾 AI 开发者峰会上,中国科学院自动化研究所 " 紫东太初 " 大模型研究中心常务副主任王金桥提到,基于华为全栈国产化软硬件平台昇腾 AI,中国科学院自动化研究所和武汉人工智能研究院正在联合打造 " 紫东太初 "2.0 全模态大模型。
据介绍,2019 年开始,中科院自动化所在语音、文本、图像等单模态大模型研究和应用基础上,瞄准多模态大模型领域开始联合攻关,2021 年 7 月正式发布了全球首个千亿参数多模态大模型 " 紫东太初 ",以多模态技术探索通用人工智能发展道路。
" 紫东太初 "2.0 可以理解三维场景、信号等数字物联时代的重要信息,完成了音乐、图片和视频等数据之间的跨模态对齐,能够处理音乐视频分析、三维导航等多模态关联应用需求,并可实现音乐、视频等多模态内容理解和生成。
目前,产业应用前景方面," 紫东太初 " 大模型在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列应用。
中国科学院自动化研究所所长徐波表示:" 自动化所以 " 紫东太初 " 大模型为基础,持续探索与类脑智能、博弈智能等技术路径的相互融合,最终实现可自主进化的通用人工智能,并将探索在更多领域发挥赋能价值,为促进我国数字经济快速发展贡献力量。"