·要实现AGI,有3条技术路线:一是“大数据+自监督学习+大算力”形成的信息模型; 二是具身智能,以虚拟世界或现实世界为基础,通过强化学习训练。三是脑智能,直接“复制自然进化的功课”,复制数字版的智能体。
·据致远初步统计,今年以来,全球大型语言模型开源项目42个,中国项目9个。 “相比之下,我认为我们的开源开源度还远远不够。”
北京致远人工智能研究院院长黄铁军。
6月9日,北京致远人工智能研究院(以下简称致远)院长黄铁军在2023北京致远大会上作报告,发布启蒙3.0大模型系列,并宣布进入大数据时代。全面开源新阶段。 启蒙3.0包括启蒙·天鹰()语言大型模型系列、“Libra()”大型语言评价系统及开放平台、启蒙·视界视觉大型模型系列。
黄铁军在演讲中表示,要实现通用人工智能(AGI),有3条技术路线:一是“大数据+自监督学习+大算力”形成的信息模型; 二是具身智能,是基于虚拟世界或现实世界,通过强化学习训练出来的具身模型; 三是脑智能,直接“复制自然进化的功课”,复制数字版的智能体。
做GPT( pre- model)走的是第一种技术路线; 以谷歌的DQN(Deep Q ,Deep Q-)为核心取得的一系列进展,都是基于第二种技术路线。
“从梦想的角度,致远期望不同于前两条技术路线,从‘第一性原理’出发。从原子到有机分子,到神经系统,到身体,构建一个完整的智能系统AGI。这是一个20年左右才能实现的目标,所以致远作为新型研发机构平台,正从三个方向努力。” 黄铁军的描述也梳理了这多次发布背后的逻辑,包括大模型方向、具象化方向,以及致远自己想要的方向的进展。
启蒙3.0大模型系列
北京致远人工智能研究院是国内最早系统布局大规模模型的科研机构。 2021年3月和2021年6月,致远用两个多月的时间先后发布了启蒙1.0和启蒙2.0。 启蒙1.0是我国第一个超大规模智能模型体系,而启蒙2.0的参数规模达到1.75万亿,是当时中国第一个、世界最大的万亿级模型。
黄铁军认为,大模型具有三个特点:一是规模大,神经网络参数超过百亿级。 第二个是紧急的,产生意想不到的新能力。 三是通用性,不局限于单一类型的问题或专业领域,可以解决多种多样的问题。
从启蒙2.0开始,致远不仅仅开发模型。 在黄铁军看来,致远更倾向于构建以大模型为核心的生态,包括底层数据处理与聚合、模型能力与算法评估、开源与开源,形成一套高效的大模型技术与算法体系。
黄铁军认为,当前的智能时代是开源开放的时代,封闭的生态很难长期发展。 开源生态需要开源软件,开源硬件,竞争与合作并存。 这将是一个开源开放的生态系统,由成千上万的公司共同竞争和合作。
据致远初步统计,今年以来,全球有42个大型语言模型开源项目,中国有9个项目。 “相比之下,我觉得我们的开源和开放还不够,开源和开源也是竞争。好的算法应该公开评估和比较,以证明技术水平,而不是仅仅依靠结果来判断是否是。优秀与否。” 黄铁军说道。
在启蒙3.0大模型系列中,致远发布并完全开源了启蒙·天鹰()语言大模型系列和启蒙·远景视觉大模型系列,并与多所高校和科研院所合作打造了“Libra()”大语言评估系统和开放平台,以及飞智大模型技术的开源系统。
据黄铁军介绍,启蒙·天鹰语言模型是首个支持商用、满足数据合规要求的中英双语模型。 通过数据质量控制和各种训练优化, () 在更小的数据集和更短的训练时间上取得了优于其他开源模型的性能。 这是一个系列的模型。 此次发布了70亿参数和330亿参数的基础模型,以及对话模型(类模型)、文本代码生成大模型(70亿参数)。
此外,大型模型的评估是当前生成式人工智能发展的难点。 此次致远发布“Libra()”大型语言评价系统及开放平台,希望协助研究者综合评价基础模型和训练算法的性能,同时探索利用AI方法辅助主观评价,大大提高了评价的效率和效率。 客观性。
具体来说,Libra()大语言评价体系建立了“能力-任务-指标”的三维评价框架,对30余种能力、5类任务、4类指标组成的600多个维度进行评价,包括22个主观和客观评价数据集,以及84433个问题。 Libra测评平台已开通,提供线上线下测评。 目前支持英伟达、寒武纪、昆仑、升腾等多种芯片架构,以及深度学习框架。
在大视觉模型方面,致远大会直接放出了6项成果,包括在多模态序列中补全万物的多模态大模型Emu、最强亿级视觉基础模型EVA、最强开源CLIP模型EVA- CLIP,第一个开创上下文图像学习技术路径的通用视觉模型,分割万物的地平线通用分割模型,第一个零镜头视频编辑方法-零。
具身多模态交互模型与类脑智能
“我们探索让agent学会在虚拟世界中完成各种语言描述的任务,比如告诉agent做石锤,搭木棚。也就是说,告诉它一个任务,它就可以“不用鼠标控制它。在游戏世界中自己动手。这是通用人工智能的新赛道,全球许多组织都在尝试。” 黄铁军说道。
目前的方法主要依赖于人类的知识和提示。 下一个目标是让agent在此基础上学习策略集,进一步研究多模态交互的大型模型,使其能够自适应地在开放世界中完成。 更多的任务与你自己的创造力。
“在类脑智能和生命模拟方向,我们的工作也在继续。去年智元会议发布了最高精度的模拟线虫,到现在依然是最高精度,论文正在审稿中。” “ 黄铁军说,在这个工作基础上,我们将模拟线虫的生命模拟平台“天眼”完全开源,并提供在线服务。
天眼平台有四个最显着的特点:一是最高效的精细神经系统模拟平台; 二是支持超大规模神经网络仿真,已经在该领域高效复现了多次大??规模神经网络仿真。 神经模型; 第三,提供在线工具,只要有生物数据,就可以一站式建模、仿真、可视化。 “可视化是天眼独有的,可以观察到神经系统的信号在手术过程中是如何变化的。” .我们最终要知道生命智能的每一步、每一个细节,不像今天的黑盒子。”黄铁军说。
目前,三大技术路线中,大型车型的进展最快。 为何如此? 黄铁军认为,主要是语言数据。 无论是论文、书籍还是代码,资源都非常丰富且优质。 从海量数据中发现内在规律是大模型的优势。
不过,黄铁军继续表示,人脑可以看作是一个脉冲神经网络,这与今天的大规模模型有着根本的区别。 人工智能仅仅依靠一个方向的大规模模型来产生类似人脑的能力是远远不够的。 从基本的神经网络结构到信号处理机制的类脑智能是一个方向,让主体与物理身体和环境交互的具身智能是另一个方向。
作为大型模型领域的年度巅峰盛会,致远大会迄今已举办五届。 本届大会的联合主席是致远人工智能研究院院长张洪江和美国加州大学伯克利分校教授、致远学术顾问委员会成员 (I. )。 该项目的联合主席是致远人工智能研究院院长黄铁军,清华大学教授、致远首席科学家朱军。
本次大会邀请了图灵奖获得者 ( )、Yann LeCun、 ( ) 以及加州大学伯克利分校 CEO Sam ( Sam ) 人工智能系统中心分院创始人 ( ) 姚启智中国科学院院士薄波、中国工程院院士郑南宁、中国工程院外籍院士张亚勤、美国艺术与科学院院士、创始人David Holz等嘉宾,探讨人工智能的前沿和热点话题。