继2021年悟道大模型项目连创“中国首个+世界最大”纪录之后,智源 “悟道3.0 ”进入全面开源新阶段,带来一系列领先成果:“悟道·天鹰”(Aquila)语言大模型系列、天秤(FlagEval)开源大模型评测体系与开放平台,“悟道 · 视界”视觉大模型系列,以及一系列多模态模型成果。
黄铁军介绍,在2021年3月的悟道1.0发布会上,智源研判人工智能已经从“大炼模型”转变为“炼大模型”的新阶段,从此,“大模型”这个概念进入公众视野。
至于何为大模型?他认为,需要具备3个条件:一是规模要大,参数达百亿规模以上;二是涌现性,能够产生预料之外的新能力;三是通用性,不限于专门问题或领域,能够处理多种不同的任务。
(相关资料图)
据介绍,悟道系列模型已发展到“悟道3.0”版本,涵盖语言、视觉、多模态等基础大模型。其中,“悟道·视界”视觉大模型系列,实现6项国际领先技术突破,点亮了通用视觉曙光。“悟道·视界”系统化解决了当前计算机视觉领域的一系列瓶颈问题,包括任务统一、模型规模化以及数据效率等,包括在多模态序列中补全一切的多模态大模型 Emu,最强十亿级视觉基础模型 EVA,一通百通、分割一切的视界通用分割模型,首创上下文图像学习技术路径的通用视觉模型Painter,性能最强开源CLIP模型 EVA-CLIP,以及简单prompt(提示)即可视频编辑的 vid2vid-zero 零样本视频编辑技术。
悟道·天鹰(Aquila)语言大模型系列+天秤(FlagEval)评测体系,打造了大模型能力与评测标准双标杆。为推动大模型在产业落地和技术创新,智源研究院发布了“开源商用许可语言大模型系列+开放评测平台”两大重磅成果,打造“大模型进化流水线”,持续迭代、持续开源开放。
悟道·天鹰Aquila 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。该模型在中英文高质量语料基础上从 0 开始训练,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间,获得比其它开源模型更优的性能。
天秤(FlagEval)大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用AI方法实现对主观评测的辅助,大幅提升评测的效率和客观性。
据悉,天秤(FlagEval)评测体系是科技部2030旗舰项目重要课题,正与北京大学、北京航空航天大学、北京师范大学、北京邮电大学、闽江学院、南开大学、中国电子技术标准化研究院、中国科学院自动化研究所等合作单位共建(按首字母排序),定期发布权威评测榜单
与此同时,开源开放,FlagOpen 大模型开源技术体系升级,大规模、可商用中文指令数据集COIG二期也于会上发布。
“大模型不是任何一家机构或者一家公司垄断的技术,大模型技术体系是大家共建共享。我们要共建一个智力社会所需要的一套基础的算法体系”。黄铁军院长介绍,基于此,智源研究院在打造开源生态方面做了许多努力。今年年初发布的FlagOpen大模型技术开源体系,经过一段时间的发展,又有了一系列发展。这为大模型发展夯实底层技术栈,提供切实加速度。
如,FlagOpen平台是智源建设的大模型技术开源体系。旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台,支持协同创新和开放竞争,共建共享大模型时代的“新Linux”开源开放生态。
数据集方面,智源已开源首个大规模、可商用的中文指令数据集COIG。COIG一期已开放总计19.1万条指令数据,COIG二期正在建设最大规模、持续更新的中文多任务指令数据集,整合了1800多个海量开源数据集,人工改写了3.9亿条指令数据,并提供了完善的数据筛选、版本控制工具。
关键词: