颠覆式创新|改变世界的15个颠覆性创新( 三 )

2019 年，OpenAI 发布了拥有 15 亿参数的 GPT-2，这是第一个具有超过 10 亿参数的自然语言模型，这在当时被人们认为是惊人的壮举。仅仅过了一年，OpenAI 就发布了 GPT-3，其参数高达 1750 亿，GPT-3 的诞生，颠覆了人们的既有认知。

GPT-3 可以生成推文、写诗、总结电子邮件、回答琐碎问题、翻译语言，甚至可以编写计算机程序。在这一过程中，它只需要获得很少的提示就能完成这些任务，其中一些技能甚至让专家们都措手不及。

尽管以前的语言模型也以类似的方式工作，但 GPT-3 可以执行以前模型做不到的事情，比如编写自己的计算机代码。更重要的是，它可以只用几个例子为特定的任务做准备，而不是像它的 “前辈们” 那样，需要成千上万个例子和数小时的额外训练。

（来源：Pixabay）
而为推动研发我国自主的大规模预训练模型，北京智源人工智能研究院、阿里巴巴、清华大学、中国人民大学、中科院、搜狗、智谱?AI、循环智能等单位科研骨干组成 “悟道” 联合攻关团队，启动了新型超大规模预训练模型研发项目 “悟道”，包括四类大规模预训练模型：
文源：以中文为核心的超大规模预训练语言模型；
文汇：面向认知的超大规模新型预训练模型；
文澜：超大规模多模态预训练模型；
文溯：超大规模蛋白质序列预训练模型。
其中，文源：以中文为核心的超大规模预训练语言模型，第一阶段 26 亿参数规模的中文语言模型已于 2020 年 11 月 14 日发布；文汇：面向认知的超大规模新型预训练模型，已于 2021 年 1 月 11 日发布，文汇模型参数规模达 113 亿，仅次于 DALL?E 模型的 120 亿参数量，是目前我国规模最大的预训练模型，并已实现与国际领先预训练技术的并跑。

下一步，“悟道” 团队将加快四类大规模预训练模型的研发进度。特别是 “文汇” 模型，未来将着力在多语言、多模态条件下，提升完成开放对话、基于知识的问答、可控文本生成等复杂认知推理任务的能力，使其更加接近人类水平。

身处于一个科技创新的时代中，一行行代码，一串串数字，背后都蕴藏着无穷的力量。正如 Big Ideas 2021 报告中所说，深度学习可以创造比互联网更大的经济价值，并将在未来 15-20 年内为股市的资本增加 30 万亿美元。以 GPT-3 为代表的 AI 前沿发展方向，也定将开启一个全新的智能时代。