高文:将训练大模型底座面向全社会开放,供研究者创业者使用

(数据图片)

·高文说，开发一个大模型并不像拍脑袋和喊口号那么容易，而是必须有计算能力。只有投资数十亿元甚至数百亿元才能做出“体面的事情”，但这笔资金是大学和初创企业的门槛。“我们的基本想法是利用鹏城实验室的计算能力和开放渠道数据，为研究人员和企业家培养大模型基础。”

5月22日，中国工程院院士、鹏城实验室主任高文在2023年大湾区人工智能分论坛上表示，要利用鹏城实验室的计算能力和公共渠道数据，为研究人员和企业家培养大模型基础。

鹏城实验室是经中央批准的网络通信领域的突破、领先、平台一体化新研究机构。重点研究宽带通信、新网络、网络智能等国家重大战略任务，开展重大科学问题和关键核心技术研究。

高文说，目前的人工智能是新一轮的浪潮，ChatGPT对技术和社会发展产生了巨大的影响。“企业必须有企业应对方案，国家也必须有国家应对方案。企业行动迅速，国内很多龙头企业都在做自己的大模式。当然，能否做得比ChatGPT好，至少还有一件事要做。不做什么都不会发生，至少有些事情会发生。”

他说，开发一个大模型并不像拍脑袋和喊口号那么容易，而是必须有计算能力。只有投资数十亿元甚至数百亿元才能做出“体面的事情”，但这笔资金是大学和初创企业的门槛。目前，鹏城实验室提出的计划是投资40亿元开发E级智算平台“鹏城云脑II”，半浮点操作能力100亿次。他说，“鹏城云脑II”可以在一个月内训练GPT-3、GPT-3.5。“我们正在开始制造下一台机器，大约需要60亿元来制造像16000P这样的大计算能力机器。这两台机器加在一起，到目前为止所有大型训练都绰绰有余。”

解决了计算能力问题，剩下的就是数据和算法。“算法现在几乎是公共知识。在数据方面，我们准备先用最大的能力获取尽可能多的数据，从公共渠道或购买渠道获取数据来培训模型。我们的基本想法是利用鹏城实验室的计算能力和公共渠道数据，为研究人员和企业家培养大型模型基础。”

高文还提到了加强大型模型技术平台的计划，利用个人数据加强培训更好的模型，促进新一代人工智能在中国的发展，特别是在广东、香港和澳门。他说，所谓的“增强”是指数据方在确保隐私和数据安全的情况下贡献个人数据进行培训。增强模型可能比标准模型更好、更强，增强模型只提供给数据提供商。“当然，我们有很多细节机制。只要我们加入这个联盟，我们就会逐渐了解这些细节机制。当然也可以提出意见和建议，让联盟做得更好。”

(原标题:高文:向全社会开放培训大模型基础，供研究者和企业家使用)