stateof.ai 发布了 2023 年度人工智能现状报告 (State of AI Report 2023)。
这份报告由英国知名风投公司 Air Street Capital 的合伙人 Nathan Benaich 等作者联合撰写,报告从研究进展 (Research)、行业局势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、未来预测 (Predictions) 五个维度出发,对人工智能发展现状和未来预期进行了深度分析。
完整报告查看:https://docs.google.com/
报告称,OpenAI 的 GPT-4 在发布八个月后仍然是最强的大语言模型(LLM),“在经典基准测试和旨在评估人类的考试中都击败了所有其他大模型”。
下面是这份报告的要点。
1、研究进展
GPT-4 登场,展示了专有技术与次优开源替代方案之间的能力鸿沟,同时也验证了通过人类反馈进行强化学习的威力;
在 LLaMa-1/2 的支持下,越来越多的人试图用更小的模型、更好的数据集、更长的上下文来克隆或击败专有模型;
目前还不清楚人类生成的数据能维持人工智能扩展趋势多久(有人估计,到 2025 年,数据将被 LLM 耗尽),也不清楚添加合成数据会产生什么影响。企业中的视频和数据可能是下一个目标;
LLM 和扩散模型通过为分子生物学和药物发现带来新的突破,继续为生命科学界提供助力;
多模态成为新的前沿,各种智能体热度大大增加。
2、行业局势
英伟达凭借各国、初创公司、大型科技公司和研究人员对其 GPU 的巨大需求,跻身市值万亿美元俱乐部;
主要芯片供应商开发了不受出口管制影响的替代产品;
在 ChatGPT 的带领下,GenAI 的应用程序在图像、视频、编码、语音或 CoPilots 等领域取得了突破性的进展,带动了 180 亿美元的风险投资和企业投资。
3、政策影响
世界已划分出明确的监管阵营,但全球治理的进展仍较为缓慢,最大的人工智能实验室正在填补这一空白;
据预测,人工智能将影响一系列敏感领域,包括选举和就业,但我们还没有看到显著的影响。
4、安全问题
关于生存风险的讨论首次进入主流,并明显加剧;
许多高性能的模型很容易「越狱」,为了解决 RLHF 的挑战,研究人员正在探索替代方案,例如自对齐(self-alignment)和带有人类偏好的预训练;
随着模型性能的提升,一致地评估 SOTA 模型变得越来越困难。