本次讨论的话题仅限于计算机视觉研究院个人观点，若有说的不对的地方勿喷，有兴趣的也可以加入我们ChatGPT讨论兴趣小组。
一、背景
ChatGPT到底是个啥？对于小白或者不知情的人士，其实对其还是很不了解，并且通过各种媒体报道，觉得它是一个神乎其神的产品，也是未来可替代部分劳动力的源头。那今天我们来聊聊这个GPT，并说说国内发布的情况以及未来发展，真的国内会比国外差吗？——这个问题是开放性问题，大家可以一起讨论。
ChatGPT的横空出世拉开了大语言模型（LLM）产业和生成式AI产业蓬勃发展的序幕。今天我们先分析“OpenAI ChatGPT的成功之路”、“国内ChatGPT产业发展趋势”、“ChatGPT应用场景”、“ChatGPT风波下的‘危’与‘机’”四个问题。聚焦国内市场，辨析中国自研通用基础大语言模型的重要意义、分析中国大语言模型产业参与角色分化路径及原因、梳理呈现中国大语言模型产业受益链图谱。
大模型（以LLM为主，包含多模态模型等）产业的蓬勃发展将改变数字产业生态，助力AI工业化进程、变革交互方式、创造数字产业新的增长空间。
二、分析
OpenAI ChatGPT的成功之路
ChatGPT的发展史可以追溯到2015年，美国OpenAI公司由特斯拉创始人马斯克等硅谷大亨创立。2017年，OpenAI推出了基于Transformer模型的GPT-1，随后于2018年推出了具有1.17亿个参数的GPT-1模型。2019年，OpenAI公布了GPT-2，具有15亿个参数，该模型架构与GPT-1原理相同，主要区别是比GPT-1的规模更大。2020年，OpenAI推出了最新的GPT-3模型，具有1750亿个参数。GPT-3模型的训练规模比GPT-2更大，使用了更大量的语料库进行训练，从而可以生成更加准确和有用的文本。2022年3月，OpenAI推出了InstructGPT模型，该模型为GPT-3的微调版，以教人为目的而训练的 language model。2022年11月底，人工智能对话聊天机器人ChatGPT推出，短短几个月时间，ChatGPT在2023年1月份的月活跃用户数已达1亿，这使其成为史上用户数增长最快的消费者应用。
总的来说，ChatGPT的发展历程曲折而精彩，OpenAI公司在人工智能领域持续探索，不断推出新的模型和产品，旨在让人工智能技术更好地服务于人类。
谈到Chatgpt，就要聊聊它的“前身”InstructGPT。2022年初，OpenAI发布了InstructGPT；在这项研究中，相比 GPT-3 而言，OpenAI 采用对齐研究（alignment research），训练出更真实、更无害，而且更好地遵循用户意图的语言模型 InstructGPT，InstructGPT是一个经过微调的新版本GPT-3，可以将有害的、不真实的和有偏差的输出最小化。
开发人员通过结合监督学习+从人类反馈中获得的强化学习。来提高GPT-3的输出质量。在这种学习中，人类对模型的潜在输出进行排序；强化学习算法则对产生类似于高级输出材料的模型进行奖励。训练数据集以创建提示开始，其中一些提示是基于GPT-3用户的输入，比如“给我讲一个关于青蛙的故事”或“用几句话给一个6岁的孩子解释一下登月”。开发人员将提示分为三个部分，并以不同的方式为每个部分创建响应：人类作家会对第一组提示做出响应。开发人员微调了一个经过训练的GPT-3，将它变成InstructGPT以生成每个提示的现有响应。下一步是训练一个模型，使其对更好的响应做出更高的奖励。对于第二组提示，经过优化的模型会生成多个响应。人工评分者会对每个回复进行排名。在给出一个提示和两个响应后，一个奖励模型(另一个预先训练的GPT-3)学会了为评分高的响应计算更高的奖励，为评分低的回答计算更低的奖励。
开发人员使用第三组提示和强化学习方法近端策略优化(Proximal Policy Optimization, PPO)进一步微调了语言模型。给出提示后，语言模型会生成响应，而奖励模型会给予相应奖励。PPO使用奖励来更新语言模型。重要在何处？核心在于——人工智能需要是能够负责任的人工智能OpenAI的语言模型可以助力教育领域、虚拟治疗师、写作辅助工具、角色扮演游戏等，在这些领域，社会偏见、错误信息和毒害信息存在都是比较麻烦的，能够避免这些缺陷的系统才能更具备有用性。
总体来说，Chatgpt和上文的InstructGPT一样，是使用RLHF（从人类反馈中强化学习）训练的。不同之处在于数据是如何设置用于训练（以及收集）的。（注解：之前的InstructGPT模型，是给一个输入就给一个输出，再跟训练数据对比，对了有奖励不对有惩罚；现在的Chatgpt是一个输入，模型给出多个输出，然后人给这个输出结果排序，让模型去给这些结果从“更像人话”到“狗屁不通”排序，让模型学习人类排序的方式，这种策略叫做supervised learning。
国内外竞品分析
国内外主要LLMs研发路径与技术对比（转自艾瑞咨询）
（转自艾瑞咨询）
a、研究方向：
国外：谷歌、微软、脸书等大型语言模型公司主要研究方向为自然语言处理技术（NLP）和人工智能（AI），致力于开发更为智能、更具有交互性的语言模型。他们将大语言模型视为未来数字世界与人类之间沟通的桥梁，以此为出发点不断拓展技术边界。
国内：国内公司在确保技术领先的基础上，更加关注产业链的整合和布局。中国大型语言模型公司倾向于在多个领域同时发力，包括基础层（芯片、算法、云计算）、技术层（语言模型、预训练模型）和应用层（智能手机、智能汽车、智能家居等），旨在打造更加全面和具有综合竞争力的产业生态。
b、商业变现：
国外：国外公司主要通过向企业出售大型语言模型提供的API服务接口来实现商业变现，或者通过将广告投放至模型输出结果界面等方式获得营收。
（转自艾瑞咨询）
国内：国内公司则主要依靠向企业提供定制化的AI能力输出、技术赋能和解决方案，从而实现收益。同时，基于大语言模型的AI 2.0技术也在逐步拓展到智能手机、智能汽车、智能家居等领域，通过与移动互联网、物联网等产业结合，实现更为丰富的应用场景和商业模式。
（转自艾瑞咨询）
c、未来展望：
国外：未来，国外公司将继续深耕自然语言处理技术和人工智能领域，致力于打造更为智能、更为人性化的大语言模型。同时，国外公司也将拓展更多元化的应用场景，例如医疗、教育等领域，通过大语言模型技术的不断升级和进步，为用户带来更多便利和价值。
国内：国内公司将继续在基础研究和应用场景方面取得平衡发展，注重提升大语言模型的智能性和可用性。同时，随着中国产业升级和消费升级的推进，大语言模型技术将被广泛应用于智能制造、智慧城市、智能金融等领域，为中国经济的数字化转型和升级提供强有力的支撑。
总体来说，国内外大语言模型产商的商业路径存在一定差异，但都在不断拓展技术边界，以更好地适应市场需求和变化。随着大语言模型技术的不断发展和成熟，这些差异可能会逐渐缩小，而更加注重发掘模型的商业价值和技术实用性。
*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。
发布文章
