ChatGPT
来自China Digital Space
ChatGPT,全称聊天生成预训练转换器(英語:Chat Generative Pre-trained Transformer),是OpenAI开发的人工智能聊天机器人程序,于2022年12月推出。该程序使用基于GPT-3.5、GPT-4、GPT-4o架构的大型语言模型並以强化学习训练。ChatGPT目前仍以文字方式互動,而除了可以用人類自然對話方式來互動,還可以用于甚為複雜的語言工作,包括自动生成文本、自动问答、自动摘要等多种任务。如:在自动文本生成方面,ChatGPT可以根据输入的文本自动生成类似的文本(劇本、歌曲、企劃等),在自动问答方面,ChatGPT可以根据输入的问题自动生成答案。(维基百科:ChatGPT)
ChatGPT编年史
科技博主“红博士”在文章《红博士说|中国如何缺席ChatGPT盛宴》[1]中,梳理出了ChatGPT发展的时间轴。并且总结道:“中国因为疫情闭关的三年,正是OpenAI的GPT发展、壮大、产品化的三年。”
ChatGPT是对话式UI + GPT–3.5系列模型,我们以最具代表性的论文、模型、API为主线,梳理到今天。
2020之前
- 2017年6月,Google发布Transformer论文。
- 2017年6月,7月,OpenAI发布人类喜好的强化学习算法、PPO算法,都是ChatGPT用到的算法。
- 2018年6月,OpenAI发布GPT-1.
- 2018年11月,Google发布BERT,此后NLP领域主要基于这个框架研究下游任务。
- 2019年2月,OpenAI发布GPT-2,OpenAI获得了自信,此后专注于GPT.
2020年
- 年初,Covid-19爆发。中国闭关。
- 1月,OpenAI发布语言模型的Scaling Law(概念:模型能力跟参数规模、数据规模强相关),OpenAI获得了在数据和参数规模上Scaling-up的信心。
- 5月,GPT-3论文发布。
- 6月,GPT-3 API发布。
- 9月,ChatGPT的关键原型算法相关论文发布。
- 12月,欧洲机构发布用于GPT-3复现的开源数据集。
2021年
- 7月,OpenAI发布Copilot原型算法。
- 8月,Codex API发布。
- 11月,GPT-3 API Public Release,不对中国开放。
- 中国闭关。
2022年
- 1月,GPT-3.5 API (text-davinci-002)发布,该模型经过Github代码的训练加持,推理能力显著提升(该假设的因果关系待学术界论证),经过Alignment技术的加持,Follow人类指令的能力显著提升,输出结果有用性和无害性显著提升。
- 3月,GPT-3.5论文发布,公开Alignment算法。
- 5月,OpenAI Codex已经被70个应用使用,包括微软收购的Github的Copilot.
- 8月,Stability AI开源StableDiffusion,文生图的算法的效果可用、速度可行、代码开源同时发生,引爆图片生成。一时间,在中国,AIGC似乎就是图片生成的代名词。
- 9月,Sequoia Capital发布Generative AI: A Creative New World博客。
- 中国研究人员和开发者,没有OpenAI的API权限。但图片生成却人人都可以尝试,于是互联网似乎只注意到了图片生成,对GPT大语言模型的关注度进一步下降。
- 经过接近一年的API接入和UI探索、近一年的思维链(Chain of Thought)等Prompt Engineering技术试错、模型加速等技术(如Flash Attention、Fixed-Point)带来的成本和延迟下降,GPT-3.5的模型潜力得到开发(变得Better、Faster and Cheaper), Copy.ai, Jasper等文本生成类公司的产品逐渐成熟。
- 11月,OpenAI发布GPT3.5 API的新模型(text-davinci-003).
- 12月1日,ChatGPT发布。Musk等名流开始谈论ChatGPT,引爆英文互联网。
- 12月初,中国互联网的自媒体逐渐开始讨论ChatGPT,主要以翻译twitter的方式。知乎上有学者开始反思。一周后,关注指数下降,两个月来只剩下AI自媒体把ChatGPT作为自己的主要关注内容。
- 中国闭关。
2023年
- 1月,微软宣布投资OpenAI数十亿美元,并将GPT加入全家桶。
- 2月,中国春节结束,微软和Google你方唱罢我登场,纳斯达克财报季,AI被反复提起。中国互联网是认识微软的,ChatGPT引爆中国互联网,关注指数飙升。
- 中国开放。
值得注意的是,中国因为疫情闭关的三年,正是OpenAI的GPT发展、壮大、产品化的三年。
百度版ChatGPT
2023年3月16日,百度正式发布了宣称能与ChatGPT抗衡的AI产品「文心一言」。发布会现场有录播的嫌疑,并且缺少了产品的实际操作展示。根据微信公众号冰川思享号的文章《冰川思享号|百度版ChatGPT,有点太着急了》[2]:“现场的产品发布会还没结束,网评大会已经在互联网上开幕了。段子与爆料齐飞,玩梗与黑历史共舞。百度的股价也应声而落。”
《环球时报》特约评论员胡锡进,在群嘲文心一言的网络舆论中逆行,称其为“中国的孩子”。
针对胡锡进的评论,“冰川思享号”认为:
什么“文心一言成为了ChatGPT在全球第一个实质性的追赶和竞争者”,谷哥笑而不语,脸叔一脸懵圈。
什么“欧洲、日韩形不成竞争力”,老胡误以为今天还是坚船利炮的帝国争霸时代,却不知道未来的通用AI技术必然是跨国合作与技术交流的成果。
世界上最大的非营利人工智能研究机构是德国人工智能研究中心(DFKI),十大股东中有美国大厂也有德国工业软件巨头。
欧盟日韩不是傻子,打不过就加入的道理是能想明白的。高科技发展早已不是闭门造车的自嗨,而是你中有我、我中有你的全球化体系。
科大讯飞学习机涉"辱毛"遭举报
2023年10月24日,在人工智能具领先地位的中国科技公司科大讯飞举行了一个“2023科大讯飞全球1024开发者节”,并宣布其“星火认知大模型V3.0已经超越了ChatGPT”[3]。不过,就在当日,科大讯飞旗下一款学习机中有文章评论毛泽东文革期间整人是“没有气量”,此番言论遭学生家长举报。此举导致该公司股价大跌至停板,收市报46.7元,下跌近一成,市值蒸发一百二十亿元[4]。
德国之声中文网在新闻《学习机作文"辱毛"? 科大讯飞反诉 称幕后有推手》中报道:
据中国媒体报道,有学生家长在科大讯飞学习机上一篇题为《蔺相如》的作文中读到"诋毁伟人"、"违背主流价值观"的内容,将相关信息发在网上,引起网友讨论。
根据微博上流传的这篇作文片段的截图,其中写道:“蔺相如那宽宏大量,为国家利益着想的品质,如今又有多少人能做得到呢?现在有些人,别人惹你一次,你就非把别人整死。就拿一个大家非常熟悉的人--毛泽东主席来说吧,我斗胆来说说他吧!毛主席是很有才华的人,是一代伟人,但我却要说他是一个没有气量,不为大局着想的人。他在抗美援朝的战争中失去了最后的亲人--长子毛岸英之后,便对身边每个人都产生了怀疑,刘少奇和彭德怀两位革命先辈先后遇害,随后便有了文化大革命,也就是人们常说的‘文革'。‘文革'中一些随着毛主席打下这片江山的人,都被毛主席整得苦不堪言,一些有文化的人就因为自己的某一篇文章,或某个议论,而落为阶下囚。在抗战八年,共产党和国民党打仗打了几年,好不容易打下了江山,建立了中华人民共和国,人民理应安居乐业了,可随后又搞什么大办钢铁,又遇到了几年‘自然灾害',没过几年又闹起了文化大革命,导致了中国的贫穷落后,老百姓是一天好日子也没过上。这都是因为毛泽东心胸狭窄而引起的!"
根据这一片段在一些作文网上仍然能找到这篇作文。
中国数字时代
- 星球商业评论|补课的尽头是科大讯飞
- 海边的西塞罗|GTP-4来了,“奇点将至”对我们会有多么致命
- X博士|改变世界的ChatGPT,诞生于2015年
- 知乎网友|国内研究ChatGPT的主要阻碍是怕它乱说话
- 中国数字时代上更多和【ChatGPT】相关的文章
中国数字空间
- 404重点
- Banned Films
- CDS专页:敏感词库
- Cao Cao's daily observation
- XCiOS俱乐部
- 一位高中生
- 一千只羊群在燃烧
- 上海封城
- 且听且吟且怨亭
- 中南海侍应僧
- 中国人民从此战栗起来了
- 串联
- 主流意识形态
- 举报文化
- 习泽东
- 了解祖国
- 二二八
- 人工智能
- 何桂蓝
- 你是哪个单位的?
- 军队国家化
- 冰川思享号
- 刘少奇
- 刘文彩
- 去毛
- 变态辣椒:神器板蓝根
- 周志兴
- 回旋镖效应
- 国家利益
- 国家反诈中心
- 复学码
- 大跃进
- 大饥荒
- 小明说电影
- 小红书审查百科:一号舆情回查专项3月21日
- 巴丢草:墓碑
- 张伯礼
- 彭德怀
- 微软
- 抗美援朝
- 敏感词库
- 文化大革命
- 文心一言
- 文明码
- 文革
- 新冠敏感词2020
- 李小乖:新业务
- 武汉封城
- 毛岸英
- 毛泽东
- 毛泽东120周年
- 毛粉
- 灌狸猿
- 王文
- 秀场寡头:六月某时
- 科大讯飞
- 管理员
- 管理员(moderator)
- 红太阳的陨落
- 红孩儿十八赢
- 网络审查
- 英雄之菜
- 苹果公司
- 苹果镌刻敏感词库
- 躺平叔带你了解真正的中国
- 近距离2
- 阿平漫画:毛的旗帜
- 非正常死亡
- 非法献花
- 非法献花 非法吃喝,非法默哀,非法XX
- 魔都
- 黄仁勋