OpenAI第一季剧情回放让我们一步一步来验证Let39sVerifyStepby

图:剧情一波三折,以董事会重组Sam回归CEO作为第一季终结: 11/17周五董事会突然行动原因仍然成谜 。
“
剧情回放:
OpenAl的董事会几个月来一直处于僵局;在Reid、Shivon和Will因为各种原因离开之后,董事会事实上分裂为二:一边是Sam和Greg想要巩固他们在
公司的权力,而海伦Helen,塔莎Tasha和亚当Adam等作为独立董事在另一边试图保持更独立的监督。Ilya倾向于站在他的朋友和同事Sam和Greg一边;他们根本无法就吸纳任何新的董事会成员达成一致。
几个月前海伦发表了她的“解码意图”的论文,其中包含了对OpenAl的批评。山姆关心的当然不是论文本身,那只是一个晦涩的论述 ,可能没有人会注意或关心。 但Sam认为这是个报复海伦的机会,他在没有海伦的情况下召开了董事会,试图把她赶走; 他只需要格雷格和伊利亚站在他这边就能成功。 但他误判了伊利亚。
伊利亚,大家要记住,是一个 有良知的追随自己内心的研究者,而不是像其他人一样是一个无情的执行者。 他看穿了山姆的计划,不同意驱逐海伦。
随着对海伦的政变失败,海伦、塔莎和亚当看到他们的机会:伊利亚已经看到山姆的行为方式,并不认为可以接受。他们现在有了伊利亚,但Ilya很容易动摇,作为独立董事他们可能在Sam的操纵下坚持不了多久;所以他们下手很快,4名董事会成员同意解雇Sam作为CEO,并将Sam和Greg逐出董事会。
这是合法的: 毕竟,萨姆曾试图以无须有 的理由驱逐海伦, 并在整个僵局中以各种其他方式进行操纵。 他们知道接下来会发生混乱,但他们有谈判的筹码,这是他们唯一的机会。 所以他们就这么干了!
题记
Ilya最后的反转,从人性角度来看,尽失人心,而从AGI信仰角度,始终如一;以AGI的名义来看, O penAI创始 三人组 不能散,否则AGI 不但会delay, 更易失控 。
OpenAI的商业模式和治理结构需要领先的hype! 否则 信仰驱动就要降级成薪水驱动(paycheck-driven);
Ilya负责人工神经网络(Artificial NeuralNets)的理念与信仰遥遥领先!
Greg负责信仰的一部分落地实现!
Sam则负责将遥不可及的封顶的资本(Capped profit) hype得伸手可摘!
在 这场事关AGI控制权的游戏里,相比于Ilya更懂如何操纵超级人工智能对齐(Superalignment),Sam更懂得如何操纵人类智能(Humanity Intelligence)之上的人性。
以AGI的 名义之一:OpenAI的治理结构

△
-摘自OpenAI官网[https://openai.com/about]
OpenAI当前的企业治理架构是整个剧情发展理解的关键。在OpenAI官网的描述中值得注意的关键词是:非盈利nonprofit / 利润封顶capped-profit / 安全safety。
“ 我们由 非盈利 组织管理,我们独特的 利润封顶模式 推动着我们对 安全的承诺 。这意味着,随着人工智能变得越来越强大,我们可以重新分配公司利润,最大限度地发挥人工智能技术的社会和经济效益 。 ”
而这个架构的前提,或者说整个OpenAI的愿景是一个前所未有的全新范式:通用人工智能(AGI);而这个愿景的最初还是Elon Musk作为主要发起人的完全非盈利组织-OpenAI Inc(也就是在本次公告里说的董事会治理下的501(c)(3)的公共慈善机构或简称OpenAI Nonprofit)就确定下来的。
2019年成立OpenAI GP LLC则解决了在前期难以为继的,面临的当前大模型高昂的训练成本问题,微软的49%投资则通过OpenAI Global LLC这个利润封顶的实体进行。此外员工以及早期其它投资者的利益则是通过OpenAI Inc下的一系列控股公司实体来持有OpenAI Global LLC来分配。
从OpenAI官网披露的OpenAI Global LLC的投资条款看起来非常苛刻:

按笔者非专业视角解读来看,接受这些条款简直就是意味着为AGI信仰而投资,近乎捐赠!而且微软公司没有董事会席位,也没有控制权;同时AGI 被明确排除在所有商业和知识产权许可协议之外。 这也意味着,假如GPT-5被OpenAI确认为AGI,那这个产品的收益与微软的投资无关。
所以在本次11月17日官宣CEO离职、并和Greg一起被董事会除名之后,人们会发现控制非盈利机构OpenAI LLC的六席董事以及公司的治理结构非常奇特,当前的成员包括:
- 伊利亚·苏茨凯弗(Ilya Sutskever) , OpenAI首席科学家, 是OpenAI的联合创始人之一,曾在Google担任研究科学家,领导过AlphaGo项目,当前致力于超级对齐和人工智能监管。
- 亚当·安杰洛(Adam D'Angelo) :Quora联合创始人兼CEO,他强调通用人工智能的重要性和非营利性控制。
- 塔莎·麦考利(Tasha McCauley) :是兰德公司 (RAND Corporation) 的一名兼职高级管理科学家,曾创办多家初创公司,支持人工智能治理,与亚洲的人工智能生态系统有关。
- 海伦·托纳(Helen Toner) ,是乔治敦大学安全与新兴技术中心的战略与基础研究拨款总监,专注于人工智能的长期风险和影响,也与中国人工智能领域有关。
算上被官宣除名的Sam的董事席位和Greg的董事主席位,人们会发现 6席董事席位中,几乎没有成员持有OpenAI LP(或LLC)的股份,包括CEO在内 ,只通过pre-seed 轮YC的投资间接持有极少的股份。
董事会专注于公司使命,不受投资回报的制约,可以将赚来的资金再次用于研发,这类似于慈善捐赠。在GP和LP之间发生冲突时,只有未持股的董事会成员可以参与决策,以确保董事会的决策独立性。 (详情见公众号文章- 谁在控制OpenAI?OpenAI公司结构、董事会详解 )
这个董事会的奇怪之处是,以非盈利组织名义,控制一个有盈利上限的商业组织。这个结构最容易出问题的地方是创始三人组必须团结一致,否则就会导致像Sam和Greg在周五被除名之后,董事会实际上 已经促成了一个死局: OpenAI这家以伟大的为人类福祉为愿景的AGI为使命的公司,面临崩塌,而控制权实际上目前在三位独立董事手里!
这种公司治理架构,在周末的冲突中,导致员工无法相信自己的利益会被董事会考虑,几乎立刻全部倒向Sam&Greg在外的控制权争夺操控,甚至连Ilya本人也不得已倒戈,最终导致董事会的重组,并由原独董Adam、前财政部长Lawrence,前Salesforce的CEO Taylor领衔启动组建新的董事会,并成立调查小组对董事会先前的一系列决定进行调查。由此NYT发文感叹:AI现在落到资本家们手里了!

以AGI的名义之二:什么促成董事会的 周五 决定
2023年11月18-19日这个周末,围绕OpenAI的AGI路径控制权,OpenAI的六席位董事会以及全体OpenAI成员, 度 过了难忘的72小时,甚至有人翻出Sam在8月份收到一个新的游戏更新时发的玩笑帖子说: AGI delayed another 4 days!

AI范儿社区紧密跟踪事态发展,并发布一系列进展文章,这里不再赘述。随着新的董事会启动成员确定,Sam与Greg均回归OpenAI,这波剧情暂告一段落。
目前为止董事会为什么采取突然行动的背后原因依然成谜。从事后来看,至于公告里说的Sam在与董事会沟通过程中并不 前后 一致保持坦诚,且阻碍了董事会行使其职责,仍旧讳莫如深。
从最新爆料看,Sam和Greg都回归管理岗位,但暂时未能回董事会,一切要等新的启动董事会调查结束,最终的董事会结构安排目前尚未可知,但相信整体上会对之前的治理上的致命问题有所考虑。
董事会在对 Altman 先生的离职进行审议后得出结论,Altman 先生在与董事会的沟通中未能始终保持坦诚,妨碍了董事会履行职责的能力。 董事会不再相信他有能力继续领导 OpenAI。
对周五的决定, 回顾这几天的信息, 有线索支撑的 ,起码 三位独立董事中的两位是有 投赞成票的动机 的。
投票一:亚当·安杰洛(Adam D'Angelo) |Quora联合创始人兼CEO,在10月26日推出了PoE的Creator利润分享服务,说白了就是GPT的套壳服务,与Sam在DevDay上力主推出的GPTs,是有产品与利益层面的冲突的,在这周末闹剧面前显得说不出的突兀。
投票二: 海伦·托纳(Helen Toner) | 负责乔治敦大学安全与新兴技术中心的战略与基础研究,爆出 在Altman被解职前几周,Sam与其讨论了她最近与乔治敦大学安全与新兴技术中心合作编写的一篇研究论文。
Altman抱怨这篇论文似乎批评了OpenAI在保持其人工智能技术安全方面的努力,同时赞扬了竞争对手Anthropic采取的方法。Toner 辩解 说,这是一篇学术论文,分析了公众在试图了解发展人工智能的国家和公司的意图时所面临的挑战。
但Altman持不同意见,认为这会对公司产生负面影响,并在周五的沟通中挑战是否应先罢 免Helen。但最终是 Ilya支持解职Altman,并宣读了董事会的声明,称Altman被解职是因为他 在与董事会的沟通中不“一贯坦诚”。
至于其它两票| 塔莎·麦考利(Tasha McCauley) 目前没有更多消息传出。 不 过 继临时过渡CEO Mira Muranti 后的 埃米特-希尔 Emmett Shear,有点意外是个非常识时务的人,知道自己并不会被OpenAI的员工接受之后,以 董事会没有提供罢免Sam的书面证据为由,这位历时 72 小时的 OpenAI 临时 CEO 不想继续担任 CEO,相反,他力主通过谈判让Sam回归。
以AGI的名义之三:Ilya的反转与幻觉
至于Ilya Sutskever的一票| 非常关键。剧情的最初,都认为是Ilya主导。因为整个董事会结构中,只有他站出来打破平衡,才有可能促成Sam的罢免,以及Greg的董事会席位解除。但在四人董事会与Sam&Greg操纵员工的对峙中,不知道为何突然反转,转而支持Sam&Greg回归,让OpenAI重归为一个整体。
这一反转剧情,显然超出几乎所有人的预料。 包括笔者当时 预测: “围观了这周末大Drama,这里做个大胆的预测: OpenAI就此分裂为二,AGI信仰的少数派和股票期权的多数派。 ” ;到这里只能从 人性高度,将其底色置于商业与信仰的剧情巨幅波动下考量。直到现在, 与AI范儿社区关注的一样,心中另一种声音仍旧浮现不去: Ilya为何会掀起这场AGI控制权风暴?
是董事会收到的OpenAI离职员工 匿名信触发么? 详见: 马斯克曝OpenAI离职员工匿名信:指控Sam Altman不当行为
是DevDay后Sam的一系列筹资活动暴露出的激进野心以及用户数暴涨么 ?
是Sam在前一天的OPEC CEO峰会上的讲话表述的第4次重大突破么 ?

还是11月初内部的Demo上看到了什么以及Sam因此信心满满 ?

直到今天Reuters爆出独家:OpenAI 研究员在 CEO 被撤职前向董事会发出 AI 突破警告 — 据知情人士透露;详见: 奥特曼离职原因曝光:OpenAI发现了构成人类威胁的AI突破 。
这个在OpenAI内部称为 Q*(Q-Star)的项目 ,来自OpenAI研究团队早在GPT系列之前努力的强化学习方向,而Ilya曾在一个关于超级对齐的研讨会上说:我们从大模型中看到的真正创新的样例都来自强化学习(Reinforcement Learning)。

在今年5月份Ilya署名的一篇题为《Let‘s Verify Step by Step》的论文中,过程监督强化学习大大提高了LLM的多步推理能力,尤其在数学MATH测试集上的表现。

这似乎表明在LLM中,直接针对你想要的东西进行优化得到的比希望它自己涌现更强大。
“𝘐𝘯 𝘓𝘓𝘔’𝘴, 𝘰𝘱𝘵𝘪𝘮𝘪𝘻𝘪𝘯𝘨 𝘥𝘪𝘳𝘦𝘤𝘵𝘭𝘺 𝘧𝘰𝘳 𝘵𝘩𝘦 𝘵𝘩𝘪𝘯𝘨 𝘺𝘰𝘶 𝘸𝘢𝘯𝘵 𝘪𝘴 𝘮𝘰𝘳𝘦 𝘱𝘰𝘸𝘦𝘳𝘧𝘶𝘭 𝘵𝘩𝘢𝘯 𝘩𝘰𝘱𝘪𝘯𝘨 𝘪𝘵 𝘦𝘮𝘦𝘳𝘨𝘦𝘴”
让我们不得不重新审视LLM继Pre-Training中的自掩码监督学习的下一步:针对动作任务的强化学习。
据称Q*项目解决了从next token预测到动作的高效搜索、从基于语言学习的认知到基于动作搜索的计划决策、从LLM到agent,并且相信人工神经网络的自主性大大增强,离自我意识也大大前进了一步。

而且从各方信息反馈看,如同Transformer到了OpenAI手里导致GPT系列的突飞猛进一样,这个基于 Q learning + GPTZero合成数据的强化学习的自我迭代 (限于篇幅需要另文跟踪报道), 很有可能就是导致OpenAI的AGI加速的关键,而这一进展是否及时有效和早已全面转向超级对齐的Ilya及独立董事们沟通?
以及Sam&Greg 11月初以来的一系列外部活动是否董事会知情?极有可能就是导致上周五的激烈行动的导火索!也可以解释官方通告上说的“ 与董事会的沟通中未能始终保持坦诚”(not consistently candid in his communications with the board)。

至于其它分歧,散见于前序文章中的部分章节: 信仰的归信仰,商业的归商业|AGI是信仰的游戏,还是商业的操纵?|这场闹剧是GPT-5的内部觉醒,还是造物主的人性精妙设计?
不过笔者在一个𝕏帖中,针对AGI信念,对Sam和Ilya的一致与差异做了定性的总结:

在这场AGI的游戏里,相比于Ilya更懂如何操纵AI对齐,Sam更懂得如何操纵HI(人类智能)人性。
Elon表示了他对“10月7日Ilya有关于人性中智能价值唯上的质疑”的回复感叹,在好事𝕏友的引用提及下又做了进一步的解释:
“我非常担心。
伊利亚有良好的道德观,不追求权力。
除非他认为绝对有必要,否则他不会采取如此激烈的行动。”
以Elon Musk对于Ilya的humanity信念的评价,我也觉得:
“相比于Sam身上表现出来的humanity很可疑;性取向,整容,BigSur的末日bunker,worldcoin项目...总之我还是觉得Ilya靠谱些!“
本文写到这里篇幅又已经过长,笔者想起之前看过的最新Ilya视频访谈片段:
在视频片段末,针对主持人问他的什么是他这些年来最为震惊的AI进展,Ilya纠结了很久,最后仿佛说了他能说的,就是:
“When I speak to it, I feel understood!”
毋庸置疑,伊利亚是AGI坚定的信仰者,这种信仰源自于对深度神经网络机器学习持续坚持20年的热爱。最近,他的主要工作已经全面转向超级对齐(superalignment)。 在上面视频的这段采访中的Ilya还表示, GPT 的架构 Transformer显然可以让我们走向 AGI。
他还补充道: 我们不应该从二进制角度思考“是否足够”,而是“需要付出多少努力,使用这种特定架构的成本是多少”? 也许进行一些修改,可以有足够的计算效率优势; 专门的大脑区域并未完全硬编码,但具有很强的适应性和可塑性; 人类皮质非常均匀。 你只需要一个大的统一架构。
笔者的理解Ilya的这番表述是, 在 人工神经元( artificial neuron)基本功能的数字化实现后,然后就是玩神经元的架构组合工程游戏,而AGI的路径显而易见的吧。
Ilya对于数字智能的神经网络(neural nets)的表述, 从“略有感觉(feeling)“到“被理解的感觉(understood)“ ,以笔者个人这段时间的理解,这种表述转变的潜台词是:
在GPT-4的交互中,你可能还在迟疑,这GPT表示出来的那种feeling,是它从人类语言中解析得到还是它自己的? 但月初的这个下一个版本的GPT给Ilya的感受是一种智能对等的“被理解”的感觉!
这可能是基于 数字智能的神经网络(neural nets)的智能的一种飞跃,这种飞跃笔者认为离这种神经网络的自我意识几乎已经很迫近,一旦这样的智能有了自我主张,而人类尚未做好AI安全对齐、打上人性的印记(Imprinting,详见公众号文章 伊利亚·苏茨克沃尔(Ilya Sutskever)真正想要什么? ),那其中的安全风险不是OpenAI的简单的商业化价值、以及一些员工个人的股票期权价值所能权衡的!
回到周五行动动机| 如此激烈的行动清 除Sam实在是发生了“天大的事“! 在AGI信仰与使命,以及群体人性价值面前,商业利益与员工的期权股票价值简直无法相提并论。而 这事态的保密程度,连大家一致认为知情的Andrej Karpathy老师也一头雾水。从现在看,Ilya肯定对于11月初的进展细节并不完全清楚。
而且就在Sam被解雇的前一天,他在一个博主的podcast现场发表了这篇令人不寒而栗的演讲中说到:
"这是我们创造的工具,还是我们创造的生物?"
这条时间线与Reuters的爆料的 Q* (Q-Star)项目相吻合。
就在剧情休整的感恩节期间,Sam发了一条 𝕏文:与Adam 度 过了愉快的几个小时节日时光!

(本系列剧情解读未完待续 )
原文链接 :
-相关 𝕏文及视频
-Reuters相关爆料:https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

往期推荐

可汗学院创始人:应该给全球每个学生提供一个人工智能助教
伊利亚·苏茨克沃尔(Ilya Sutskever)真正想要什么?
OpenAI首席科学家的思维世界:超级智能的未来之谜和与机器的融合
OpenAI的AGI信仰与权斗|站在AGI的十字路口|从“GPT略有感觉”到“感到被GPT理解”
信仰的归信仰,商业的归商业|AGI是信仰的游戏,还是商业的操纵?|这场闹剧是GPT-5的内部觉醒,还是造物主的人性精妙设计?
OpenAI第一季剧情拼图:以AGI的名义

共有 0 条评论