CyberClip #29 AI 狂热

Shyrz · 2023年2月23日

23 · 02 · 25 号刊第 29 期

诸位，春日好！

要说 2023 年全球最火热的话题是什么，我想非 ChatGPT 莫属了。虽然早在 2022 年 ChatGPT 开放测试我就已经尝试并一直使用至今，但依然无法想象它有朝一日能引发如此之大的关注和舆论。本期选文《ChatGPT 是互联网的有损压缩》出自著名科幻作家特德·姜之手，他非常敏锐地把握住了当下大型语言模型的本质，并以一张模糊的 JPEG 图片作出了形象而有力的类比。整体上，特德·姜对当下的 ChatGPT 乃至大型语言模型持审慎克制的态度。同时，他又提出了一个十分具有穿透力的深刻洞见：大型语言模型生成的文本在互联网上发布的越多，互联网本身就变得越模糊。而这一观点我目前没有在任何其他有关的评论文本中看到。特德·姜的这篇文章无异于给时下的「ChatGPT 狂热」浇了一盆冷水，但我认为这是恰到好处的。最后，他还以作家的身份，对 AI 在内容生产者、艺术家等群体中引发的一些恐慌作出了回应，都是非常有见地的观点。

哈佛商业评论的文章《哪些人脉真正能帮助你找到工作？》阐释了一项跨越 5 年时间、覆盖 LinkedIn 上 2000 万人的研究，指出弱关系对工作机会的帮助比强关系更大。无论是求职者还是招聘者都应引起重视。

希望有所启发。

博客｜竹白

与 Noom 一起开始健康生活

Noom →

Noom 是一个数字健康平台，帮助你更好地了解自己、大脑以及所践行的健康科学。我们的用户在 16 周内平均减重 15 磅，且无需长期节食 —— 今天就加入，改变你的生活。

（点击上面的链接可以帮助我更好地运营下去，每一次有效点击我都能收到一份微薄的赞助）

ChatGPT 是互联网的有损压缩

→ 原文链接：ChatGPT Is a Blurry JPEG of the Web — Ted Chiang（特德·姜）/ Newyorker / 2023-02-09

OpenAI 的聊天机器人提供释义，而谷歌提供引述。我们更喜欢哪个？

2013 年，德国一家建筑公司的工人们注意到他们的施乐复印机有一些奇怪的地方:当他们复制一份房子的平面图时，副本与原件存在微妙但显著的差异。在最初的平面图中，每个房子的三个房间都有一个矩形来说明其面积：房间分别为 14.13㎡，21.11㎡和 17.42㎡。然而，在复印件中，所有三个房间都被标记为 14.13㎡。该公司联系了计算机科学家大卫·克里塞尔（David Kriesel），对这一看似不可思议的结果进行调查。他们需要一名计算机科学家，因为现代施乐复印机不使用 20 世纪 60 年代流行的物理静电复印工艺。相反，它以数字方式扫描文档，然后打印生成的图像文件。结合这一事实，几乎每个数字图像文件都经过压缩以节省空间，谜底开始浮出水面。

压缩文件需要两个步骤：首先是编码，在此期间文件被转换为更紧凑的格式，然后是解码，这一过程反过来进行。如果恢复的文件与原始文件相同，则压缩过程被描述为无损的:没有信息被丢弃。相比之下，如果恢复的文件只是原始文件的近似值，则压缩被描述为有损的:一些信息已被丢弃，现在无法恢复。无损压缩通常用于文本文件和计算机程序，因为在这些领域中，即使是一个错误的字符也有可能造成灾难性的后果。有损压缩通常用于照片、音频和视频，在绝对精度不重要的情况下。大多数时候，我们不会注意到一张图片、一首歌或电影是否被完美地复制。只有当文件被压缩得非常紧时，保真度的损失才会更加明显。在这些情况下，我们会注意到所谓的压缩伪影：最小的 jpeg 和 mpeg 图像的模糊，或者低比特率 mp3 的微弱声音。

施乐复印机使用一种称为 jbig 2 的有损压缩格式，专为黑白图像而设计。为了节省空间，复印机会识别图像中看起来相似的区域，并为所有这些区域存储一份副本。当文件被解压缩时，它会重复使用该拷贝来重建映像。结果是，复印机判断出指定房间面积的标签非常相似，所以它只需要存储其中一个——14.13 个——并且在打印楼层平面图时，它将所有三个房间都重复使用这个标签。

施乐复印机使用有损压缩格式而不是无损格式，这本身并不是一个问题。问题是复印机以一种微妙的方式降低了图像，其中压缩的伪影不能立即识别出来。如果复印机只是打印出模糊的照片，每个人都会知道这不是原件的准确复制品。导致问题的原因是复印机输出的数字可读但不正确;它使副本看起来准确，但实际上并不准确。（2014 年，施乐发布了一个补丁来修正该问题。）

我认为，在我们考虑 OpenAI 的 ChatGPT 和其他类似程序（AI 研究人员称作大型语言模型）时，施乐复印机的这起事件值得我们铭记于心。复印机和大型语言模型之间的相似之处可能不是很明显，但请考虑以下场景。想象一下，你即将永远失去接入互联网的机会。在准备阶段，你计划为 Web 上的所有文本创建一个压缩副本，以便将其存储在专用服务器上。不幸的是，你的私人服务器只有所需空间的 1%；如果你希望所有的东西都能装下，你就不能使用无损压缩算法。相反，你可以编写一个有损算法来识别文本中的统计规律，并将其存储在一个专门的文件格式中。因为你有几乎无限的算力来完成这项任务，你的算法可以识别非常细微的统计规律性，使你可以实现所需的 100:1 的压缩率。

现在，失去互联网接入并没有那么可怕；你已经将网络上的所有信息存储在你的服务器上。唯一的问题是，由于文本已被高度压缩，你不能通过搜索准确的引用来查找信息；你永远不会得到一个精确的匹配，因为存储的不是词汇。为了解决这个问题，你创建了一个接口，这个接口接受以问题形式进行的查询，并以传达你服务器上的内容要点的答案进行回应。

我所描述的听起来很像 ChatGPT，或者大多数其他大型语言模型。可以把 ChatGPT 看作是 Web上所有文本的有损压缩。它保留了 Web 上的大部分信息，就像 jpeg 保留了高分辨率图像的大部分信息一样，但是，如果要查找精确的比特序列，你是找不到的；你得到的只是一个近似值。但是，因为这种近似是以语法文本的形式呈现的，而 ChatGPT 擅长创建语法文本，所以它通常是可以接受的。你看到的仍然是一张模糊的 jpeg，但模糊生成的方式不会使图片整体看起来不那么清晰。

这种与有损压缩的类比不仅仅是一种理解 ChatGPT 通过使用不同的词汇重新打包 Web 上找到的信息的方法。它也是一种理解「幻觉（原文 hallucinations）」或对事实性问题的无意义回答的方法，而大型语言模型（如 ChatGPT）都太容易出现这种情况。这些幻觉是压缩后的产物，但是，就像施乐复印机产生的错误标签一样，它们似乎是可信的，要识别它们就需要将它们与原件进行比较，在这种情况下，这意味着要么是网络，要么是我们自己对世界的认识。当我们这样想的时候，这样的幻觉一点也不令人惊讶；如果一种压缩算法被设计成在 99% 的原始文本被丢弃后重建文本，我们应该预料到它生成的很大一部分内容将完全是捏造的。

当我们记得有损压缩算法使用的一种常用技术是插值时，这个类比就更有意义了——也就是说，通过查看缺口两侧的内容来估计缺失的内容。当图像程序显示照片时，必须重建压缩过程中丢失的像素时，它会检查附近的像素并计算平均值。这就是当 ChatGPT 被提示用《独立宣言》的风格描述丢在烘干机里的袜子时所做的事情：它在「词汇空间」中取两个点，并生成占据它们之间位置的文本。（「在人类活动的过程中，为了保持衣服的整洁和秩序，一个人必须把自己的衣服和同伴分开……」）ChatGPT 非常擅长这种形式的插值，人们发现它很有趣：他们发现了一种能应用于段落而非照片的「模糊」工具，并且玩得很开心。

考虑到像 ChatGPT 这样的大型语言模型经常被誉为人工智能的前沿，将它们描述为有损文本压缩算法可能听起来有些不屑一顾，或者至少是令人泄气的。我确实认为这种观点为将大型语言模型人格化的趋势提供了一种有用的纠正，但是压缩类比还有另一个方面值得考虑：自2006年以来，一位名叫马库斯·赫特（Marcus Hutter）的 AI 研究人员提供了一项现金奖励——被称为「压缩人类知识奖」或「赫特奖」，奖励任何能够无损地压缩维基百科上特定的 1GB 快照的人，比上一位获奖者的数据更小。你可能遇到过使用 zip 文件格式压缩的文件，zip 格式能将赫特的 1GB 文件压缩到 300MB 左右；最近的获奖者已经设法将其减少到 115MB。这不仅仅是一次磨合练习。赫特认为，更好的文本压缩将有助于创造人类级别的 AI，部分原因是通过理解文本可以实现最大程度的压缩。

→ 拓展阅读：Surfing on Kelly Slater’s Machine-Made Wave

为了掌握压缩和理解之间的拟议关系，假设你有一个文本文件，其中包含一百万个加法、减法、乘法和除法的例子。尽管任何压缩算法都可以减少这个文件的大小，但实现最大压缩率的方法可能是推导出算术原理，然后为一个计算器程序编写代码。使用计算器，你不仅可以完美地重建文件中的一百万个例子，还可以重建你将来可能遇到的任何其他四则运算的例子。同样的逻辑也适用于压缩维基百科的一个片段的问题。如果一个压缩程序知道力等于质量乘以加速度，那么它在压缩有关物理学的网页时就可以舍弃很多词汇，因为它能够重构这些词汇。同样，程序对供求关系了解得越多，它在压缩有关经济学的页面时就能丢掉更多的词汇，等等。

大型语言模型可以识别文本中的统计规律。对网络文本的任何分析都会发现，像「供应短缺」这样的短语经常与「价格上涨」这样的短语紧密相邻地出现。当被问及关于供应短缺的影响的问题时，一个包含这种相关性的聊天机器人可能会回答关于价格上涨的答案。如果一个大型的语言模型编制了大量的经济术语之间的相关性——以至于它可以对各种各样的问题提供合理的回答——我们是否应该说它实际上理解了经济理论？由于各种原因，像 ChatGPT 这样的模型没有资格获得赫特奖，其中之一是它们不能精确地重建原始文本——它们不执行无损压缩。但是，它们的有损压缩是否可能表明其真正做到了 AI 研究人员感兴趣的那种理解？

让我们回到算术的例子上：如果你要求 GPT-3（ChatGPT 所依据的大型语言模型）对一对数字进行加减运算，当数字只有两位时，它几乎总是能回答出正确的答案。但是当数字越大时，它的准确性就越差，当数字有五位数时，它的准确性就会下降到百分之十。GPT-3 给出的大多数正确答案在网络上找不到——例如，没有多少网页包含「245+821」这样的文本，所以它不是在进行简单的记忆。但是，尽管摄取了大量的信息，它也没有能够推导出算术的原理。对 GPT-3 的错误答案的详细检查表明，它在进行算术时并没有携带「1」。网络上当然有关于携带「1」的解释，但 GPT-3 并没有能够纳入这些解释。GPT-3 对算术例子的统计分析使它能够产生对真实事物的表面近似，但仅此而已。

鉴于 GPT-3 在小学教学科目上失败，我们如何解释它有时似乎在写大学水平的论文时表现良好的事实？尽管大型语言模型经常产生「幻觉」，但当「清醒」时，它们听起来就像实际了解经济理论等科目一样。也许算术是一种特殊情况，大型语言模型不太适合这种情况。有没有一种可能，在加法和减法之外的领域，文本中的统计规律实际上与现实世界的真实知识相对应？

我认为有一个更简单的解释：想象一下，如果 ChatGPT 是一种无损算法会是什么样子。如果是这样的话，它总是通过提供来自相关 Web 页面的逐字引用来回答问题。我们可能会认为这个软件只是对传统搜索引擎的轻微改进，并对它印象不太深刻。ChatGPT 从网络上重新表述材料，而不是逐字引用，这让它看起来像一个学生用自己的话表达思想，而不是简单地重复读过的东西；它会造成 ChatGPT 理解材料的错觉。在人类学生中，死记硬背并不意味着真正学会，因此 ChatGPT 无法从网页中准确地引用内容，这恰恰使我们认为它学到了一些东西。当我们处理单词序列时，有损压缩看起来比无损压缩更聪明。

对于大型语言模型，已经提出了许多用途。将它们视为模糊的 jpeg 提供了一种评估它们可能适合或不适合的方法。让我们考虑几个场景。

大型语言模型能取代传统搜索引擎吗？为了让我们对其有信心，我们需要知道它们没有被灌输宣传和阴谋论——我们需要知道「jpeg」捕捉了正确的网络区域。但是，即使一个大型语言模型只包含我们想要的信息，仍然存在模糊性的问题。有一种模糊是可以接受的，那就是用不同的词汇复述信息。然后是完全捏造的模糊，当我们寻找事实时，我们认为这是不可接受的。在消除不可接受的模糊性的同时保留可接受的模糊性在技术上是否可行尚不清楚，但我希望在不久的将来我们能找到答案。

即使有可能限制大型语言模型参与制作，我们应该使用它们来生成 Web 内容吗？只有当我们的目标是重新打包互联网上已有的信息时，这才有意义。有些公司就是这么做的——我们通常称它们为内容农场。也许大型语言模型的模糊性对他们来说是有用的，作为一种避免侵犯版权的方式。不过，一般来说，我想说的是，任何对内容农场有好处的东西都不适合搜索信息的人。这种重新包装的兴起使我们现在更难在网上找到我们想要的东西；大型语言模型生成的文本在互联网上发布的越多，互联网本身就变得越模糊。

关于 OpenAI 即将推出的 ChatGPT 继任者 GPT-4 的信息非常少。但我要做出预测：在组装用于训练 GPT-4 的大量文本时，OpenAI 的人员会尽一切努力排除由 ChatGPT 或任何其他大型语言模型生成的材料。如果事实确实如此，这将无意中证实大型语言模型和有损压缩之间的类比是有用的。反复重新保存 jpeg 会产生更多压缩伪影，因为每次都会丢失更多信息。它相当于过去反复制作复印件的复印件。图像质量只会变得更差。

实际上，衡量大型语言模型质量的一个有用标准可能是公司是否愿意使用它生成的文本作为新模型的训练材料。如果 ChatGPT 的输出对 GPT-4 来说不够好，我们可能会认为它对我们来说也不够好。相反，如果一个模型生成的文本非常好，可以用来训练新的模型，那么我们应该对文本的质量有信心。（我怀疑这样的结果需要在用于构建这些模型的技术上取得重大突破。）如果我们开始看到模型产生的输出和输入一样好，那么有损压缩的类比将不再适用。

大型语言模型能帮助人类创作原创作品吗？要回答这个问题，我们需要具体说明这个问题的含义。有一种艺术流派被称为施乐艺术或影印艺术，艺术家利用影印机的独特特性作为创作工具。使用 ChatGPT 的复印机肯定可以实现这些思路，因此，从这个意义上说，答案是肯定的。但我认为没有人会声称复印机已成为艺术创作中必不可少的工具；绝大多数艺术家不会在他们的创作过程中使用它们，而且没有人会争辩说他们的选择会使自己处于不利地位。

因此，让我们假设我们不是在谈论一种类似于施乐艺术的新的写作类型。鉴于这一规定，大型语言模型生成的文本能否成为作家在写作原创作品时的一个有用的起点，无论是小说还是非小说？让大型语言模型来处理模板，能否让作家把注意力集中在真正有创意的部分？

显然，没有人能代表所有的作家，但我想说的是，从一份模糊的非原创作品开始，并不是创作原创作品的好方法。如果你是一个作家，在你写原创作品之前，你会写很多非原创的作品。花在非原创作品上的时间和精力不会被浪费；相反，我认为正是它让你最终能够创造出原创的东西。花在选择正确的词汇和重新排列句子以更好地遵循彼此上的时间教会了你如何通过散文传情达意。让学生写论文不仅仅是一种测试他们对材料掌握程度的方法；这给了他们表达自己想法的经验。如果学生从来不用写我们都读过的文章，他们就永远不会获得写我们从未读过的东西所需的技能。

这并不是说，一旦你不再是学生，你就可以安全地使用大型语言模型提供的模板。想要表达自己想法的挣扎并不会在你毕业后消失——每当你开始起草一篇新文章时，这种挣扎就会出现。有时候，只有在写作的过程中，你才能发现自己最初的想法。有些人可能会说，大型语言模型的输出看起来与人类作家的初稿没有太大不同，但是，我认为这只是表面上的相似。你的初稿不是一个明确表达的非原创想法；而是一个原始想法的拙劣表达，它伴随着你无定形的不满，你意识到它说的和你想说的之间的距离。这是在重写时指导你的东西，也是当你开始使用 AI 生成的文本时所缺乏的东西之一。

写作没有什么神奇或神秘的，但它不仅仅是把现有的文件放在一台不可靠的复印机上，然后按下打印按钮。在未来，我们有可能创造出一个能够仅凭自己对世界的经验就写出好散文的 AI。实现这一目标的那天确实意义重大——但那一天远远超出了我们的预测范围。与此同时，我们有理由问这样一个问题：复述网络文本有什么用呢？假设可以防止伪造，而我们永远无法访问互联网，并且必须在空间有限的私人服务器上存储副本，那么像 ChatGPT 这样的大型语言模型可能是一个很好的解决方案。但我们并没有失去对互联网的访问。那么，当你还有原始图片的时候，一张模糊的 jpeg 到底有多大用处呢？

哪些人脉真正能帮助你找到工作？

→ 原文链接：Which Connections Really Help You Find a Job? — Iavor Bojinov, Karthik Rajkumar, Guillaume Saint-Jacques, Erik Brynjolfsson and Sinan Aral / Harvard Business Review / 2022-12-01

下次找工作的时候，你应该和谁联系？为了回答这个问题，我们分析了涉及 2000 万人的多个大规模随机实验的数据，以衡量不同类型的人际关系如何影响工作流动性。我们最近发表在《科学》杂志上的结果显示，你的最强关系——即你与直接同事、亲密朋友和家人的关系——实际上对寻找新机会和确保工作的帮助最小。你的弱关系会有更好的运气：与熟人的更不频繁的、一臂之隔的关系。

更具体地说，对寻找新工作最有帮助的关系往往是适度的弱关系。他们在让你接触到新的社交圈和信息，以及有足够的熟悉度和重叠的兴趣，从而使信息有用之间取得平衡。我们的研究结果揭示了联系的强度（以联系前的相互联系数量衡量）与求职者在联系的组织内过渡到新角色的可能性之间的关系。

弱关系更有利于找工作的观察并不新鲜。社会学家马克·格拉诺维特（Mark Granovetter）在1973年的一篇开创性论文中首次提出了这一观点，描述了一个人的网络如何影响他们的工作前景。从那时起，这个被称为「弱关系的力量」的理论已经成为社会科学中最有影响力的理论之一——支撑着信息传播、产业结构和人际协作的网络理论。

尽管格兰诺维特的假设经久不衰，影响深远，但从来没有使用大规模数据进行明确的因果检验。这是因为人们的社交网络与他们的工作同步发展，这使得进行测试该理论所需的大规模实验变得极其困难。也是因为这个原因，这一领域的大多数研究都采用了相关性分析，这使得人们很难知道，实际上是因为关系不紧密，才有人得到了一份工作，还是因为他们的资历或公司正在迅速发展等混杂因素。

我们利用世界上最大的职业社交平台 LinkedIn 的数据来解决这一差距。特别是，我们利用了现代推荐引擎的 A/B 基准测试。随着驱动这些推荐算法的 AI 模型不断改进，新版本会通过随机实验进行严格测试，以确保它们适用于所有用户。考虑到数字平台的规模，这些实验往往规模庞大，涉及数千万用户。

我们分析了来自 LinkedIn 的「你可能认识的人」算法的多个此类实验的数据，该算法向 LinkedIn 会员推荐新的人际关系。这些全球性的实验跨越了五年，随机地改变了 2000 多万人的网络中的人际关系推荐的构成，在此期间创造了 20 亿条新的人际关系和 60 万个新的工作。在偶然的情况下，这些测试改变了推荐中弱关系和强关系的普遍性，而我们正是利用了这种变化。

我们的因果分析证实，较弱的关系最大限度地增加了工作转换的可能性，为弱关系假设提供了第一个大规模的因果检验，并对该理论提出了几个具有重要现实意义的更新：

首先，在寻找新工作时，中等程度的弱关系是最有用的，最强的关系是最没用的。 例如，与只有 1 个共同的朋友的极弱联系相比，有 10 个共同的朋友建立新联系，换工作的概率几乎翻了一番。

其次，虽然弱关系很重要，但平均而言，它们在 IT 和软件采用率高、机器学习和 AI 融合以及机器人化的行业中尤其重要。这很可能是因为这些行业的技术水平往往会迅速发展，跟上前沿技术对成功至关重要。这就是为什么弱联系如此有价值，因为它能让人们广泛接触新技术和方法发展的不同社区。

最后，我们的研究结果表明，弱关系在对远程工作友好的行业中更为重要。随着世界向混合型或WFA（work-from-anywhere，随处办公）的未来过渡，建立和培养弱关系对于职业成功将变得更加重要。

对于求职者来说，结论很明确：你应该积极管理、扩大和多样化你的数字社交网络，因为弱关系会对你的工作前景、工作流动性、晋升乃至工资产生重大影响。对于数字行业或技术正在迅速发展的行业的员工来说，弱关系提供了新的信息，并为他们提供了通往新社区和新机会的桥梁。那些做远程工作的人必须特别注意，因为这样的安排会让你在茶水间的谈话和与陌生人的意外相遇变得困难。

但求职者并不是唯一受到这些结果影响的群体。招聘者也是。我们的研究结果强调了在试图寻找和雇佣顶级、多样化人才时，一个广泛而开放的网络的价值。如今，通过 LinkedIn 等数字平台进行的大量招聘至关重要。了解他们是如何工作的，以及「你可能认识的人」等算法的效用，将最大限度地扩大招聘者聘用优质人才的范围和能力。通过在自己的亲密朋友圈之外寻找工作，并将求职范围扩大到自己的社交网络范围，经理就可以为自己带来一位新的明星员工。这进而可能推动创新，成为企业和经济增长的关键引擎。

除了正在招聘的求职者和招聘者之外，我们的工作还强调了积极管理算法的重要性。如今，组织和数字经济的许多部分都受到 AI 的影响，并在一定程度上受到 AI 的支配。这些算法有能力促进经济准入、提高效率，甚至重新设计公司的运营模式。这就是为什么人工智能需要仔细的管理监督和长期分析将这些算法部署到数百万人身上的因果影响。例如，LinkedIn 已经构建了内部工具来跟踪和解决其平台上每个新功能的意外影响。

正如我们的成果所表明的，如果有效使用，像 LinkedIn 这样的社交媒体平台可以通过算法帮助人们找到合适的联系人，从而为雇主和员工增加经济价值。所以，无论你是求职者、经理还是招聘人员，都要考虑周到、开放地扩大你的网络，在忽略「你可能认识的人」算法的人脉推荐之前要三思而后行。你的次级网络——人脉中的人脉——是通往整个机会世界的大门。

👋如果你喜欢 CyberClip 并愿意帮助我更好地运营下去：

转发给朋友或社交网络
参见 Advertise 页面联系我投放广告
在爱发电或微信给我赞赏，欢迎备注称呼、邮箱
点击下面带有👆标记的推广链接，你的每一次有效点击我都能收到一份微薄的赞助
在你有需求的情况下，通过下面带有⚡标记的推广链接注册付费，我将能从你的支付中获得一定比例（有标注）的返利。请量力而行，理性消费。

❤️感谢你一直以来的支持！

👆Babbel - 在短短三周内开始讲一门新语言
无论你是即将启程旅行，还是多年来一直有学习一门新语言的雄心，你很可能希望尽早开始自信地说这门语言。试试 Babbel，这是一款顶级语言学习应用程序，可帮助用户在短短三周内开始说一门新语言。那是因为 Babbel 不仅仅局限于词汇，而是通过专业外语教师（非 AI）开设的课程（播客、游戏、文章和在线直播课程）与当地人进行现实生活中的交流。立即开始语言学习之旅，享受高达 55% 的折扣。
👆Refind - 每天都变得更聪明
每天根据你的兴趣从纷繁的互联网中精选 7 个链接以使你更聪明。受到多达 10 万用户的喜爱。
👆Revolut - 注册并获得 3 个月的免费 Revolut Premium 服务
当你海淘或是跨国汇款时，银行会向你收取手续费，但我们不会，这就是为什么超过四百万人转而使用 Revolut。