# 红杉「Own Your Intelligence」系列专题 4：Harvey 如何低成本搭建研究实验室 AI智识录 · 2026-08-13 在红杉资本「Own Your Intelligence」系列分享中，法律AI独角兽Harvey联合创始人兼总裁Gabe Pereyra讲解了应用层公司如何在预算内搭建研究实验室：不与前沿实验室拼资金和算力，而是借力前沿生态（Frontier Ecosystem）竞争。面对律所客户极苛刻的保密要求，Harvey无法在真实客户数据上训练，于是让精通AI的顶尖律师——包括Gabe的弟弟Julio——以类似Vibe Coding的方式指导大模型，生成数千万Token级的高保真合成数据，并开源了LegalAgent Bench、合同数据集和尽调数据集，其中最大数据室含8000万Token，尽调集含超1000个用LLM做评委的单元测试。在后训练上，Harvey与Fireworks、Base 10、Trajectory等多家NeoLabs合作，把Kimi 3、GLM等开源基座模型后训练到特定任务可用的前沿水平，并主张在考虑后训练之前就建好覆盖60个国家的评测、监控与模型路由基础设施，让自研、开源、闭源模型走同一套生产流程。他还指出垂直产品的重心正从"赋能个人"转向"组织级AI生产力"，帮助律所协调成千上万个客户项目、20到30人的跨所团队与资源分配。Gabe以《点球成金》作结：应用层若用有限预算靠这套打法获胜，就改变了游戏。 ## Questions this episode answers ### Harvey 无法使用客户数据训练模型，他们如何生成高保真的合成训练数据？ Gabe 介绍，Harvey 让精通 AI 的顶尖律师（包括他弟弟 Julio）像 Vibe Coding 一样指导大模型生成数据。以尽调场景为例，Julio 先写评分细则，把要检查的问题埋进场景，再据此生成包含上万份合同、彼此契合的假数据室，用 Merker 和 Snorkel 让合同逼真，最后检验模型能否抓出所有被埋入的问题。 [3:52](https://ai.podhood.com/0574c043-b832-4e8a-9ca0-372c42060105?t=232000) ### 为什么 Harvey 要把自建的数据集和基准开源？ Gabe 说，只有很多人在上面训练，才能发现数据集的问题，就像 Google Brain 时代的 ImageNet、CIFAR、MNIST 都是开放的。开源后他们收到大量 Pull Request 和建议，实验室发布新模型时会在其数据集上跑基准，Elon 也转发了它，这帮助 Harvey 持续改进基准。 [5:20](https://ai.podhood.com/0574c043-b832-4e8a-9ca0-372c42060105?t=320000) ### 应用层公司为什么应该和多个 NeoLabs 合作做后训练，而不是只挑一个？ Gabe 解释，Harvey 的研究项目比单一 NeoLab 能承担的带宽更多，而且每个 NeoLab 都在下不同的赌注、有不同的研究思路和可训练的开源模型，合作越多学到越多。他们与 Fireworks、Base 10、Ngram、Trajectory、Applied Compute 等分别在不同方向合作，并越来越多地用 Tinker 这类 API 自己做后训练。 [7:42](https://ai.podhood.com/0574c043-b832-4e8a-9ca0-372c42060105?t=462000) ### Harvey 如何决定一个新模型能否投入生产，以及投入后如何监控？ Gabe 说生产前有实验室基准做自动化评测，快速判断模型强弱及在法律各领域的表现；再做人机并排的人工测试、每个产品表面的关键用户旅程与自动化产品测试，加上成本、延迟、区域可用性等启发式规则。上线后通过 A/B 测试、参与度、正常运行时间、Token 效率和愤怒的客户邮件来监控，且后训练与非后训练模型走同一套流程。 [9:37](https://ai.podhood.com/0574c043-b832-4e8a-9ca0-372c42060105?t=577000) ## Key moments - **[0:00] 开场与嘉宾** - **[1:35] 借力前沿生态** - [1:35] Harvey 联创 Gabe Pereyra：应用层公司靠「前沿生态」就能与前沿实验室竞争 - **[2:39] 基准与数据集** - [2:39] Harvey 发布三大法律数据集：LegalAgent Bench、合同谈判集与 8000 万 Token 尽调 RL 环境 - [3:52] 客户数据不能碰，Harvey 让顶尖律师像 Vibe Coding 一样指导大模型生成合成训练数据 - **[5:07] 开源基准** - [5:20] Harvey 开源法律基准：ImageNet 时代证明，开放数据集才能暴露问题、吸引全行业训练 - **[5:51] 后训练合作** - [5:51] Gabe Pereyra：Kimi、GLM 等开源基座已可在垂直任务上后训练到前沿智能水平 - [7:09] Harvey 同时与 Fireworks、Base 10、Ngram 等多家 NeoLabs 合作：每个实验室下不同赌注 - **[8:06] 生产服务** - [8:44] 模型上线前评测体系：实验室基准、人工并排测试、产品旅程测试加成本延迟启发式规则 - [11:16] 开源替换与模型路由：Harvey 把引用生成等场景换成 GLM 5.2，省成本再启动后训练飞轮 - **[12:29] 点球成金** - **[13:16] 合成数据问答** - [13:34] Harvey 弟弟 Julio 的合成数据妙招：先埋评分细则再生成数据室，破解律所「先证明再给数据」死锁 - [15:49] Gabe 谈早期招聘失误：别和拿 1 亿美元薪酬包的前沿实验室抢研究员，如今人才池已打开 - **[18:31] 流水线调试** - [19:46] 开源基准的张力：Harvey 与实验室共享数据换产品改进，闭源基准则难证真实 - [20:45] Gabe 引《点球成金》：用小预算的队伍赢了，我们就改变了游戏 - **[21:04] 开源理念** - **[22:58] 开放难题** - [23:06] Harvey 最大开放难题：合成数据分布与生产分布不匹配，8000 万 Token 长上下文仍是短板 - **[24:46] 组织生产力** - [25:12] 从个人生产力到组织生产力：Harvey 把律所 6 个月客户项目变成人机协调的项目管理机器 ## Speakers - **Gabe Pereyra** (guest) ## Topics 模型评估 ## Mentioned Applied Compute (company), Base (company), Fireworks (company), Harvey (company), LangChain (company), Merker (company), Ngram (company), Snorkel (company), Trajectory (company), GLM (product), Tinker (product) ## Transcript ### 开场与嘉宾 **Gabe Pereyra** [0:00] 感谢 " 屠龙之术 " 主播庄明昊老师的推荐 。 红杉资本近期发起了一个名为 "Own Your Intelligence" 的系列专题分享 ， 邀请在 " 企业自建智能 " 方面实践最多的几家公司 ， 围绕战略理念 、 模型后训练 、 强化学习环境与垂直落地四大议题做系统分享 。其中垂直落地的超级范本当属法律 AI 独角兽 Harvey。 本期由 Harvey 联合创始人兼总裁 Gabe Pereyra 分享 ： 面对律所客户极苛刻的数据保密要求 ，Harvey 无法拿真实数据训练模型 ， 转而让精通 AI 的顶尖律师凭借专业直觉指导大模型 ， 生成了数千万 Token 级的高保真合成数据 ，并开源为行业评测基准 。他主张应用层公司不必自建算力与研究团队 ，而是借力 Fireworks 等前沿生态做后训练 ， 配以严密的评测与路由机制 ， 最终实现从 " 赋能个人 " 向 " 组织级 AI 生产力 " 的跨越 。 **Guest** [0:59] 接下来我们很荣幸请到了 Gabe。Gabe 是 Harvey 的联合创始人兼总裁 ， 很多年前你曾是 DeepMind 的研究科学家 ， 后来去了 Meta， 我想是在你向大学室友展示 GPT-3 能做什么之前 ， 然后这对搭档就变成了 Harvey。 我们真的很高兴你能来 。 我觉得在座各位都是应用层公司 ， 都在思考如何开始做自己的研究 、 后训练自己的模型 、 以及创建自己的实验室 ， 所以我觉得 Harvey 在这方面确实树立了榜样 。 我们非常高兴请你来讲讲你们是怎么建立 Harvey Labs 的 。 **Gabe Pereyra** [1:35] 太棒了 。 所以这场演讲的另一个标题是 " 在预算内构建研究实验室 "。 如果你是应用层公司 ， 和前沿实验室竞争是一场不公平的游戏 ： 有富有的团队 ，也有贫穷的团队 ， 然后还有我们这些在应用层的前沿实验室 ，有更多的钱 、 更多的人才 、 更多的算力 、 基础设施和数据 ， 那你怎么竞争 ？ ### 借力前沿生态 **Gabe Pereyra** [1:58] 答案是 ： 利用前沿生态 Frontier Ecosystem。 四年前我们创办 Harvey 的时候 ， 这些公司大多要么不存在 ， 要么刚刚起步 ， 所以我们要么得自己造一切 ， 要么在大多数情况下专注于不同的东西 ， 比如建立我们的市场 、 进入组织 GTM 到 Org 和一个好产品 。 但今天 ， 利用前沿生态 ， 我认为你可以与前沿实验室竞争 ， 构建前沿智能 。 这场演讲就是我们的高层打法手册 Playbook， 我会讲讲我们如何构建基准和训练数据 、 如何与 NeoLabs 合作做后训练 ，以及我们如何在生产中服务这些模型 。 ### 基准与数据集 **Gabe Pereyra** [2:39] 首先 ， 你要构建一个基准 。 如果你没有一个好的基准 ， 你就无法训练模型 ； 如果你无法训练模型 ， 你就不需要在生产中服务它们 。 所以今年我们发布了我们构建的三个这样的数据集 ： 我们首先构建了 LegalAgent Bench， 这是一个大型律师事务所里律师助理会做的任务分类体系 ； 这些任务覆盖多个业务领域 ，而且是复杂的任务 ， 比如起草复杂的基金 、 设立文件 、 做判例法研究之类的 ； 接着我们又构建了一个合同数据集 ， 这让我们能教智能体像公司法务部门那样进行谈判 。 然后我最兴奋的是我们最近发布的一个大型尽调 Diligence 数据集 ， 我认为这是已发布的最大的 RL 环境之一 ， 这里最大的数据室有 8000 万个 Token， 它让我们能在长 、 上下文 、 非常复杂的任务上做研究 ，而且我认为这些数据集最有趣的地方在于我们是怎么构建它们的 。Harvey 在训练模型时一直面临的一个挑战是 ： 我们不能在客户数据上训练 。 我们与最大的律师事务所和企业合作 ，他们的法律数据极其敏感 ， 那是特权保密信息 ， 所以你不能把它放进通用模型里 ， 我们甚至不能把它放进我们自己的模型里 。 那么在这种情况下怎么训练模型呢 ？ 今年开始效果非常好的一个方法是用领域专家来指导合成数据的生成 。Richard Brandon 有一个很好的类比 ： 就像工程师现在不写代码 ，而是 Vibe Code， 用感觉写代码并指导这些编码模型一样 ， 我们也开始做同样的事情 。 所以我弟弟实际上就是 Harvey 的一名律师 ，他已经非常擅长使用这些编码模型了 ，他训练了我们其他律师也这么做 ，他们能生成极其真实的数据集 ， 我们可以用来训练 ，也可以用来评估我们的产品 。 一旦你做到了这一点 ， 合成数据本身还不够好 ，但它是一个起步的方式 。 所以我们与 Merker 和 Snorkel 这样的公司合作 ，他们让你能规模化这个过程 ， 构建更大的数据集 ， 特别是用于训练 。 一旦你做到了 ， 你需要把这些数据集变成高效的 RL 环境 。 随着这些数据集越来越大 ， 评估变得非常昂贵 ， 成本会变得很高 。 比如在我们的尽调数据集中， 我们有超过 1000 个单元测试 ， 用 LLM 作为评委来给模型输出打分 。 如果你使用最大的模型 ， 还想做 RL rollout 之类的事情 ， 成本会非常高 。 ### 开源基准 **Gabe Pereyra** [5:07] 所以这里面有大量的工作 ， 这里有一些我们和 LangChain 一起做的工作 ， 来让这些变得非常高效 。 然后我们做的最后一件事 ， 当时我觉得有点争议 ， 就是开源其中一些数据集 。 这样做的动机是 ： 除非有很多人在上面训练 ， 否则你很难知道你的数据集好不好 。 当我在 Google Brain 和 DeepMind 做研究的时候 ， 最好的数据集都是开放的 ， 比如 ImageNet、CIFAR、MNIST， 每个人都在用 ， 你能够发现所有的问题 。 我们收到了大量的 Pull Request， 我们收到了很多建议 ， 然后我觉得越来越常见的是 ， 实验室报告新模型时会在我们的数据集上跑基准 ， 然后最重要的是 Elon 转发了它 。 所以一旦你构建了基准 ， 现在你就有东西可以训练模型了 。 现在令人兴奋的是 ， 开源模型正在变得有竞争力 。在过去 ， 做后训练不值得 ，因为模型从预训练中进步得太快 ， 你做的任何后训练很快就被下一个预训练模型吸收了 。 ### 后训练合作 **Gabe Pereyra** [6:11] 但现在有了像 Kimi 3、GLM 5.2、Nemo Megatron、Inkling 这样的模型 ，有可能拿这些非常强的开源基座模型后训练到前沿智能的水平 。 也许不是通用的前沿智能 ，但如果你有一个像我们这样的特定任务 ， 它们是有竞争力的 。 所以我们推荐的入门方式是 ： 与 NeoLabs 合作 ，他们有大量的专业知识和基础设施已经准备好了 ， 帮你确保你的训练数据集是好的 ，他们有配方 recipes。 通常如果你和他们合作却无法得到更好的结果 ， 那很可能是你的数据集出了问题 。 这是一个非常好的启动方式 。 所以我们与这些不同供应商做了一些有趣的工作 ：Fireworks 我们训练 GLM 5.1 使用 Fable， 或者也许 Opus 4.8 作为顾问模型 ， 得到了一些非常有趣的结果 。Base 10 我们在知识库压缩 KB Compaction 上做了一些有趣的工作 。Ngram 我想他们今天在场 ， 我们在企业搜索和事务所知识上做着有趣的工作 。Trajectory 我们和他们合作训练 Nemo Megatron 模型 ；Applied Compute 我们在我们的 Vault 产品上做一些有趣的工作 。 我想我们收到的一个问题是 ： 为什么要和多个 NeoLabs 合作 ？ 为什么不只挑一个 ？ 对我们来说 ， 随着我们扩大研究实验室 ， 我们的研究项目比我们内部或只用一个 NeoLab 能承担的带宽要多 ，而且每个 NeoLab 都在下不同的赌注 ，他们有不同的研究思路 ， 我们有不同的想训练的开源模型 。 我们合作得越多 ， 学到的就越多 ，而且做后训练比以往任何时候都更容易 。 所以第一 ， 和 NeoLabs 合作 ： 我们在与他们的合作中学到了很多 。 然后我们越来越多地用 Tinker 这样的 API，以及 Fireworks 和 Base 10 构建的基础设施 ，在内部自己做后训练 ， 后训练这些模型再服务它们 ， 从未如此简单 。 ### 生产服务 **Gabe Pereyra** [8:06] 而且可用的后训练人才也越来越多 ， 我们也一直在招 。 受到 Cursor 的启发 ， 这些努力的目标是让我们构建自己的 Composer 1 版本 ： 我们如何把我们与合成数据做的所有工作 、 用 Merker 规模化 ，以及与 NeoLabs 的合作 ， 打包进一个我们可以与闭源模型一起服务的模型里 。 现在 ， 一旦你后训练了一个模型 ， 你需要能在生产中服务它 ， 这可不是小事 。 所以我想先谈谈我们的模型服务基础设施 ，因为我觉得有时候人们仍然把应用层公司想象成你在调用一个单一的模型端点 ，也许是一个聊天产品 。 所以我们在过去四年里解决的一个大问题是 ： 我们在 60 个国家运营 ， 我们有多个产品表面 ， 客户有不同的模型偏好 ， 即使是闭源模型 ， 你如何大规模地服务它们 。 所以这个矩阵让你感受到 ， 当我们考虑大规模服务这些模型时， 需要处理的所有事情 。 举个简单的例子 ： 对每个模型家族 ， 我们需要服务多个这样的模型 ； 我们需要跨供应商有回退机制 ，以满足我们的 SLA（ 服务等级协议 ）。 现在有了像 Fireworks.ai 这样的公司 ， 我们可以把开源模型加进这个组合里 。 为了思考何时在生产中服务模型 ，以及如何在生产中监控 、Modern、Monitor 它们 ， 你需要提前把这些基础设施建好 ， 甚至在你考虑后训练之前 。 所以这就是我们思考的方式 ： 当有一个新模型发布时， 无论是开源 、 闭源 ， 还是我们自己后训练的模型 ， 我们如何决定是否把它投入生产 ； 然后一旦投入生产 ， 我们如何决定是否让它留在生产里 。 在生产前 ， 我们有一组通用的评测 。 就自动化而言 ， 我们有我刚才提到的实验室基准 。 每当新模型出来 ， 它就能让我们非常快速地了解 ： 这是不是一个前沿模型 ， 它有多强 ， 它在法律的哪些领域表现好 。在通用情况下， 我们有人工测试 ， 我们把这个模型和其他模型并排运行来比较它们 。 然后对每个产品表面 ， 我们都有关键用户旅程和自动化产品测试 ，因为一个模型可能在通用情况下非常好 ，但它可能不适合特定的产品表面 。 然后我们还有人肉产品测试 ， 这些信号加上关于成本 、 延迟 、 区域可用性的启发式规则 ， 就是我们如何决定是否把一个模型投入生产的 。 而且我认为重要的一点是 ， 无论是对后训练模型还是非后训练模型 ， 这都是同样的流程 ， 所以你可以复用这套基础设施 ，而且你应该在考虑后训练之前就把它建好 。 一旦模型投入生产 ，也是一样 ： 不管模型有没有后训练 ， 如果我们推出一个大的变更 ， 我们会做 A/B 测试 ， 我们会看参与度 ， 来追踪这个模型是否按我们预期的方式表现 。 然后我们会看正常运行时间 、Token 效率之类的东西 ， 然后我们称之为产品反馈 ， 我叫它 " 愤怒的客户邮件 "。 所以有所有这些信号告诉你 ： 这个系统是否按预期工作 。 所以你需要在这之前就把基础设施建好 ， 然后才考虑服务模型 。 然后甚至在服务模型之前 ， 你需要做的是我所说的简单的开源替换 Simple Open Source Switches。 第一个是 ： 看看你所有在服务模型的地方 ， 找出我的产品里有没有哪些地方可以朴素地直接换成开源模型 。 比如我们产品中有些生成引用的部分 ，不需要最大的模型 ， 就有机会换成 GLM 5.2，并获得成本或性能上的好处 。 这是第一件事 。 做这件事能锻炼你把开源模型和闭源模型并排服务的能力 。 第二个现在已经非常流行了 ， 就是模型路由 Model Routing。 有些地方你不能朴素地换开源模型 ，但你能做的是 ： 在某些查询上把流量路由到开源模型 。 一旦你做到了这些 ， 你就有了一切条件可以开始构建后训练飞轮了 。 一旦你开始在生产中服务它们并收集反馈 ， 这里有个注意事项 ： 你需要非常小心 " 收集反馈 " 是什么意思 。在我们的情况里 ， 它不意味着在客户数据上训练 ，但我们确实从用户测试和其他事情中得到反馈信号 ， 这些可以指导我们如何构建未来的数据集 ， 改进这些模型 。 这就是我们构建研究实验室的打法手册 。 我们认为未来每家公司都需要成为 AI 公司 ，并找到这个手册的某个版本 。 ### 点球成金 **Gabe Pereyra** [12:38] 而且我认为尽管如此 ， 大多数人仍然在赌这个手册会失败 ， 赌应用层公司和前沿生态会失败 。 但是 ，但如果我们用这个预算 ， 这支队伍赢了 ， 我们就改变了游戏 。 这是 《 点球成金 》Moneyball 里的一个场景 ， 希望你们看过这部电影 。他们在说刚刚连胜了 20 场 ， 然后比利比恩说 ：" 那不重要 ， 如果我们没赢总冠军 ， 没人会欣赏我们在这里所做的一切 。" 而那句话说 ：" 但如果我们用这个预算 ， 这支队伍赢了 ， 我们就改变了游戏 。" 我认为现在 ， 借助前沿生态 ，在座各位都有机会做同样的事 ： 去改变游戏吧 。 谢谢 。 ### 合成数据问答 **Guest** [13:16] 你谈到了拥有数据非常敏感的律所客户的挑战 ，也稍微谈到了你弟弟是律师 ， 还有其他内部专家做他们版本的 Vibe Coding 来产出最好的成果 ， 那是什么样子的 ？ 你能给我们多一点细节 ， 说说那实际上是什么样吗 ？ **Gabe Pereyra** [13:34] 好问题 。 所以法律工作最大的挑战是 ， 当你在一个大型律师事务所时， 你做的工作类型是 ： 比如你代表一家公司做并购 M&A， 你会拿到一个数据室 Data Room， 里面有你要收购的公司的所有合同 ， 还有所有关于谈判的邮件和会议记录 。 那些数据没有一样是公开的 ， 所以你没有像开源 GitHub 仓库那样的类比 。 训练时遇到的最大挑战是 ， 你也许能在公开渠道找到一些最终的工作成果 ， 比如一份公开的收购协议 ，但你没有它的任何输入数据 。 而且历史上， 召集一堆律师说 " 嘿 ， 做一个假的数据室 " 是非常尴尬的 ，因为这些数据室可能有 10,000 份合同 ， 它们都需要彼此契合 。 所以 Julio 我弟弟想出了一个非常聪明的方法来生成这些数据集 。他从评分细则 Rubric 开始 ，他把所有这些问题埋进去 ， 说 " 这是数据室里所有的问题 ，以及我在一个场景中会检查什么 "， 然后用它来生成数据室 。 这样你可以埋下所有这些问题 ， 比如这些合同对不上， 这份合同缺失了 ， 然后生成所有的数据 。 然后我们会用 Merker Snorkel 让所有合同看起来逼真 。 但现在你有了这个输入数据集 ， 你可以让模型生成一份尽调备忘录 ， 然后用这种检查方式来检验 ：" 嘿 ， 你抓到了所有这些问题了吗 ？ 我们知道它们在里面 ，因为是我们埋进去的 。" 显然 ， 根据你做的具体工作 ， 你需要巧妙地设计它 ，但对我来说 ， 这感觉像是真正的巨大解锁 。 因为现在我们能开始做这种训练了 ，而以前你有一个先有鸡还是先有蛋的问题 ， 我们去找律所说 ：" 嘿 ， 我们可以用这个客户数据训练这个模型 。" 他们会说 ：" 好 ， 证明给我看 。" 我们说 ：" 把数据给我们看看 。" 他们说 ：" 不行 。" 所以现在你可以在这里证明它 。 现在我们有很多律所表现出兴趣 ， 说 ：" 哦 ， 这真的很有趣 ， 我们能用我们的数据做吗 ？" 好问题 。 对 。 **Guest** [15:31] 我们也在为这个招聘 ， 我们也在那里构建一个内置 AI。 从招聘的角度看 ， 你很难与 Anthropic 和各大实验室的研究人员竞争 。 你是试着玩那个游戏 ， 还是试着顾领域逻辑 、 律师和经验 ？ 哪些地方奏效了 ， 哪些地方没奏效 ？ **Gabe Pereyra** [15:49] 是的 ， 我认为这是我们刚开始创办公司时犯的大错误之一 。 因为我在这些实验室工作过 ， 所以我认识很多那些人。 我会说 ：" 你知道 ， 来和我们一起干吧 。" 然后他们拿到了那些 1 亿多美元的薪酬包 ，而我们还没有到那个规模 ， 这不合理 。 所以我会说 ：" 我们现在才刚刚达到一个公司规模 。" 我觉得我们不是在与前沿人才竞争 ，但越来越多有博士学位的人 、 不想在大实验室工作的人出现了 。 所以我觉得这种情况正在改变 。 然后我觉得第二件事是 ， 早期你需要那种人才 ， 很大程度上是因为你不只是做后训练 ， 你还需要构建训练基础设施 、 服务基础设施 ， 所有这些加在一起 ， 我觉得能胜任的人才非常稀缺 。 比如我的老室友 ， 就是 OpenAI 负责后训练的人之一 ，他是我共事过的最好的研究员之一 。 但现在你可以用 Fireworks、Tinker 这样的 API， 所以你不需要自己构建训练和服务基础设施 。 所以我觉得这打开了人才池 。 现在获得一些这样的人才感觉很可行 。 观众还有一个关于基准创建的问题 。 所以当你创建这些评分细则时， 你仍然需要以某种方式创建它们 ， 让它们能区分前沿模型 ，而且你必须和专家们一起做 。 你是怎么应对那个挑战的 ？ 比如专家们必须以某种方式创建这个评分细则 ，他们得知道或者试着弄清楚模型会在上面表现如何 。 我想说的是 ， 你必须创建能充分区分前沿模型的评分细则 ，他们必须挑战前沿 。 对吧 ？ 我想问的是 ， 你如何应对这个挑战 ， 尤其是当你有这些内部法律专家 ，他们可能不完全知道如何为模型设计那样的评分细则 。 是的 ， 这是个好 。 我们更把它想成 ： 我们如何让它们成为我们客户所做工作的真实呈现 。 我认为我们选择法律领域的部分原因是 ， 如果你只是构建一个这些顶级律所正在处理的真实客户案件 ， 前沿模型仍然做不到 。 而且我觉得过去四年我们建立起来的东西是 ， 比如我弟弟是我们的第一批员工之一 ， 所以他已经和模型一起工作了 4 年 。 因此他对 " 模型如何工作 、 如何生成这些数据集 " 的直觉 ， 好得令人难以置信 ，而且他已经训练了一大批律师做这件事 。 但我要说 ， 重点仍然是 ： 我们如何构建一个真正真实的数据室 ， 然后为尽调构建评分细则 。 然后当我们运行这些模型时， 我们发现 ： 好吧 ， 这里有差距 ， 还有改进的空间 ，但我认为这取决于领域 。 ### 流水线调试 **Gabe Pereyra** [18:31] 观众顺便说一句 ， 演讲很棒 ， 我是 Trellisys 的 Ross。 如果你想一想你的端到端流程 ， 就像数据生成 、 环境部分 、 然后是算法部分 、 我们如何训练等等 、 研究部分 、 然后是基础设施部分 。 如果有什么不奏效 ， 从经验上看 ， 你见过什么 ？ 比如从运营上 、 钱上或人时上看 ， 通常是数据层的问题 ，是研究层的问题 ， 还是基础设施层的问题 ？ 然后你从那里怎么走 ？ 主持人在某种程度上， 谁来编排或调试这整个端到端流水线 ？Gabe，是的 ， 这是个很棒的问题 。 我的意思是 ， 这完全是另一个演讲了 ， 我不认为有单一的东西 。 所以我会说 ， 让我们更容易的是 ： 我们找到了产品市场契合 ， 我们有一个在生产中使用的产品 ，而且我们一开始主要是用闭源模型做到的 。 所以那让我们建立了大量这种端到端有效的信心 。 所以我们有一个产品 ， 人们在用它 ， 人们已经用了很多年， 模型以这种方式工作 ， 我们能监控它们在生产中是否正常工作 。 所以那基本上是服务那一环的重点 。 你需要把很多这种东西提前建好 。 然后我们已经建立了这样的能力 ： 新模型出来 ， 我们如何把它们放进产品里 ， 无论它们是闭源还是开源模型 。 所以你可以把整个循环想成这样 。 然后显然 ， 我们做了大量的工作 ， 比如 Harness、 框架 、 工程 、 上下文管理 ，以及所有这些事情 。 所以现在你可以把后训练想成是这个更大系统里的一个小输入 。 所以我们的团队后训练一个模型 ， 然后你把它喂进这个更大的系统里 。 你知道 ， 你就像对待另一个新模型一样对待它 ， 然后你就有所有这些信号告诉你哪里出了问题 。 所以我想说的是 ，在这些步骤中 ，有容易的关卡 Gate 方式 。 如果你从基准开始 ， 你后训练一个模型 ， 它在那些基准上表现不好 ， 那它就不太可能走得更远 。 如果它在基准上表现好 ， 然后你把它放进产品里 ，但有人用产品时说感觉怪怪的 。 因为举个例子 ，在我们构建的基准上， 仍然有他们绝对抓不到的东西 。 最好的例子是 ， 你可以有一个模型在我们的基准上表现非常好 ，但它们在某种程度上过拟合了 ， 然后你把它放进一个更通用的助手类产品里 ， 当你超出分布时， 它就会崩塌 。 但是 ，是的 ， 你需要把所有这些阶段和关卡都建好 ， 然后哪里出了问题就变得显而易见了 。 不过 ， 好问题 。 观众 ， 哦 ， 我有个问题 。 嘿 ， 很高兴认识你 。 我来自 Rox。在基准方面 ，Legal Agent， 我想你们之前有 Big Law Bench， 然后现在是 Legal Agent， 你们对开源基准的理念是什么 ？ ### 开源理念 **Gabe Pereyra** [21:17] 因为如果你开源 ， 当然你会得到其他人尝试基准的牵引力 ，但实验室也能从中爬升 ， 帮助模型进步 。 而如果你闭源 ， 那就有一个问题 ： 这是不是一个真正的基准 ？ 所以你怎么 —— 你的理念是什么 ？Gabe， 我觉得这是我们思考的一个很好的张力 。 我会说 ， 甚至在我们开源这个基准之前 ， 我们就已经和实验室紧密合作了 。 所以我们和他们分享数据 ， 帮助他们改进模型 ， 这反过来改进了我们的产品 。 所以我会说 ， 我们是这样想的 ： 在你的行业里 ， 尤其是在法律领域 ，在帮助客户理解不同模型在不同事情上有多好方面 ，有巨大的优势 。 所以我想 ， 当我创办 Harvey 的时候 ， 我有点直觉 ： 哦 ， 我们就构建最好的模型 ， 然后客户就会满意 ，因为它是最好的 。 现在非常清楚的是 ， 每个客户都有不同的偏好 ， 不同的模型擅长不同的事情 。 然后我觉得第二件我没有预料到的事是 ， 前沿生态会变得有多大 。 所以现在我们有很多公司主动联系 ， 说 ：" 嘿 ， 我们有这个新技术 ， 或者我们做了这个事 ， 我们能试试吗 ？" 以前我们就是没有带宽 ， 我们只能说我们在忙其他事情 。 但现在有了这个开源数据集 ， 我们可以说 ：" 嘿 ， 去试试这个 。" 如果有效 ， 那就太好了 。 这是值得投资的东西 。 然后我觉得我们战略上考虑的方式是 ， 对我们有价值的数据 ， 将是帮助律所训练他们自己的系统 ，以及他们如何在私有数据上工作 。 然后我们想用合成数据和一些我们开源的数据 ， 帮助每个人改进这些系统 。 但显然 ， 出于你提到的原因 ， 要取得平衡 。 观众你提到了找一个实验室 ， 对于那个还有什么剩下的开放问题是你想得到帮助的 。Gabe，是的 ， 这是个好问题 。 ### 开放难题 **Gabe Pereyra** [23:06] 我会说一个大的挑战 。 最大的挑战之一是 ， 我们能生成这些非常真实的合成数据集 ， 我们可以用人类来增强它们 ，但这些数据的分布仍然不匹配我们的生产分布 。 所以我会说 ， 我们生成的这些数据集在某种程度上是面向未来的 。 我的意思是 ， 我们可以生成一个非常真实的数据室 ，但现在我们的产品并不纯粹是用来做尽调的 。 所以如果一个模型在那上面表现好 ，但然后有人用它来起草一封邮件 ，也许它就没那么好了 。 所以我认为仍然存在那个差距 。 因为我们不能看客户数据 ， 那你如何弥合那个差距 ？ 所以对我来说 ， 那是数据集方面最大的问题 ，而这个问题很有挑战性 。 还有 ， 我认为围绕这个有一堆问题 。 比如还是拿尽调数据来说 ， 最大的数据室有 8,000 万 Token 的上下文 ， 模型在管理这种上下文方面做得不好 ， 那你如何训练这些模型在这种非常复杂的环境中运作 ？ 所以我认为那是另一个问题 。 仍然存在很大的性能差距 。 第三点我会说 ， 我们在如何自己后训练模型方面取得了不错的进展 ，但我认为找到某种形式的持续学习 ，Continual Learning， 我认为最终的结局不是我们构建最好的法律模型 ，而是我们帮助每个律所或企业客户把它定制到他们所做的工作类型上 。 所以只是思考如何把它操作化 。 你有一个大型律所 ， 每次他们处理一个客户案件 ，他们的 AI 系统就变得更好 ，但同时你也在保护客户数据 。 我认为那是一个巨大的既技术性又运营性还有 AI 性的挑战 。 超级有趣 。 **Guest** [24:46] 你知道 ， 你谈了很多关于基础准备 ， 对吧 ？ 要与前沿实验室竞争 ， 包括你的开源模型 ， 包括你的基础设施 ，有点像 Ruby。 ### 组织生产力 **Guest** [24:59] 从产品的角度看 ， 对吧 ？Code 作为云产品 ， 它们是通用产品 ， 对吧 ？ 所以从产品的角度看 ， 你们怎么与你知道 Code 的云工作流 、 方法论 、 效率 、 竞争 ， 你们怎么想这个 ？ **Gabe Pereyra** [25:12] 是的 。 我觉得我们在思考的一个重大转变是 ， 我们最初的产品 ，以及像 Coda 的 Codawork 这样的东西 ， 都是非常以个人为中心的产品 。 所以它们是关于个人生产力的 。 而越来越低 ， 我们正在构建的产品是关于组织生产力的 。 所以如果你想想一个大型律所 ，他们试图解决的问题不是 " 如何让我个人的律师更有效率 "，他们试图解决的问题是 ： 我有 10,000 个客户 ， 我在为所有客户做客户项目 ， 我需要确保所有这些客户项目都进展得非常顺利 ，而且我还能以盈利的方式做它们 。 所以我们为律所构建的大量基础设施 ， 就是你如何运营那台机器 。 当你开始思考一个单个客户项目时， 大部分挑战不是 " 我如何起草这一节 "，而是 " 我这个项目要做 6 个月 ， 我有一个跨全所的 20 到 30 人的团队 ， 我需要协调他们所有人， 我需要确保我在协调所有外部各方 。" 所以很多这种工作开始看起来像项目管理 、 编排这些人类和这些智能体 。 这是团队层面的 。 然后如果你从组织层面想 ， 现在你有 1,000 个这样的项目 ， 你需要开始思考资源分配 ： 我在计费什么 ， 我在投标什么 。 然后对于企业来说 ， 甚至更复杂 ， 一家财富 500 强公司 ，他们与 1,000 家律所合作 ，他们内部有 1,000 人。 所有那些系统开始工作 ， 交易工作 。 是什么 ？ 所以我会说简单的答案是 ，而且我认为这历来是企业所做的如何以横向产品不会的方式 ， 超垂直地深入你的领域 。 是的 ， 好问题 。 **Guest** [26:51] 谢谢你 ，Gabe。 那是一场精彩的演讲 ， 感谢你加入我们 。 **Gabe Pereyra** [26:56] 这就是今天跟大家分享的全部内容 。 欢迎订阅 AI 智识录 ， 获取最新鲜的 AI 领域最新智识 。 最后插播一个广告 ： 主播自己的 AI 创业产品 YouNavi， 一个能一键整合你的飞书 、 钉钉 、 腾讯会议 、Claude 和其他录音卡 、 录音豆 ， 随时随地帮您解读日常会议与沟通背后的深意 。 锁定关键信息的 Agent 应用已经正式上线 ， 最新的版本也支持了直接给它播客链接 ， 它就能轻松完成转写 、 总结 、 分析 ， 甚至多个播客的关联解读和分析 。 如果你有兴趣 ， 欢迎在本播客的公告栏查看体验方式 。 我们下期见 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。