Paradigm (YC24) 正在通过集成人工智能来改造传统的电子表格，创建第一个通用智能电子表格。他们的工具可以协调大量 AI 代理来收集数据、对其进行结构化，并以媲美人类的精度执行任务。
为了实现其目标，Paradigm 利用了 LangChain 的产品套件来构建和生产化其产品。LangSmith尤其提供了关键的运营洞察以及对其代理思考过程和 LLM 使用情况的上下文感知。这使得 Paradigm 能够优化其产品性能和定价模型，从而保持较低的计算成本。
利用 LangChain 进行快速迭代，构建 AI 驱动的电子表格
Paradigm 的智能电子表格部署了众多针对数据处理任务的特定任务代理，所有这些都由 LangChain 提供支持。除了在其电子表格中生成数据外，Paradigm 还使用 LangChain 驱动的微型代理来执行其产品中的各种小型任务。
例如，Paradigm 使用LangChain开发了以下代理：
- Schema agent (模式代理)：接收一个提示作为上下文，并输出一组列和列提示，这些提示会指示我们的电子表格代理如何收集这些数据。
- Sheet naming agent (工作表命名代理)：根据提供的提示和工作表中的数据自动为每个工作表命名。
- Plan agent (计划代理)：根据电子表格每一行的上下文，将代理的任务组织成几个阶段。这有助于并行化研究任务并降低延迟，同时不牺牲准确性。
- Contact info agent (联系信息代理)：对来自非结构化数据的联系方式进行查找。
LangChain 为这些代理提供了快速的迭代周期，使 Paradigm 能够在生产环境中部署它们之前，优化诸如温度设置、模型选择和提示优化等元素。这些代理还利用 LangChain 的抽象来使用结构化输出，以正确的模式生成信息。
在 LangSmith 中进行监控以获得运营洞察
Paradigm 的 AI 优先电子表格旨在处理大量数据处理任务，用户会触发数百甚至数千个单独的代理来按单元格执行任务。它们还在后端集成了多种工具和 API，代理可以调用这些工具和 API 来执行特定任务。
这些操作的复杂性需要一个复杂的系统来监控和优化代理性能。LangSmith 在提供对其代理思考过程和 LLM 使用情况的完整上下文方面发挥了宝贵作用。
这种细粒度的洞察使 Paradigm 团队能够：
- 跟踪代理的执行流程，包括 token 使用量和成功率。
- 分析和优化列生成的依赖系统，通过优先处理需要较少上下文的任务，然后在处理更复杂的任务，从而提高数据质量。
例如，Paradigm 团队可以更改依赖系统的结构，重新运行相同的电子表格作业，并使用 LangSmith 评估哪种系统产生了最清晰、最简洁的代理跟踪。在开发复杂的代理系统时，这种可观察性非常宝贵。
利用 LangSmith 优化基于用量的定价
凭借 LangSmith 的监控功能，Paradigm 还能执行和实施精确的基于用量的定价模型。LangSmith 为 Paradigm 团队提供了对其代理操作的完整上下文，包括所使用的具体工具、它们的执行顺序以及每个步骤的 token 使用量。这使他们能够准确地计算不同任务的成本。
例如，涉及简单数据（如姓名或链接）的任务的成本低于更复杂的输出（如候选人评分或投资备忘录）。Paradigm 可以支持这些复杂输出所需的多步推理。
同样，检索私人数据（如筹款信息）比抓取公共数据更耗费资源，这证明了需要一个细致的定价模型。因此，Paradigm 可以支持不同类型且成本不同的任务。通过深入了解他们历史工具的使用情况和每个作业的输入/输出 token，他们可以更好地了解如何塑造未来的定价和工具结构。
结论
借助 LangSmith 和 LangChain，Paradigm 为其 AI 集成的办公空间和智能代理电子表格解锁了各种数据处理任务。通过快速迭代、优化和运营洞察，Paradigm 为用户提供了高性能、以用户为中心的产品。
要了解更多关于 LangSmith 监控的信息，请观看此视频系列。您也可以免费试用 LangSmith，以高效地优化和监控您的 LLM 应用程序。