Replit 凭借其平台引领人工智能创新，该平台为超过 3000 万开发人员简化了代码编写、运行和协作。他们最近推出了 Replit Agent，该产品因人们可以轻松创建的令人难以置信的应用而迅速走红。
Replit Agent 的幕后是一个复杂的工作流程，可实现高度自定义的代理工作流程，并具有高度的控制和并行执行能力。通过使用 LangSmith，Replit 深入了解其代理交互，从而解决了棘手的问题。
Replit Agent 所需的复杂程度也推动了 LangSmith 的发展。LangChain 和 Replit 团队紧密合作，为 LangSmith 增加了满足其 LLM 可观测性需求的功能。具体来说，我们在三个主要领域进行了创新：
- 在大型跟踪中提高了性能和可扩展性
- 在跟踪中进行搜索和过滤的能力
- 线程视图，实现人工干预工作流
在大型跟踪中提高了性能和可扩展性
其他大多数 LLMOps 解决方案会监控与 LLM 提供商的单个 API 请求，从而提供对单个 LLM 调用的有限视图。相比之下，LangSmith 从一开始就专注于跟踪 LLM 应用程序的整个执行流程，以提供更全面的上下文。
由于代理的复杂性，跟踪对于代理至关重要。它捕获了多个 LLM 调用以及其他步骤（检索、运行代码等）。这使您能够精细地了解正在发生的情况，包括每个步骤的输入和输出，以便理解代理的决策制定。
Replit Agent 是高级跟踪需求的绝佳范例。他们的代理工具不仅仅是审查和编写代码，还可以执行更广泛的功能——包括规划、创建开发环境、安装依赖项以及为用户部署应用程序。
因此，Replit 的跟踪非常庞大——涉及数百个步骤。这对摄取数据并以视觉上可理解的方式显示数据提出了重大挑战。
为了解决这个问题，LangChain 团队改进了其摄取功能，以高效地处理和存储大量的跟踪数据。他们还改进了 LangSmith 的前端渲染，以无缝显示长时间运行的代理跟踪。
在跟踪中搜索和过滤以精确定位问题
LangSmith 一直支持**跨**跟踪进行搜索，这使开发人员能够根据事件或全文搜索在数十万个跟踪中找到单个跟踪。但随着 Replit Agent 的跟踪越来越长，Replit 团队需要在**跟踪内部**搜索特定事件（通常是 alpha 测试者报告的问题）。这需要增强现有的搜索功能。
作为回应，LangSmith 添加了一个新的搜索模式——在跟踪内部进行搜索。用户不再需要逐个调用地浏览大型跟踪，现在可以直接根据他们关心的条件进行过滤（例如，运行的输入或输出中的关键字）。这大大缩短了 Replit 调试跟踪中代理步骤所需的时间。
线程视图，实现人工干预工作流
Replit Agent 的一个关键区别在于其对人工干预工作流的重视。Replit Agent 旨在成为一个 AI 代理可以与人类开发人员有效协作的工具，人类开发人员可以根据需要进行编辑和纠正代理的轨迹。
Replit 的代理拥有单独的代理来执行管理、编辑和验证生成代码等角色，它们与用户持续交互——通常在很长一段时间内进行多次对话。然而，监控这些对话流程通常很困难，因为每个用户会话都会生成不连贯的跟踪。
为了解决这个问题，LangSmith 的线程视图有助于将来自多个相关线程（即来自一次对话）的跟踪汇总在一起。这提供了跨多轮对话的所有代理-用户交互的逻辑视图，帮助 Replit 更好地 1）找到用户卡住的瓶颈，以及 2）精确定位人工干预可能受益的领域。
结论
Replit 正在利用 LangSmith 强大的可观测性功能，在 AI 代理监控的前沿领域进行探索。通过减少加载冗长、繁重的跟踪的工作量，Replit 团队极大地加快了构建和扩展复杂代理的速度。凭借更快的调试、改进的跟踪可见性以及对并行任务更好的处理，Replit 正在为 AI 驱动的开发树立标杆。