在当今快节奏的软件开发中，精简的软件开发生命周期 (SDLC) 能力至关重要。Factory 正在构建用于 SDLC 自动化的安全 AI 平台。Factory 的 Droids（机器人）团队自动化 SDLC 的不同阶段，提高大型企业的工程速度 — 并且其 Code Droid 在复杂的软件开发任务中取得了最先进的性能。通过利用自托管的 LangSmith，Factory 满足了对自主 LLM 系统复杂的观测要求，同时保持了企业级安全和隐私。
利用 LangSmith 实现安全可靠的 AI 运营
自托管的 LangSmith 提供了管理复杂的 LLM 工作流所需的观测基础设施，同时确保数据隐私和安全。Factory 可以将 LangSmith 部署到对数据有严格控制，导致大多数 LLM 基础设施无法成功运行的环境中。
Factory 面临的一个主要挑战是在客户环境中确保强大的可观测性。用于跟踪 LLM 管道中的数据流和调试上下文感知问题的传统方法非常繁琐。此外，Factory 的自定义 LLM 工具使得大多数 LLM 可观测性工具难以设置。LangSmith 通过第一方 API 提供了自定义跟踪的完整解决方案。
Factory 集成了 LangSmith，将跟踪信息导出到 AWS CloudWatch 日志，这使得团队能够精确地跟踪 LLM 管道各个阶段的数据流。通过将 LangSmith 事件和步骤与 CloudWatch 日志关联，Factory 的工程师可以精确定位他们在代理阶段的位置。这种集成有助于为 LLM 中的数据流从一个步骤到下一个步骤维护一个单一的真实来源，这对于调试和优化至关重要。
另一个挑战是调试生成响应中的上下文感知问题。Factory 使用 LangSmith 将反馈直接链接到每个 LLM 调用，从而对潜在问题提供即时见解。这种集成帮助团队快速识别和解决诸如幻觉等问题，而无需专有日志系统。由于反馈信息与每个 LLM 调用并列可用，Factory 可以根据真实的客户输入确保 AI 的输出在上下文中是准确和相关的。
通过 LangSmith 闭环产品反馈
除了可观测性之外，Factory 还使用 LangSmith 来优化产品反馈循环，专注于提示优化和反馈 API 的利用。传统的手动提示优化方法耗时且通常不准确。LangSmith 的 Feedback API 简化了这一过程，使 Factory 能够收集和分析反馈，然后根据实时数据优化其提示。
Factory 使用 Feedback API 将反馈附加到其工作流的各个阶段。然后将反馈导出到数据集，并分析模式和改进领域。
通过对示例进行基准测试并自动化优化过程，Factory 提高了对准确性的控制，并增强了其 AI 模型的整体性能。例如，通过对代码中具有良好或不良反馈的评论的示例，他们让 LLM 查看一个提示，并声称为什么该提示可能导致了不良示例（而不是良好示例）。这种简化的反馈收集和处理不仅改进了提示优化，还减少了分析反馈所需的精力消耗和基础设施要求。
自动化反馈收集和处理的能力对于需要人工反馈的管道步骤尤为有价值。通过 LangSmith，Factory 可以专注于反馈收集的最后阶段，确保其 Droid 性能最关键的方面得到持续的完善和优化。
这种方法在他们的工作流中带来了准确性和效率的显著提高。与他们之前的手动数据收集和人工驱动的提示迭代方法相比，Factory 的迭代速度提高了 2 倍。Factory 还报告称，他们的平均客户在最初 90 天内，从打开到合并的时间减少了约 20%，受 Droids 影响的代码的重复编写次数减少了 3 倍。
展望未来：扩展 SDLC 中的 AI 自主性
随着 Factory 继续创新，他们的重点仍然是提高整个 SDLC 中 AI 的能力。与 LangChain 的合作以及使用 LangSmith 一直是这一旅程的关键，它们提供了在软件开发中实现前所未有的效率和质量水平所需的工具和基础设施。
Factory 的 Droids 已经为工程运营带来了显著的改进。客户报告称，周期时间平均缩短了 20%，在各种组织中节省了超过 550,000 小时的开发时间。这些可观的时间节省使工程团队能够专注于创新、增值的任务，提高整体生产力并降低运营成本。
随着 Factory 继续在软件开发领域突破 AI 的界限，未来一片光明。随着他们最近公开推出 AI Droids，以及由 Sequoia Capital 领投的 1500 万美元 A 轮融资，Factory 已准备好实现显著的增长和创新。与 LangChain 的持续合作是这一战略的基石，确保 Factory 始终处于 AI 驱动的软件开发的最前沿。
“我们与 LangChain 的合作对于成功部署基于 LLM 的企业级系统至关重要。由于 LangChain 团队提供的可观测性和编排层工具，我们对自己的决策和运营能力更有信心。” — Factory 首席技术官 Eno Reyes
关于 Factory
Factory 是一家企业级 AI 公司，致力于自动化软件开发生命周期。通过集成先进的自主 Droids，Factory 帮助企业实现更快、更可靠、更具成本效益的软件交付。
如需更多见解和更新，请访问 Factory 网站。
关于 LangChain
LangChain, Inc. 成立于 2023 年初，旨在帮助开发人员构建具有上下文感知能力的推理应用程序。该公司流行的开源框架为开发人员提供了构建生产就绪型 LLM 应用程序的构建块。LangSmith 作为一款一体化 SaaS 平台，补充了这一功能，它支持端到端的完整开发工作流程，用于构建和监控 LangChain 和 LLM 驱动的应用程序。
有关更多信息，请访问 LangChain 网站。