CommandBar 是一个用户辅助平台，通过捕捉和预测用户意图，然后提供个性化的产品内帮助，帮助软件公司使其产品易于使用。CommandBar 的 Copilot 小部件（公司将其嵌入到他们的应用程序中）超越了典型的聊天机器人。它可以回答用户问题，触发个性化产品演示，甚至通过代表用户执行操作来满足用户的意图。
CommandBar 的客户彼此之间需求略有不同，为了让 Copilot 对 CommandBar 的所有客户都有所帮助，该团队必须找到用户辅助的共同点，这些共同点可以通过 LLM 进行简化或自动化，同时还能与许多不同的内容提供商（如服务台和知识库）集成以进行信息检索。
CommandBar 决定使用 LangSmith 来了解 Copilot 的性能，并最终为其客户提供更好的体验。虽然团队没有在生产环境中使用 LangChain，但在 LangSmith 中投入使用非常迅速。高级软件工程师 Jared Luxenberg 表示：“我惊讶于仅通过 LangSmith 中的装饰器设置追踪是多么直接。入门非常容易。”
LangSmith 主要在以下四个方面帮助了 CommandBar 团队：
- 追踪可见性：团队可以通过查看 LangSmith 追踪来了解最终用户是否遇到了糟糕的体验，而无需依赖接收截图或电子邮件。下至对话线程的 LangSmith 可见性使 CommandBar 能够主动识别客户如何在未来避免糟糕的互动。
- 调试：构建一个好的 Copilot 取决于构建一个好的检索系统，而 LangSmith 追踪帮助团队了解最初是否检索到了正确的文档，如果没有，他们就有信息来尝试不同的技术来改进系统。
- 增加测试覆盖率：团队对任何新代码更改可以运行的测试数量增加了 5 倍。在 LangSmith 之前，CommbandBar 仅依赖手动 QA，但在采用 LangSmith 后，他们可以通过对已知良好的问题：响应对进行更好的自动评估来增强人工评估。
- 监控：CommandBar 团队依赖 LangSmith 来警报其 LLM 提供商是否发生故障，并且他们可以在 LangSmith 的监控选项卡中查看其应用程序的整体运行状况。
LangSmith 轻松地映射到他们想要完成的工作流程，并在整个应用程序开发生命周期中为他们提供帮助。CommandBar 的 Copilot 自 2023 年 11 月上线以来，为成千上万的支持团队和数百万最终用户带来了便利，并为客户带来了切实的成果——例如，在最近的一项案例研究中，支持工单减少了 44%。“每周我们都会收到一位客户热情分享的消息，说 Copilot 的响应非常准确，这已成为我们产品最大的竞争优势之一，也可能是我们目前的主打产品，”Luxenberg 说。
CommandBar 相信 Copilot 可以为用户提供更实用、更主动的帮助。Commandbar 在未来几个月将推出许多很棒的改进，所有这些都由 Langsmith 提供支持。要了解更多有关其发布的信息，请访问他们的博客 此处。