Athena Intelligence 是一款由人工智能驱动的员工，通过自动化耗时的数据库任务，并使数据科学家和业务用户都能进行数据分析，正在改变企业分析领域。其名为 Olympus 的自然语言界面旨在连接所有数据源和应用程序，让用户能够轻松查询复杂数据集，就像向同事提问一样。
Athena 最强大的功能之一是生成高质量企业报告的能力。在本案例研究中，我们将详细介绍该功能的内容以及 LangSmith 在开发过程中提供的帮助。
生成复杂主题的报告
生成关于复杂主题的详细报告需要从各种来源（包括基于网络的和内部的）提取信息。准确引用来源并提供富含数据的报告对 Athena 的客户尤为重要。
构建一个可靠生成此类报告的产品是一项艰苦的工作。构建一个报告生成器的原型并制作一个足以在 Twitter 上演示的东西可能很容易，但与许多 GenAI 应用程序一样，构建一个像 Athena 这样可靠的生产系统要困难得多。
为了弥合原型与生产之间的差距，Athena 求助于 LangChain、LangGraph 和 LangSmith。他们使用 LangChain 保持对所使用的底层 LLM 的独立性，并管理与数千个工具的集成。LangGraph 帮助他们编排复杂的自定义代理架构。他们首先使用 LangSmith 在开发过程中快速迭代，然后在生产环境中观察他们的应用程序。
LangChain 提供最大的灵活性和互操作性
Athena Intelligence 从 LangChain 开始，利用其互操作性来切换不同的模型并构建其 AI 应用程序。LangChain 的架构使 Athena 能够在整个平台中完全独立于 LLM，从而减少了对任何单一模型提供商的依赖。
Athena 还大量使用了 LangChain 的文档、检索器和工具抽象。通过使用标准的 LangChain 文档格式，Athena 可以确保他们传递的文档始终是相同的格式。LangChain 的检索器接口使这一切更加容易，提供了一种访问这些文档的通用方式。Athena 的研究报告也严重依赖于工具的使用——通过使用 LangChain 的工具接口，他们可以轻松地管理他们拥有的工具集，并将它们以相同的方式传递给所有 LLM。
使用 LangGraph 构建生产就绪的代理架构
随着 Athena 开发了更多的代理功能，他们转向了 LangGraph。他们采用的代理架构根据他们的用例进行了高度定制。LangGraph 提供了低级别的可控性，使团队能够构建复杂的代理架构，从而编排数百次 LLM 调用。
LangGraph 为 Athena 的工程师提供了一个有状态的环境来构建生产就绪的代理架构。它使他们能够创建具有调优提示的专用节点，然后将它们快速组合成复杂的多代理工作流。LangGraph 的可组合性及其有状态的参数，使团队能够在其认知栈中的不同应用程序之间重用组件。
为了管理由其代理系统引入的、涉及数百次 LLM 调用的计算密集型工作流，Athena 随后也使用 LangSmith 来提高其开发生命周期的可观察性。
在开发中使用 LangSmith 快速迭代
LangSmith 在 Athena 的开发过程中发挥了至关重要的作用。举个例子，让我们考虑研究报告中引用数据来源的功能。
正确进行文中来源引用通常需要大量的提示工程工作。LangSmith 大大加速了这一过程。通过 LangSmith 中的跟踪功能，Athena 团队拥有生成报告的所有运行日志，并可以快速识别引用失败的运行。
Athena 的开发人员不必将代码推送到生产环境进行测试，而是可以直接从特定运行中打开 LangSmith Playground，并实时调整他们的提示。这使得隔离 LLM 调用以查看因果关系变得更容易，这种方式是为 Athena 复杂且定制化的堆栈量身定制的——当他们在将代码投入生产之前快速迭代提示时，为 Athena 团队节省了无数的开发时间。
标题：使用 LangSmith Playground 视图优化市场研究报告
通过调优提示以理解和正确引用来源，Athena 的工程师能够准确地将名称相似的数据点链接回他们的应用程序，从而提高了他们的开发质量和速度。
使用 LangSmith 在生产环境中进行监控
应用程序发布到生产环境后，Athena 使用 LangSmith 跟踪来监控几个关键指标的性能。在此之前，Athena 的工程师需要查阅服务器日志并构建手动仪表板来识别生产问题——这是一个耗时且繁琐的过程。
LangSmith 提供了开箱即用的指标，如错误率、延迟和首次令牌时间，以帮助 Athena 团队监控其 LLM 应用程序的正常运行时间。这对于文档检索等任务尤其有益，其中的跟踪功能让团队能够确切地看到提取了哪些文档，以及检索过程中的不同步骤如何影响它们的响应时间。
正如 Athena Intelligence 的创始人平台工程师 Ben Reilly 所说：
“如果没有 LangSmith 这样的全栈可观察性平台，我们现在能够实现的速度是不可能实现的。它为我们的开发人员节省了无数小时，并使原本几乎不可能完成的任务变得可行。”
结论
Athena Intelligence 已成功利用 LangChain、LangGraph 和 LangSmith 创建了一个强大的 AI 驱动的分析平台。通过使用这些工具，Athena 能够快速迭代开发、高效调试和优化其系统，并为其企业客户提供高质量、可靠的报告。