Elastic 是一家领先的搜索分析公司,为全球超过 20,000 家客户提供服务,使组织能够安全地利用由搜索驱动的人工智能,以便任何人都能使用其所有数据实时、大规模地找到所需的答案。通过将人工智能与搜索技术相结合,该公司促进了从大量结构化和非结构化数据中发现可操作的见解,满足了实时、可扩展数据处理的需求。它们提供基于云的搜索、安全和可观测性解决方案,帮助企业兑现人工智能的承诺,最近,在 LangChain 和 LangSmith 的帮助下,它们在其安全套件中添加了一个 AI Assistant。
Elastic AI Assistant for security 旨在成为一款支持安全分析师工作流程的高级产品。具体而言,该产品可帮助安全团队完成以下任务:
- 警报摘要,解释警报触发的原因以及建议的补救攻击的 playbook。此功能生成一个动态运行手册,为组织在事件期间提供条理性。
- 工作流建议,指导用户如何完成任务,例如添加警报例外或创建自定义仪表板。
- 查询生成和转换,支持用户更轻松地从其他 SIEM 迁移到 Elastic。现在,用户可以粘贴来自其他产品的查询,或以自然语言形式输入查询,Elastic AI Assistant 将使用正确的语法将其转换为 Elastic 查询。
- 代理集成建议,指导如何在 Elastic 中收集数据的最佳方式。
以及更多。
这是仅限企业的功能,自 2023 年 6 月首次推出以来,Elastic 已经看到了该 Assistant 的显著采用。AI Assistant 已被证明可以显著降低客户对 Elastic Security 生成的警报的 MTTR(平均响应时间),并减少编写查询和检测规则所需的时间,这得益于其根据自然语言用例构建查询的能力。
LangChain 和 LangSmith 如何支持产品开发
Elastic 从一开始就将其应用程序设计为与 LLM 无关,因为他们希望最终用户能够自带模型,并且需要支持 OpenAI、Azure OpenAI 和 Bedrock(以及其他)。从一开始就为用户提供这种级别的控制和灵活性是一项要求。
幸运的是,创建 RAG 应用程序的大部分工具都内置于 LangChain 中,并且由于 LangChain 还将应用程序逻辑与每个底层组件分离,因此 Elastic 团队能够根据用户的供应商偏好创建可交换的模型和提示,而无需大量的工程开销。此外,LangChain 已经与 Elastic 的向量数据库进行了出色的集成,因此非常适合这项工作。
当团队开始向 AI Assistant 添加其他功能时,例如生成 Elastic 新查询语言 ES|QL 的能力,LangSmith 在帮助 Elastic 团队理解实际发送到模型的内容、完整跟踪所需时间以及在此过程中消耗了多少 token 方面发挥了至关重要的作用。LangSmith 帮助团队更好地了解不同模型在不同任务和不同价格点上的表现。这种可见性使开发团队能够考虑权衡,并尽可能为所有支持的模型提供一致的体验。随着团队对其应用程序进行迭代,LangSmith 有助于突出显示差异,并防止回归到生产环境中。
“与 LangChain 和 LangSmith 合作开发 Elastic AI Assistant 对整体开发和交付体验的进度和质量产生了重大积极影响。没有 LangChain,我们就无法实现向客户提供的产品体验,没有 LangSmith,我们就无法以相同的速度实现这一目标。” Elastic 安全产品管理总监 James Spiteri 表示。
LangChain 和 LangSmith 还支持 Elastic 的工作流,为企业提供安全的应用程序。考虑到他们的用户是安全专家并且自然持怀疑态度,Elastic 团队在应用程序中构建了数据屏蔽功能,以便在将敏感数据发送到 LLM 之前对其进行混淆,将 token 跟踪直接暴露在最终产品中,以便用户可以完全了解使用情况,并将基于角色的访问控制集成到体验中,以便管理员可以根据需要限制使用。
Elastic AI Assistant 的下一步是什么?
AI Assistant 的目标是尽可能减轻安全分析师的工作负担,让他们有更多时间来处理其他事情。虽然该产品目前支持三个模型提供商,但该团队希望扩展到更多模型,以服务更广泛的受众。
AI Assistant 的下一步重要举措是利用 LangChain 的代理框架,以便在后台完成更多工作,并让用户批准操作。超越知识辅助将把应用程序提升到一个新的水平,Elastic 团队相信在 LangChain 和 LangSmith 的帮助下,他们可以实现这一目标。
回馈社区
本着开源精神,Elastic 团队已经发布了许多支持 Elastic AI Assistant 的代码。您可以通过 此处 查看该存储库,确切了解团队如何实现其解决方案。有关使用 Elastic 进行 ML 开发的其他激动人心的教育内容,请查看 Elastic Search Labs。尽情享受!