Infor 是一家领先的企业软件公司，提供针对航空航天与国防、汽车、分销、时尚、食品与饮料、医疗保健以及工业制造等特定行业的定制化云原生多租户解决方案。其解决方案以“云套件”的形式提供给客户，这是一套全面的集成软件应用程序，作为软件即服务 (SaaS) 在多个 AWS 区域交付。这些套件通过利用云基础设施，帮助组织简化运营、提高生产力并降低 IT 成本。
Infor OS (Operating Service) 是驱动所有 Infor 云套件应用程序和服务的云平台，提供统一的云体验，增强了用户、开发人员和企业的性能、安全性和系统互操作性。随着生成式 AI 的兴起，Infor 通过 Infor OS 平台将大型语言模型 (LLM) 集成到所有云套件中，看到了为其产品面向未来的机会。
为此，Infor 将其聊天助手 Coleman DA (Digital Assistant) 从 AWS Lex 迁移到一个更灵活、由 LLM 驱动的平台。新的 GenAI 能力使该平台能够处理复杂的查询、生成动态内容、提供智能自动化，并无缝集成到生态系统中的 ML 模型、API 和云套件应用程序。
从 LangChain 到 LangGraph 构建可扩展的 AI 平台
为了实现其生成式 AI 愿景，Infor 需要一个可扩展且模块化的解决方案。通过 LangChain 和 LangGraph，Infor 工程团队能够快速地向 Infor OS 平台引入新的 GenAI 组件，使其各种云套件和业务应用程序能够访问 LLM。这帮助他们利用丰富的行业知识和业务案例，以满足客户对创新业务解决方案的期望。
Infor 生成式 AI 团队在 AWS Bedrock 上构建了一个平台，包含三个关键组件：
- 嵌入式 GenAI 体验——Infor 应用程序可以通过其 API 网关安全地访问 LLM，实现使用领域工程提示进行一次性文本生成、摘要和翻译的请求。这有助于嵌入生成式 AI 功能并简化手动流程。
- GenAI 知识中心——Infor 使用检索增强生成 (RAG) 架构，并以 AWS OpenSearch 作为向量数据库来增强文档检索。这使得他们能够摄取所有产品文档和支持事件票据，以改进客户支持。此外，客户可以将他们的文档——如内部手册、政策和流程——上传到他们私有的向量存储中，通过对话式 AI 助手与这些文档进行交互。
- GenAI 助手——Infor 将其旧版 AWS 聊天机器人升级为多代理 AI 助手，提供更智能、更具上下文感知的交互。它使用 Infor OS API 网关从云套件应用程序获取实时数据，确保 LLM 在推理过程中拥有最新的上下文，同时强制执行安全权限和数据治理。
LangGraph 在 Infor 的多代理工作流程中发挥了重要作用，为管理复杂交互提供了灵活且结构化的方法。其**强大的内存管理**功能帮助 Infor 的 AI 代理在多次交互中保留和利用上下文信息，提高在扩展工作流中的推理能力。此外，LangGraph 的**状态持久化**使代理能够有效地维护和检索中间状态，避免重复处理并确保决策的连续性。
其处理循环交互的能力使代理能够迭代地优化其响应，动态协作，并在多步骤过程中解决歧义。这些能力使 Infor 能够构建能够有效推理复杂工作流、自动化决策并提高用户交互效率和准确性的复杂 AI 代理。
使用 LangSmith 加强 LLM 可观测性和合规性
作为 SaaS 提供商，Infor 依赖强大的可观测性和跟踪来确保可靠性、性能以及一致、高质量的用户体验。由于 Infor 为不同地理位置和受监管行业的客户提供服务，其 LLM 驱动的平台需要强大的可观测性和治理。该团队对任何模型推理管道的可见性需求主要包括：
- 推理性能：跟踪延迟、响应时间和 token 使用量，以优化吞吐量和成本效益。
- 模型行为和质量：检测幻觉、缓解偏见并跟踪输出一致性以提高准确性。
- 数据和模型完整性：识别潜在攻击、数据漂移和意外响应，以确保安全。
- 合规性和安全性：提供审计跟踪并保护敏感数据，以满足监管要求。
- 透明度和问责制：确保 AI 决策的可解释性，以增强信任和负责任的 AI 部署。
LangSmith 的追踪功能所需集成工作量极少，使 Infor 工程师能够在其 GenAI 计划的所有阶段监控交互、调试性能并确保合规性。此外，由于 LLM 排行榜的热插拔特性，LangSmith 与 AWS Bedrock 的结合允许 Infor 团队比较不同的模型和提示，以确定对平台必须支持的各种用例最有效的组合。因此，他们不仅可以在 LangSmith 中快速识别和解决问题，还可以改进其提示工程，以确保高质量、安全且可靠的 AI 生成输出。
生成式 AI 的影响和未来展望
Infor 的生成式 AI 计划是整个组织的关键举措，推动公司保持其创新优势，增强客户对其企业解决方案的信心。通过在其整个云套件中集成 LLM 驱动的功能，Infor 简化了报告生成，自动化了内容创建，并改进了知识检索。用户现在通过新的助手，能够使用自然语言更顺畅地完成任务，获得更好的体验。
展望未来，Infor 致力于赋能客户利用 AI 来增强其业务，并根据其用例定制 AI 代理。他们还计划在其 AI 助手（AI Assistant）中纳入更高级的多代理交互，以提高上下文感知能力并更好地管理复杂的工作流程。通过利用 LangGraph 和 LangSmith，Infor 不仅仅是采用生成式 AI，而是在重新定义企业如何与 AI 驱动的自动化进行交互并从中受益。