房产科技领域的领导者 AppFolio 发布了 Realm-X Assistant，这是一款人工智能驱动的副驾驶，旨在提高物业经理日常工作的效率。Realm-X 是嵌入式生成式人工智能，通过结合最新的基础模型和行业特定上下文，提供智能、实时的帮助。Realm-X 提供了一个会话界面，帮助用户了解其业务状态、获得帮助并批量执行操作——无论是查询信息、发送消息，还是安排与租户、供应商、单元、账单或工单相关的操作，以及更多。早期用户报告称，在完成待办事项列表方面，每周可节省超过 10 小时。
在设计 Realm-X 时，AppFolio 意识到他们需要一个更好的自然语言界面来帮助物业经理使用该平台并简化运营流程。该团队转向 LangChain、LangGraph 和 LangSmith 来改进其执行流程，并提高用户与 Realm-X 交互的可见性。
选择 LangGraph 以获得灵活性和控制力
Realm-X Assistant 最初是使用 LangChain 构建的，以实现互操作性，从而无需更改任何代码即可轻松更换模型提供商。LangChain 还使得在使用其工具调用代理进行请求时，轻松使用工具和结构化输出。
随着 Assistant 的发展，AppFolio 需要一种方法来处理更复杂的请求。他们的团队从 LangChain 战略性地转向 LangGraph，这简化了来自不同节点的响应聚合，以便向用户显示。
切换到 LangGraph 后，AppFolio 团队可以清楚地看到 Realm-X Assistant 的执行流程，这使他们能够设计能够先推理再行动的工作流。通过并行化分支执行，AppFolio 还能够降低延迟和代码复杂性。
LangGraph 的一个主要优点是能够并行运行独立的代码分支。在确定相关操作的同时，它还可以同时计算备用方案并在帮助页面上运行问答机器人。这使得 Realm-X 能够提供相关建议，从而增强用户体验，同时最大限度地降低延迟。
利用 LangSmith 监控和精确定位生产中的问题
为了增加生产流量的可见性，AppFolio 使用 LangSmith 在开发过程中进行调试，并更深入地了解用户交互。在生产环境中，AppFolio 团队密切关注 LangSmith 中的实时反馈图表——跟踪错误率、成本和延迟，以使一切保持正轨。该团队还添加了自动触发器，以便在用户提交 Realm-X 起草的操作时收集反馈。
此外，基于 LLM 或启发式评估器自动生成反馈，以持续监控系统运行状况。
LangSmith 的跟踪功能也使 AppFolio 能够轻松地在问题发生时精确定位。在开发过程中，工程师依赖比较视图和 LangSmith Playground 来迭代工作流，确保它们在部署前经过实战检验。跟踪内容也可以在团队之间共享，从而简化了利益相关者之间的协作流程。
迭代提示以提高系统性能
LangSmith 在 AppFolio 系统中支持的一项关键创新是动态少样本提示——这涉及动态提取相关示例，为 Realm-X 用户提供更个性化、更准确的响应。借助 LangSmith，AppFolio 团队能够快速识别是否使用了错误的示例，或者是否缺少相关示例或示例格式不正确，最终帮助优化为给定查询提取的示例。
LangSmith 中的比较视图在识别提示构建方式的细微差别方面特别有用，有助于 AppFolio 确保精确的输出。LangSmith Playground 还使团队能够快速迭代提示、基础模型或工具描述，而无需修改底层代码——从而缩短了利益相关者之间的反馈周期。
动态少样本提示对于提高 Realm-X 特定功能（如文本到数据功能）的性能至关重要，该功能的性能从约 40% 大幅提高到约 80%。这展示了定制示例在提高系统准确性方面的影响。随着用户可以查询的 Realm-X 操作和数据模型的数量增加，AppFolio 也保持了高性能。
LLM 评估以实现持续改进
AppFolio 在其测试和评估过程中优先考虑用户体验和反馈。Realm-X 工作流的每一步——从单个操作到端到端执行——都使用自定义评估器和 LangSmith 的工具进行严格测试。
为确保质量，AppFolio 维护一个包含消息历史记录、元数据和理想输出的样本用例中央存储库。这些可用作评估、单元测试或示例。评估在 CI 中运行，结果被跟踪并集成到 PR 中。为避免回归，代码更改仅在所有单元测试通过且满足评估阈值后合并。
LangGraph 还有助于简化复杂的文本到数据处理等工作流，通过将复杂的 if 语句逻辑组织成清晰、灵活的代码路径。这与严格的测试相结合，确保 Realm-X Assistant 为物业经理提供准确可靠的响应。
AppFolio 的未来之路
随着 AppFolio 在 Realm-X Assistant 方面不断创新，重点仍然是增强以用户为中心的功能和优化性能。作为 LangSmith 的早期用户，AppFolio 无缝地将 LangGraph 与 LangSmith 强大的监控功能集成，这有助于 Realm-X Assistant 从多个系统部分聚合响应，以确保清晰、可操作的用户输出。
展望未来，AppFolio 正在扩展 Realm-X，通过使用 LangGraph 进行状态管理和自我验证循环来进一步提高整体性能和可靠性。通过将这些工具与他们的创新承诺相结合，AppFolio 继续赋能世界各地的物业经理取得成功。