Azure AI Search 性能优化实战：从 40 秒到 8 秒的优化之旅

背景

我们的知识库问答系统使用 Azure Container Apps + Azure AI Search + Azure OpenAI 构建，架构如下：

用户请求 → Container App → AI Search (向量搜索) → OpenAI (生成回答)

系统上线后，性能表现不佳：

• P50 响应时间：18 秒
• P99 响应时间：41 秒
• 最慢请求：40.9 秒

用户体验极差，需要紧急优化。

问题分析过程

第一次分析：应用层串行执行（部分正确）

查看应用日志，发现单个请求内部执行流程：

00:00:00.000 - 请求开始 00:00:02.000 - get_search_results took 7.053s 00:00:07.000 - get_search_results took 10.068s (5秒后才开始) 00:00:26.000 - get_search_results took 23.689s (19秒后才开始) 00:00:32.000 - get_search_results took 27.646s (6秒后才开始) 00:00:34.000 - combine_content took 40.618s

初步结论：应用层串行执行多次 AI