📍 你在这里　AI 应用 · 第 4 篇 / 共 8 篇

← 上一篇 Function Calling 与 MCP　·　下一篇 → LangChain 框架笔记

AI应用开发技术（框架）

（原文档附带的附件请到语雀源文档查看）

这份文档围绕“2025年AI应用开发新范式——基于AI Agent与云原生架构的融合”展开，系统阐述了AI Agent架构、模型上下文协议（MCP）、云原生API网关的核心作用，以及多种最佳实践方案，具体总结如下：

一、AI应用架构新范式：AI Agent的核心地位

  1. AI Agent架构与发展趋势
    • 核心架构：由Prompt Template（提示词模板）、LLMs（大语言模型）、Agent Planning/Reasoning（规划推理）、Tools/Actions（工具调用）、Memory（记忆）、Store/Retrieve（存储检索）等模块构成。
    • 发展趋势：从“孤立的单一用途Agent”向“通用Agent”“多Agent协同”“平台级Agent”演进，模型通过调用更多工具完成更高价值任务，智能水平持续提升。
  2. AI Agent的编排与部署
    • 编排方式：分为流程式（基于CloudFlow流程编排）和编码式（基于Spring AI Alibaba/LangChain等框架）。
    • LLM部署方式：支持LLMs API（如阿里云百炼）、开源LLMs（如PAI平台、FC GPU），并通过云原生API网关实现统一管理（多API Key、切换、Fallback、安全限流等）。

在文档所阐述的 AI Agent 架构中，Agent Planning/Reasoning（规划推理）是 AI Agent 的核心模块之一。

它指的是 AI Agent 在处理用户任务或问题时，进行分析、规划和推理的过程。具体来说，AI Agent 会根据用户的需求，结合自身的知识、可用的工具（Tools）以及存储的信息（Store/Retrieve）等，思考如何逐步达成目标。

例如，当用户提出一个复杂的问题时，AI Agent 不会直接给出答案，而是通过规划推理来确定是否需要调用外部工具获取信息，调用哪些工具，以及按照怎样的步骤进行操作，最终通过一系列合理的推理和规划得出解决方案，以完成用户交付的任务。这一过程体现了 AI Agent 的智能决策能力，是其能够处理复杂任务的关键所在。

二、模型上下文协议（MCP）：AI与外部系统的通用接口

  1. MCP的定义与价值
    由Anthropic开发的开源协议，作为AI应用的“通用接口”，标准化LLM与外部数据源（文件、数据库）、工具（API）的连接方式，类似“AI领域的USB-C端口”。
  2. 核心特性
    • 标准化：简化不同数据源和工具的集成；
    • 模块化：支持组件独立开发与维护；
    • 可扩展性：便于新增数据源或工具；
    • 安全性：内置验证机制，确保数据交互可控。
  3. 与Function Calling的区别
    • MCP是通用协议层标准，不绑定特定模型或厂商，抽象为客户端-服务器架构；
    • Function Calling是厂商专有能力（如OpenAI、通义千问），需为每个外部函数编写JSON Schema，定制化成本高。
  4. 挑战
    包括系统提示词的管理与安全、MCP Server的大规模管理、现存业务向MCP Server的转换成本等。

三、云原生API网关：AI应用的“超级枢纽”

  1. 核心角色
    集“流量网关”“API网关”“微服务网关”“AI网关”“MCP网关”于一体，实现南北向（用户到服务）和东西向（服务间）流量的统一管控。
  2. 各网关功能
    • 流量网关：安全防护（WAF）、服务发现（K8s/Nacos）、全链路灰度、容灾调度；
    • API网关：支持API First（前后端并发开发）、API货币化（开放平台营收）、多语言插件扩展；
    • AI网关：LLM缓存、多API Key管理、Token限流、内容安全审核、联网搜索（优化模型幻觉）；
    • MCP网关：MCP Server动态发现、协议转换（如SSE转HTTP）、身份认证与权限管控。
  3. 核心优势
    • 高性能：比自建网关性能高1-5倍，支持硬件加速HTTPS（QPS提升112%）、压缩/解压缩（提升300%）；
    • 高可用：99.99% SLA，历经双11考验，支撑每秒数十万请求；
    • 安全能力：支持mTLS双向认证、WAF防护、流量限流、自定义安全插件；
    • 灵活扩展：基于WASM支持多语言插件，提供插件市场与在线IDE。

四、最佳实践方案

  1. AI网关代理LLMs方案
    解决LLM部署的成本平衡、模型幻觉、高可用、安全合规等问题，核心能力包括：
    • 多模型切换（基于model名称或业务标识）；
    • 多API Key管理（突破QPS限制）；
    • 结果缓存（提升效率、降低成本）；
    • Fallback机制（主模型故障时切换至兜底模型）；
    • 联网搜索（集成夸克/必应，优化模型幻觉）；
    • 全链路可观测（监控TTFT、Token消耗、QPS等指标）。
  2. MCP网关实践
    • 通过云原生API网关与MSE Nacos配合，实现现存业务0代码转换为MCP Server（只需新增配置文件描述接口）；
    • 协议转换：将SSE（长连接）转为Streamable HTTP（无状态，更适配企业级应用）；
    • 权限管控：集成OAuth2.0/JWT等认证方式，基于用户身份限制MCP Server访问范围。
  3. MSE Nacos：MCP Server的注册中心
    扩展Nacos的服务注册能力，实现普通服务与MCP Server的统一管理，支持MCP信息的动态发现与版本控制。
  4. SAE部署Dify：稳定的AI Agent运行引擎
    Serverless应用引擎（SAE）托管Dify（AI Agent编排工具），解决自建部署的高可用、稳定性问题，支持一键部署、弹性扩缩容。
  5. 函数计算FC：快速构建MCP Server
    借助FC的多触发器（定时、Kafka等）和多语言环境，结合MCP SDK快速开发MCP Server，支持低代码构建业务流程。

五、AI应用可观测与企业影响

  1. 可观测体系
    基于OpenTelemetry协议，监控LLM推理全链路（提示词输入输出、Token消耗、RAG过程、调用延迟等），支持与ARMS、SLS等工具集成。
  2. 对企业的价值
    • 降低AI应用开发门槛：通过MCP Server的低代码编排，业务方可“拖拖拽拽”构建流程；
    • 提升资源效率：Serverless架构实现按需弹性，降低成本；
    • 保障安全合规：全链路监控与内容安全审核，满足企业审计要求。

总结

文档提出以AI Agent为核心、MCP为通用接口、云原生API网关为枢纽的AI应用开发新范式，结合阿里云的MSE Nacos、SAE、FC等产品，解决了AI与现存业务的集成、大规模部署、安全合规等痛点，为企业级AI应用提供了完整的技术框架与实践路径。

相关技术

结合文档《2025年AI应用-AI Agent开发新范式.pdf》，若要掌握AI Agent开发新范式及相关技术，需重点学习以下领域：

一、AI Agent核心架构与关键技术

  1. 大语言模型（LLMs）基础与应用
    • 理解LLMs的工作原理，包括主流模型（如通义千问、DeepSeek、Gemini、OpenAI等）的特性与适配场景。
    • 掌握LLMs的调用方式，包括API调用（如阿里云百炼）、开源模型部署（如PAI平台、FC GPU）。
  2. Agent规划推理（Planning/Reasoning）
    • 学习AI Agent如何根据用户需求拆解任务、制定步骤，并结合工具与记忆动态调整策略，这是Agent自主决策的核心能力。
  3. 提示词工程（Prompt Engineering）
    • 掌握提示词模板（Prompt Template）、指令设计（Instructions Prompt），以及如何通过提示词引导LLM选择合适的工具或MCP Server。

二、模型上下文协议（MCP）相关技术

  1. MCP协议原理与实践
    • 理解MCP作为“AI通用接口”的设计理念，包括其标准化数据交互、模块化组件管理、可扩展性等特性。
    • 学习MCP客户端（Agent）与服务器（MCP Server）的协同机制，以及如何通过自然语言描述定义工具功能。
  2. MCP与现有系统集成
    • 掌握如何将现存业务（如数据库、API服务）转换为MCP Server，重点学习通过MSE Nacos注册配置与云原生API网关协议转换实现“0代码改造”。

三、云原生API网关技术栈

  1. 多网关功能与管控
    • 学习云原生API网关的“五合一”角色：流量网关（安全防护、灰度调度）、API网关（API管理、货币化）、AI网关（LLM管控、Token限流）、MCP网关（协议转换、服务发现）。
  2. 高性能与高可用设计
    • 理解网关的硬件加速（HTTPS、压缩/解压缩）、内核调优（操作系统/网络层面）等性能优化技术。
    • 掌握高可用保障手段，如多可用区部署、故障自动转移、历经双11验证的容灾方案。
  3. 安全与插件扩展
    • 学习网关的安全机制：mTLS双向认证、WAF防护、流量限流、自定义安全插件。
    • 掌握基于WASM的多语言插件开发，以及如何利用插件市场扩展网关功能。

四、LLM部署与管理技术

  1. 多模型协同与管控
    • 学习多模型切换策略（基于model名称或业务标识）、多API Key管理（突破QPS限制）、Fallback机制（主模型故障时切换兜底模型）。
  2. 成本与性能优化
    • 掌握结果缓存（Redis存储）、Token限流（基于用户/业务分级）、联网搜索（集成夸克/必应，优化模型幻觉）等技术。
  3. 可观测性建设
    • 学习LLM全链路监控指标：首字延时（TTFT）、Token消耗、QPS、错误率等，以及如何通过ARMS、SLS实现可视化观测。

五、云原生部署与开发工具

  1. Serverless与容器技术
    • 掌握Serverless应用引擎（SAE）部署Dify（AI Agent编排工具），实现一键部署、弹性扩缩容。
    • 学习函数计算（FC）快速开发MCP Server，利用其触发器与多语言环境支持流程编排。
  2. 服务注册与配置管理
    • 学习MSE Nacos作为服务注册中心，如何统一管理普通服务与MCP Server，支持动态发现与配置更新。
  3. AI框架与工具链
    • 熟悉Spring AI Alibaba、LangChain、LlamaIndex等框架，用于构建AI Agent的工具调用、记忆管理、RAG增强等功能。

六、安全合规技术

  1. 内容安全与审计
    • 学习集成阿里云内容安全服务，对LLM输入输出进行合规检测（如过滤有害内容）。
  2. 身份认证与权限管控
    • 掌握MCP模式下的认证方式（OAuth2.0、JWT、API Key），以及基于用户身份的MCP Server访问权限控制。
— 感谢阅读 —
# AI# 笔记# Agent

一起交流

分享你的思考，让讨论更进一步。