大模型工程

“Prompt、RAG、Agent 三选一”是个过于粗糙的说法。真实系统是一条从“全确定”到“全自主”的连续光谱，RAG 本质是给模型接知识的能力，Agent 也分固定编排和自主循环。这篇往深里聊：工作流模式、RAG 的三个深浅层级、什么时候才该让模型自主决策，以及成本、延迟和失败模式这些入门文章很少算的账。

Java 团队想接大模型，不必硬套 Python 的 LangChain。Spring AI 把 ChatClient、Prompt 模板、结构化输出、RAG（向量库）、函数调用、对话记忆这些能力做成了 Spring 风格的抽象和 Starter，配几行 yml、写几行链式调用就能跑。这篇从核心抽象讲起，带你用 Spring Boot 一步步实现聊天、结构化映射、RAG 知识库和工具调用，并聊聊生产里要注意的事。

大模型推理是自回归逐 token 生成，显存带宽是瓶颈。本文讲清 Prefill/Decode 两阶段、KV Cache 的作用与开销，再逐个聊连续批处理、PagedAttention（vLLM）、量化（INT8/INT4）、投机解码、FlashAttention 与并行策略，以及延迟与吞吐怎么权衡。

大模型 API 按量计费，Demo 阶段无感，一上量账单比预期来得快。一个日均万次调用的客服机器人，用旗舰模型每月能烧掉上万元，而其中一大半花得冤枉。这篇从计费模型讲起，给出模型分级路由（cascade）、Prompt 瘦身、多级缓存、输出控制、批处理、小模型微调等手段，并按投入产出比排出优化顺序，全程强调“省钱不能以效果滑坡为代价”。

RAG、语义搜索、推荐都依赖“给一个向量，找出最相似的 N 个向量”。百万到十亿级向量下，暴力比对不现实。本文从向量相似度讲起，聊 ANN 近似最近邻索引（IVF、HNSW、PQ 量化）、元数据过滤与混合检索，以及 Milvus、pgvector、Qdrant 该怎么选。

原理篇讲了 RAG 是什么，这篇带你亲手搭一个能跑的。从文档切分、向量化入库，到检索、重排、拼上下文、生成答案，给出最小可运行代码；然后把 Demo 推向生产：混合检索、Rerank、查询改写、相似度兜底、引用溯源、评测集和增量更新，附一份逐项可落地的调优清单。