Token工作机制

一. token工作原理1. 如何与模型之间进行交互用户输入我喜欢吃苹果↓ Tokenizer[我, 喜欢, 吃, 苹果]↓ Token ID[1523, 8472, 923, 18372]↓ Embedding[向量1,向量2,向量3,向量4]↓Transformer↓得到每个位置的上下文表示↓预测下一个 Token↓。2. 消耗机制用户问题请解释一下 Spring AI 的 RAG↓输入 20 Token↓模型回答RAG 是 Retrieval-Augmented Generation......↓输出 500 Token本轮对话总消耗50020520