第十章 大语言模型安装与应用
第十章简介
本章介绍大语言模型(Large Language Model)的本地安装、推理分析,包括国内主流开源大模型,Qwen系列、ChatGLM系列、Baichuan系列和Yi。同时为了辅助大家了解LLM的能力边界和应用,分析一个54K stars的LLM应用工具——GPT Academic(GPT 学术优化)。
通过本章可以了解到四个国产开源大模型的:
- 安装部署环境准备
- 模型代码结构设计方案
- LLM推理流程步骤
- 多轮对话prompt组装方式
- 显存占用与上下文长度关系趋势
- LLM内置角色system、user、assistant、observation的作用与区别