随着人工智能技术的快速发展，生成式AI和多模态大模型已成为推动各行业创新的关键力量。生成式AI具备了跨模态信息生成的能力，多模态大模型则能够理解多种数据源，将图像中的信息与文本信息相结合，从而实现更精准的判断与推理。在实际应用中，多模态智能体（LMAs）在各种情景下的决策和响应生成方面表现卓越，其适应性使其在真实世界的多感官环境中非常有用。
为了帮助从业者和高校教师更好地掌握这些前沿技术，我单位于5月23-25日在北京和线上举办“智能体生成式AI与问答多模态大模型应用实战班”。该实战班采用理论与实战相结合的培训模式，旨在让学员全面掌握生成式AI、大模型和多模态技术的最新理论，并通过实战练习，学会将这些技术应用于实际业务。通过系统的培训，学员可以提升自己在AI领域的专业素养和实践能力。
主办单位：北京中科软培科技有限公司
协办单位：中科软培承德科技有限公司
【培训/地点】
2025年5月23日——5月25日（22日报道） 线下北京+线上直播
【课程大纲】
| 主题 | 知识点 |
| 第一节：大模型智能体技术原理详解 | （1）基本原理讲解
Agent模式涉及的不同大模型的选型 Agent感知环境、自主决策和生成行为的方式和思路 强化学习的思路和Agent模式 Agent的组成：感知、执行、规划、反馈 对Agent环境感知与理解 提示词中任务拆解和状态表达 Agent的Plan执行步骤 Agent的Evaluate风险与收益 Agent的Decision与Plan关系 Agent的Act执行与Reply 多Agent协作 使用大模型做Agent模式的实例 反馈机制的使用 （2）典型应用场景举例，以及技术实现 智能会议助手、文档自动摘要软件 介绍自动生成报告、邮件的工具及其应用场景 高级信息检索与知识图谱应用 自动代码生成与程序缺陷检测软件 图像识别、视频监控分析 自动化图形设计与创意辅助系统 （3）利用智能体如何解决复杂问题 案例：大模型代理模式的使用 案例：给定提示词生成报告 案例：给定提示词生成长文本报告 |
| 第二节：智能体技术实战
|
智能体解决复杂任务的思路
案例：特定格式的报告生成 案例：提示词失效和如何调整 案例：CoT方式和大模型问答实操 案例：表格问题的处理 案例：作图问题的处理 案例：报告生成和按照要求长度做修正 综合：提示词的书写 综合：Agent感知环境、自主决策和生成行为的使用 |
| 第三节：多模态技术实战
|
多模态技术的内核思想
案例：对比单模态下同样问题的输出差异 案例：图像在多模态中的作用 案例：大模型角色扮演的实现 案例：双智能体的对比对话场景下多模态实战 案例：多智能体角色扮演中多模态场景实战 |
| 第四节：LLM的知识学习和openaAI API的使用 | （1）LLM的知识学习
智能代理、知识表示、推理与搜索 对Self-Attention的快速理解 对Transformer模型的快速理解 对Encoder得到的BERT原理快速解释 对Decoder得到的GPT原理快速解释 对比知识图谱-专家系统和大模型的差异和技术融合 深度学习对AI带来的革命影响 （2）OpenaAI API的使用 注册和使用合适合理的网络方式调用API 使用API进行问答的实现 API接口调用中的Temperature等若干参数的调参 根据MD进行问答文本的过滤 其他API的调用方式 文心一言接口的注册和调用方法实战 通义千问接口的注册和调用方法实战 智谱清言接口的注册和调用方法实战 |
| 第五节：大语言模型LLM的本地部署 | HuggingFace网站中的模型选择
ModelScope网站中的模型选择 文本信息提取方案 词模型：词嵌入、动态词嵌入等相关技术拆解 Hugging Face重要API逐个分析和代码案例解释 ChatGLM简介 大模型LLM服务部署整体思路 硬件选型与软件配置的确定 TensorFlow、PyTorch的版本选择 基座模型选择 预训练大模型的选型：GPT-3、chatGLM4、BERT 架构设计：定制模型的架构 模型训练和微调模型的准备需要注意的问题 模型评估与测试 BLEU分数或ROUGE分数 实践：基于Hugging Face API的快速部署模型 案例：大模型实现运营商质差中的部署（讲师负责的某省分的实际项目） |
| 第六节：大语言模型LLM的本地微调整体介绍 | Prompt tuning与Fine tuning
构建垂直领域大模型的通用思路和方法 PEFT(参数高效的微调) 全量微调 大模型微调(Fine-tuning) 大模型微调技术原理揭秘 大模型高效微调技术Parameter-Efficient Fine-Tuning(PEFT)初探 Adapter Tuning Prefix Tuning Prompt Tuning P-Tuning v1 P-Tuning v2 大模型轻量级高效微调方法LoRA LoRA：Low-Rank Adaptation of LLMs QLoRA： Efficient Finetuning of Quantized LLMs AdaLoRA： Adaptive Budget Allocation for PEFT Few-shot PEFT新方法 IA3： Better and Cheaper than In-Context Learning 统一微调框架UniPELT：Unified Framework for Parameter-Efficient LM Tuning |
【授课专家】
邹博：从事深度学习项目管理的人员，带队完成了数十个AI项目，内容不仅包括深度学习、机器学习、数据挖掘、大模型等具体技术要点，也包括AI的整体发展、现状、应用、商业价值、未来方向等，涵盖内容非常丰富，完成50多个深度学习实践项目，广泛应用于医疗、交通、农业、气象、银行、电信等多个领域。兼备大学老师和企业CEO双重身份，已经有10本人工智能领域的专著（数十所大学使用作为研究生教材，进入多家大学图书馆名录），可以结合实践项目进行重点关注内容的讲解和实操。
【费用标准】
线上2980元/人、线下3980元/人、早鸟价：4月28日之前报名享受8折（课后均可获得线上回放），含上课期间专家授课费、教材资料费等，参加线下课程食宿费用自理；支持公务卡在线支付，银行对公转账，培训费由北京中科软培科技有限公司提供正式增值税电子发票或纸质发票。