REFERENCE TEXTBOOK
参考教材
《神经网络与深度学习(第二版)》— 邱锡鹏 著
Neural Networks
and Deep Learning
and Deep Learning
神经网络与深度学习
第 2 版
作者简介
邱锡鹏,复旦大学计算机科学技术学院教授、博士生导师,上海创智学院全时导师,中国人工智能学会会士(CAAI Fellow)。于复旦大学获理学学士和博士学位,国家自然科学基金青A、青B项目获得者,OpenMOSS团队负责人。主持研发了 MOSS 大模型、FastNLP、FudanNLP 等被学术界与产业界广泛使用的开源项目,连续入选中国高被引学者和全球前2%顶尖科学家榜单,获钱伟长中文信息处理科学技术奖一等奖。主要研究方向为大语言模型、多模态基础模型与智能体。
教材简介
本书是国内深度学习领域的经典教材,第一版自2015年起作为复旦大学"神经网络与深度学习"课程讲义逐步完善而成,被国内众多高校采用。第二版在保持原有理论主线的基础上,系统补充了近年来的代表性方法与模型,涵盖注意力机制、Transformer、预训练模型、扩散模型、大语言模型及智能体等最新进展。
全书结构
| 板块 | 章节 | 内容 |
|---|---|---|
| 第一部分 机器学习基础 | 第1章 | 绪论(AI、ML、表示学习、深度学习、神经网络) |
| 第2章 | 机器学习概述(基本要素、线性回归、偏差-方差分解、算法类型) | |
| 第3章 | 线性模型(Logistic回归、Softmax回归、感知器、SVM) | |
| 第二部分 基础模型 | 第4章 | 前馈神经网络(网络结构、反向传播、激活函数、训练优化) |
| 第5章 | 卷积神经网络(卷积、池化、参数学习、LeNet/AlexNet/VGG等) | |
| 第6章 | 循环神经网络(RNN、LSTM、GRU、序列建模) | |
| 第7章 | 网络优化与正则化(优化算法、参数初始化、BN、网络正则化) | |
| 第8章 | 注意力机制与Transformer(自注意力、多头注意力、Transformer架构) | |
| 第9章 | 图神经网络 | |
| 第三部分 进阶主题 | 第10章 | 无监督学习(特征学习、聚类、自监督学习) |
| 第11章 | 模型独立的学习方式(集成、半监督、多任务、迁移、元学习) | |
| 第12章 | 深度强化学习(Q学习、策略梯度、演员-评论家) | |
| 第13章 | 大语言模型与智能体(预训练、指令微调、RLHF、工具使用) | |
| 第14章 | 概率图模型 | |
| 第15章 | 深度信念网络 | |
| 第16章 | 深度生成模型(VAE、GAN、扩散模型、流匹配) |
附录:线性代数、微积分、数学优化、概率论、信息论。
本课程对应关系
本课程6章内容与教材第二部分高度对应:课程第1–2章对应教材第1–3章;第3章对应第4章;第4章对应第7章;第5章对应第5章;第6章对应第8章。学有余力的同学可按教材第三部分拓展阅读大语言模型与智能体相关章节。