第一部分:短视频 讲解-- 通俗易懂,感兴认识
强推,可视化整个GPT模型,并讨论其智力程度:
- 1- 关于 AI 的深度研究:ChatGPT 正在产生心智吗?_哔哩哔哩_bilibili
- 2- 【Transformer模型】曼妙动画轻松学,形象比喻贼好记_哔哩哔哩_bilibili
- 3- 【BERT模型】暴力的美学,协作的力量_哔哩哔哩_bilibili
- 4- 超强动画,一步一步深入浅出解释Transformer原理!_哔哩哔哩_bilibili
- 5- 注意力机制的本质|Self-Attention|Transformer|QKV矩阵_哔哩哔哩_bilibili
- 6- 吹爆!这可能是B站目前唯一能将Transformer讲清楚的教程了,不愧是计算机大佬!3小时全面了解 Transformer如何工作,草覆虫都看懂了!!_哔哩哔哩_bilibili
- 7- HuggingFace到底有多牛?同济计算机大佬总结了HuggingFace与NLP的联系及其核心模块解读,三小时即可搞定!_哔哩哔哩_bilibili
- 8- 简单总结, LLM大语言模型介绍_哔哩哔哩_bilibili
第二部分:基础原理讲解
- Dale Markowitz, https://towardsdatascience.com/gpt-3-explained-in-under-2-minutes-9c977ccb172f
- h ref=" http://jalammar.github.io/illustrated-transformer/">Jay Alammar: Visualizing machine learning one concept at a time. The Illustrated Transformer
- Chip Huyen: RLHF, Reinforcement Learning from Human Feedback, https://huyenchip.com/2023/05/02/rlhf.html
- Stephen Wolfram, What Is ChatGPT Doing … and Why Does It Work?
第三部分:历史技术演化
- 知乎文章, 张俊林:从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
- cnblog, 00 预训练语言模型的前世今生(全文 24854 个词)
- 知乎文章, 机器翻译的流程(原理)是怎么样的?
第四部分:实战视频
- (39集) Transformer和BERT看不懂来这里,告诉你他们的前世今生,必能懂_哔哩哔哩_bilibili
- (137集) 【清华NLP】刘知远团队大模型公开课全网首发|带你从入门到实战_哔哩哔哩_bilibili
- (57集) 这是B站目前讲的最好的【Transformer实战】教程!带你从零详细解读Transformer模型 一次学到饱!——人工智能、深度学习、神经网络_哔哩哔哩_bilibili
- (9集) 简直逆天!我居然只花了2小时就掌握了吴恩达教授讲的【LangChain+ChatGLM-6B】LLM应用开发
- (39集)【中文完整版】一口气学完,吴恩达2023最新课程:ChtGPT提示工程师、LLM应用开发实践、Diffusion Model原理全详解,吴恩达prompt_哔哩哔哩_bilibili
- Harvard NLP: Anotated Transformer, 逐步实现 Transformer(附代码), https://nlp.seas.harvard.edu/annotated-transformer/
- Kapathy, Let's build GPT: from scratch, in code, spelled out, https://www.youtube.com/watch?v=kCc8FmEb1nY;
第五部分:基础补充,Python+数据结构算法+PyTorch
- 知乎文章, 机器学习社区:赶快收藏,PyTorch 常用代码段合集真香!
- 花了2万多买的Python教程全套,现在分享给大家,入门到精通(Python全栈开发教程)_哔哩哔哩_bilibili
- PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】_哔哩哔哩_bilibili
- B站强推!2023公认最通俗易懂的【PyTorch】教程,200集付费课程(附代码)人工智能_机器学习_深度学习_计算机视觉_pytorch_神经网络_哔哩哔哩_bilibili
- Andrej Kapathy (OpenAI), Neural Networks: Zero To Hero
- TensorFlow Hub, https://tfhub.dev/
- Chris McCormick, How Stable Diffusion Works
- John Schulman (OpenAI), Reinforcement Learning from Human Feedback: Progress and Challenges
书籍推荐
第一本,《预训练语言模型》,邵浩,陈一峰
第二本,《基于BERT模型的自然语言处理实战(博文视点出品)必知ChatGPT背后的技术》,李金洪
第三本,《HuggingFace自然语言处理详解(基于BERT中文模型的任务实战)》,李福林
第六部分:经典论文、研究机构
- Transformer: 2017, Attention Is All You Need
- Word2Vec, 2013: Distributed Representations of Words and Phrases and their Compositionality
- NPLM, 2003: A Neural Probabilistic Language Model
- 2020, Language Models are Few-Shot Learners
- 2018, GPT1: Improving Language Understanding by Generative Pre-Training
- 2022, Training language models to follow instructions with human feedback
- OPENAI 研究中心: Research Index
- META Generative AI Research Center
- Google Research NLP
=====持续更新整理=====