科研之友
微信
新浪微博
Facebook
分享链接
摘要
【目的】梳理分析ChatGPT相关的语料、算法与模型，为同行业研究提供体系化的参考借鉴。【方法】通过系统梳理GPT-3发布至今的相关文献与资料，刻画ChatGPT技术的整体架构，并解释与分析其背后的模型、算法与原理。【结果】通过文献调研，根据现有资料还原了支撑ChatGPT功能的技术细节，梳理了ChatGPT技术的整体架构，解释了ChatGPT整体技术构成。按照ChatGPT的语料体系、预训练算法与模型、微调算法与模型三个层次分析ChatGPT各技术组件的算法原理与模型组成。【局限】本文调研ChatGPT相关的文献难免存在遗漏，且对部分技术内容的解读还不够深入，一些由笔者推断的内容甚至可能存在错误。【结论】ChatGPT技术应用的突破，是语料、模型、算法，通过迭代训练不断积累的结果，也是各类算法模型有效组合与集成的结果。
- 出版日期2023
- 单位中国科学院文献情报中心; 中国科学院大学
