要把海量的文字塞进模型里，让它自己去学习语言的规律。

看得越多，学得越好，最后就能像人一样理解和生成文字。

听起来简单？

一点都不简单。

首先，数据从哪来？

陈阳花了快一年时间，让星城那边的团队爬取了整个维基百科丶几百万篇新闻报导丶上千万条论坛帖子丶小说的片段，清洗丶去重丶格式化，最后整理出三套数据：

第一套，训练集，12.4GB。

这是喂给模型的课本，让它自己从海量文字里自学语言规律。

对，没错就是自己学习，模型一开始是一个什么都不知道的孩子。

然后通过海量数据以及算法反馈。逐渐从数据里面学习规律，最终找到答案。

第二套，验证集。

这是提前准备好的随堂测验，题目和标准答案都是现成的。

比如给模型一句话：「珠穆朗玛峰多高「，标准答案是：「8848米「。

模型回答完，跟答案一对，就知道它学得怎么样。

验证集有两个用处。

第一，防止死记硬背。

如果模型在课本上的题越做越好，但随堂测验的分数不涨反降，那就说明它只是在背课本原文，换道新题就懵了。这叫过拟合，得赶紧调整。

第二，判断什么时候该停。

模型不可能无限进步。

学到一定程度，该会的都会了，再学也没什么提升了。

怎么判断到没到这个点？

就看验证集的分数。

一开始，分数会蹭蹭往上涨。

然后涨得越来越慢。最后，曲线变平了，连着好几轮分数都不动了。

这就说明模型训练完成，可以停了。

再往下硬学，就是浪费时间。

第三套，测试集。