想法 Posted on 2024-03-05 在训练大模型的时候，可以从一些老师的课程视频中将字幕识别下来，作为LLM的训练数据 历史告诉我们会怎么样，科学告诉我们怎么改变 一个预训练模型 在两批数据上训练，训练的顺序先后颠倒 得到的模型还是一样的吗（大模型的遗忘问题） 预训练模型的预训练数据的前后训练顺序对模型有影响吗 人类的所有创新都是排列组合 幻觉就是创新？ 大模型如何在跟人类对话的同时进行训练，推理即微调, 实时更新 指令冲突时，大模型听哪个指令？