在训练初代 Wbot-1 模型时，受限于资金和算力，我们只训练了一个非常小的模型。小到这款模型都无法输出正常句子。

这种情况直到第 130 次迭代才完全解决。如果你对 Wbot-1 感兴趣，可以查看我们开源的 Wbot-1(5) 重训练开放权重模型，开源在了 Hugging Face。重训练版本仅有 54.5M 的参数，完全无法进行正常聊天 （；´д｀）ゞ

至于为什么在第 130 次迭代时会解决，其根本原因是我们重构了相关训练代码并初步清洗了训练数据集。在这次重构以后，Wbot-1 模型确实可以输出正常句子了。于是我们在第 140 次迭代时将该模型作为基座模型并命名为: Wbot-1 （后续被内部称为 Wbot-F）

---

其实 Wbot-1 的故事并没有多少，它自诞生起就饱受争议。且由于 Wbot-F 架构的特殊性，导致后续所有基于 Wbot-F 的模型都存在回复“幻觉率”高、不遵守指令和知识储备不充足等问题。（除 Wbot-5 外，基本所有公开的模型都是基于 Wbot-F 进行训练的）

当时团队训练 Wbot 的目的很简单，只是想降低模型 API 的使用成本，让更多人受益。也正是这种想法支撑着团队在每一代 Wbot 模型发布时总会保留着一款免费模型。