AI模型使用中英文训练的成本,应该放在整体中去比较,而不是单纯比词元消耗
【本文由“时之浩浩汤汤”推荐,来自《中文通常比英文消耗更多的词元(Token),而不是英文消耗更多》评论区,标题为时之浩浩汤汤添加】
不能只看底层的那个分词器token消耗,你要看整体使用。包括一开始的模型训练,到用户的日常使用,以及现在这个多模态的使用。中文拥有天然的优势。
【本文由“时之浩浩汤汤”推荐,来自《中文通常比英文消耗更多的词元(Token),而不是英文消耗更多》评论区,标题为时之浩浩汤汤添加】
不能只看底层的那个分词器token消耗,你要看整体使用。包括一开始的模型训练,到用户的日常使用,以及现在这个多模态的使用。中文拥有天然的优势。
等13人 已参与问答
等19人 已参与问答
已参与问答