AI用Token作为单位,到底如何理解?

有介绍说TOKEN是词元。但一段文字,包含很多词元。让AI去自主理解这个字跟那个字搭配在一起是词元,实际上很浪费算力吧。尤其是不同的搭配匹配度差异也太大了。

再说回来,搞清楚词元之后,对一本书的理解岂不是跟字数的指数次方有关联?

一个AI AGENT,要花多少TOKEN来执行一项任务,花费多少钱?比如给一本书做出主要知识点,或者做一段10分钟的视频?

站务

全部专栏