toon：一种面向大模型的紧凑、模式感知的 JSON 格式 | toon-format/toon
JSON的符号税：实测30% token浪费在括号和引号上 一段 {"name":"Alice","age":30,"city":"New York"}，29个字符里符号有13个。GPT-4分词器把每个符号算一个token，而“Alice”这种实际数据只算一个。我拿真实测试数据算过，短字符串JSON...
JSON的符号税：实测30% token浪费在括号和引号上 一段 {"name":"Alice","age":30,"city":"New York"}，29个字符里符号有13个。GPT-4分词器把每个符号算一个token，而“Alice”这种实际数据只算一个。我拿真实测试数据算过，短字符串JSON...