Json/toml/yaml/xml

Json

JSON全称JavaScript Object Notation（JavaScript 对象表示法） ，是一种轻量级的、基于文本的数据交换格式

JSON 脱胎于 JavaScript 语言中对象字面量（object literal）的语法，早期开发者发现，JavaScript 里描述对象的 {key: value} 写法既直观又紧凑，非常适合用来在系统之间传递数据，于是它被广泛用于浏览器与服务器之间的数据交互，以替代笨重的 XML，并随着 Ajax 技术的兴起迅速流行。现在已成为事实上的通用数据交换格式，被广泛用于：

• API 的请求/响应体，浏览器中通过 Content-Type: application/json 标识文件
• 配置文件，如 package.json
• NoSQL 数据库（如 MongoDB）的存储格式
• 部分日志、微服务通信

特点

• JS 对象字面量允许不加引号的键、单引号、函数、undefined、注释、尾随逗号，因此 JSON 也不允许这些值
• YAML 是JSON的超集，可读性更强、支持注释，如果需要注释参考yaml
• JSON 规范不限定数字精度，但很多语言（如 JavaScript）用 IEEE 754 双精度浮点表示，大整数（超过 2^53）会丢失精度。这也是为什么很多 API 用字符串传大 ID
• JSON作为文本文件，解析开销较大，大数据量/高性能场景建议选用其他二进制格式，如：BSON等

数据类型

JSON 文本由值（value）构成，一个合法的 JSON 文件整体就是一个值（通常是一个对象或数组）。文件扩展名为.json，编码必须是UTF-8，Json 支持以下数据类型

• 对象 Object无序的键值对集合，用 { } 包裹，键必须是字符串，如：{"name": "Tom", "age": 18}
• 数组 Array有序的值列表，用 [] 包裹，如：["a", "b", 1, true]
• 字符串 String用双引号包裹的文本，如："hello"
• 数字 Number整数或浮点数，不支持八进制/十六进制，如：42、3.14、-1e5
• 布尔值 Boolean真或假，如：true、false
• 空值 Null表示空
• 不支持：注释、undefined、日期/函数/NaN/Infinity 等类型

文件格式

• 键必须用双引号包裹（单引号非法）
• 键值对之间用逗号分隔，最后一个元素后不能有逗号（不允许尾随逗号）
• 值可以是上面 6 种类型的任意一种，且可以嵌套（对象里放数组、数组里放对象等）
• 数字不能有前导零（01 非法），不能以 . 开头（.5 非法）
• 空白（空格、换行、制表符）在结构之间可自由使用，用于美化排版

{
  "id": 1001,
  "name": "Alice",
  "isActive": true,
  "score": 95.5,
  "tags": ["admin", "developer"],
  "address": {
    "city": "Beijing",
    "zip": null
  }
}

TOML

TOML全称Tom's Obvious, Minimal Language（Tom 的显明、极简语言），由 Tom Preston-Werner（GitHub 联合创始人）于 2013 年创建，以解决 NI 太简陋、YAML 缩进易错且类型隐晦、JSON 不支持注释且对人不友好的痛点，是一种语义清晰、易于阅读的配置文件格式，被广泛用于：

• 项目配置文件，尤其受 Rust 生态推崇（Cargo.toml）
• Python 打包/配置文件

数据类型

TOML 文件由键值对和表（table）组成，扩展名.toml编码必须是UTF-8

• 字符串 String基本用双引号；也支持单引号（字面量）、三引号（多行），如："hello"、'C:\path'、"""多行"""
• 整数 Integer支持十进制、十六进制、八进制、二进制，可用下划线分隔，如：42、0xFF、1_000
• 浮点数 Float含小数或指数，支持 inf、nan，如：3.14、-1e5、inf
• 布尔值 Boolean真或假，必须小写，如：true、false
• 日期时间 Datetime支持 4 种时间形式：偏移日期时间、本地日期时间、本地日期、本地时间，如：1979-05-27T07:32:00Z
• 数组 Array用 [] 包裹，元素可混合类型，如：[1, 2, 3]、["a", "b"]
• 表 Table用 [table] 定义，类似分区/命名空间，如：[server]
• 内联表 Inline Table用 {} 写在一行内，如：point = { x = 1, y = 2 }

# 全局配置
title = "示例配置"
enabled = true
timeout = 30.5
created = 2024-01-01T12:00:00Z
ports = [8000, 8001, 8002]

# 表
[server]
host = "localhost"
port = 8080

# 嵌套表
[server.limits]
max_connections = 100

# 表数组
[[users]]
name = "Alice"
admin = true

[[users]]
name = "Bob"
admin = false

文件格式

• 值使用键值对形式key = value，而不是冒号
• 键可用裸键（name）、引号键（"my key"）、点分键（a.b.c）
• 表用[表名]声明，其下的键都属于该表；子表用[父.子]，一个表不能重复定义；子表必须在父表之后定义
• 表数组用[[数组名]]，表示可重复的一组表
• 支持注释，用#开头
• 允许尾随逗号，缩进仅影响可读性、无语法意义

yaml

YAML Ain’t Markup Language，小猫咪都会写的yaml文件

关于

YAML是一种数据序列化语言，可用于存储和传输数据，常用于编写配置文件、数据文件、日志文件，以及跨语言进行数据共享等环境，大多数编程语言都可以使用 YAML 进行数据序列化。

YAML文件后缀为.yml或.yaml

基本语法

1. 通常使用键值对形式

• 键与值通常不需要引号包裹 (这点与json不同)
• 值可以为：数组、对象、标量值
• 标量值是指：整数、浮点数、字符串、布尔值、Null、时间、日期

2. 通过缩进或者样式流表示数据结构

• 数据可以通过空格缩进来表示层级关系，但不能用制表符(Tab)
• 子结构相较父结构必须缩进至少一个空格，同一级数据须缩进相同空格数，即左端对齐
• 也可以使用花括号{ }，中括号[ ]等样式流表示层级关系
  3. 大小写敏感
  4. 使用#号注释

对象

最为常用的数据类型，又称为字典、哈希、映射，以 key:  value 键值对的形式存储数据，key: 后需要有空格!

对象写法

或者使用样式流：

缩进与嵌套

可以通过缩进至少一个空格表示层级关系，从而嵌套其他对象、数组等

复杂对象格式

使用?加空格可以指定多个key值，使用:加空格指定多个value

数组

使用-开头表示数组元素

数组写法

缩进与嵌套

可以通过缩进表示层级关系，来嵌套数组、对象等

标量

标量指最基本的，不可再分的值，这里指：整数、浮点数、字符串、布尔值、Null、时间、日期

基本使用方法：

字符串处理

一般情况下，字符串不需要添加引号，但如果字符串中间包含特殊字符，尤其是冒号加空格组合时，为了避免被yaml解析为键值对，需要添加引号

给数值等标量添加引号将解析为字符串

多行字符串，第二行开始所有行需要缩进至少一个空格，但解析时将被解析为一行字符串，且换行符会被替换为空格

单引号与双引号

单引号和双引号均可以用于包裹字符串

• 单引号会原样输出，将转义字符作为普通字符串输出
• 双引号会转义字符串，如将 \n 转义为换行

区块字符串处理

1. 多行字符串可以使用|保留所有换行符，内容从第二行开始需要缩进至少一个空格，且最后一行的换行符也会保留。

   lyrics: | aaaa bbbb cccc dddd
   输出为：
   aaaa bbbb cccc dddd
   

2. 可以使用>去除换行，换行符将被空格代替 (如果某一行是空行，该空行会被额外保留)

   lyrics: > aaaa bbbb cccc dddd
   输出为：
   aaaa bbbb cccc dddd

3. 可以使用+保留文字块末尾的换行

   lyrics: |+ aaaa bbbb cccc dddd
   输出为：
   aaaa bbbb cccc dddd
   

4. 可以使用-去除文字块末尾的换行

   lyrics: |- aaaa bbbb cccc dddd
   输出为：
   aaaa bbbb cccc dddd
   在yml文件中配置好字符串格式后，读取到html中时往往需要添加如white-space: pre-line;等css属性来保留换行符和空格，否则读入的数据可能会被css默认样式去除换行符，从而无法展示原生yml指定的数据格式
5. 在样式流中，无法使用 | > + -
   如：以上数据写为样式流 { lyrics: |- aaaa bbbb cccc dddd } |- 将无法解析，抛出错误

添加HTML标签

yaml允许在值中添加HTML标签，并且标签会被正确地解析为DOM

锚点与引用

可以使用&定义一个锚点，然后使用*引用锚点

如果将多个键值对引用到其他地方，可以使用<<合并数据

文件格式

一个完整的yml文档以-‌-‌-标识文档开始，以...标识文档结束，该标识非必须，无标识的称为裸文档，文件开头可以添加%YAML来识别文件的YAML版本

一个yml文件中可能有多个文档

xml

关于

XML 指可扩展标记语言(EXtensible Markup Language)，其文件以.xml为后缀名，主要用于数据存储、数据传输、编写配置文件，语法格式与HTML相似，二者主要差异有：

• XML标签没有被预定义，需要自行定义标签；HTML虽然支持自定义标签，但主要使用预定义标签
• XML主要用于传输和存储数据，HTML主要用于显示数据
• XML语法要求比HTML严格

组成

xml文档基本由以下模块组成

• 标签(元素)：文档主要部分，将被解析为XML DOM
• 标签属性：提供关于标签的信息
• 转义字符(实体)：XML中预用字符的实体引用
• PCDATA(Parsed Character Data)：需要由解析器解析的文本
• CDATA(Character Data)：解析器不会解析的文本，内容将视为字符串

语法

xml标签定义规范

xml中的标签需要自定义，标签名需要遵循以下规范

• 可以包含字母、数字和其他符号，包括连字符(-)、下划线(_)和点号(.)
• 不能以数字或者标点符号开始
• 不能以xml、 XML、Xml开始
• 不能包含空格
• 尽量避免使用-和.字符，该类字符在某些XML解析器中中可能会被错误解析
• 避免使用:，该字符用于命名空间

xml基本语法格式

• 首行进行xml文档声明，version属性定义版本，encoding声明编码格式
• 必须包含一个根标签，标签名自定义
• XML标签大小写敏感
• 所有XML标签都必须闭合，自闭合标签禁止省略/
• XML的属性值须加引号，即便属性值是数值，单双引号均可用
• XML标签禁止交叉嵌套
• XML中多个连续空格也会被保留，HTML中会被合并
• XML 以 LF 存储换行

空标签

xml允许空标签，即标签中无内容

转义字符

以下字符在XML中被预定义，使用时需要转义

CDATA字符数据

CDATA(character data)指不被xml解析器解析的文本数据，当文档中出现需要大量转义的字符时，可以直接使用CDATA进行引用，这样，这些字符将不会被xml解析器解析，

CDATA 部分由<![CDATA[开始，]]>结束

命名空间

由于xml中标签是自定义的，多个xml文档同时使用可能出现标签名相同导致命名冲突的情况，此时需要使用命名空间来解决标签名冲突问题

添加前缀

在标签名前添加前缀，来定义不同的标签，从而对不同文档的同名标签加以区分

添加XML Namespace(xmlns)属性

可以在父标签中添加命名空间属性，以此定义一个命名空间，之后带有相同前缀的子标签都将同属于该命名空间
xmlns:命名前缀="namespaceURI"

使用默认的命名空间

当父元素定义默认的命名空间时，我们可以省略子元素中的前缀
xmlns="namespaceURI"

DTD验证

DTD(Document Type Definition):文档类型定义，是一套为了进行程序间的数据交换而建立的关于标记符的语法规则

xml的标签是可以自由定义的，每个人写的xml将完全不同。但在一个团队内部，我们往往希望拥有一个统一的文件格式来进行数据交换。此时，我们可以使用DTD来对xml文件进行约束，使用一个标准的 DTD 来交换数据

标签声明

限制标签内可以写入哪些内容

• <!ELEMENT 标签名 (child1,child2...)> 标签中可以包含的子标签
  父标签中按顺序声明其中可以包含的子标签，子标签必须以相同的顺序出现在xml文档中，并且所有子标签也要声明其中可以写入的内容，子标签可以嵌套地拥有子标签
• <!ELEMENT 标签名 (child1,(child2|child3)...)> 标签中可以包含的子标签并可选
• <!ELEMENT 标签名 (#PCDATA)> 标签中仅包含需要解析的字符数据(可以为空)
• <!ELEMENT 标签名 EMPTY> 声明为空标签
• <!ELEMENT 标签名 ANY> 标签中可包含任何内容
• <!ELEMENT 标签名 (#PCDATA|child1|child2|...)*> 标签中可包含PCDATA数据，也可以包含指定子标签必须添加*号

限制子标签的数量

• <!ELEMENT 标签名 (child)> 子标签必须出现一次，且只能出现一次
• <!ELEMENT 标签名 (child+)> 子元素至少出现一次
• <!ELEMENT 标签名 (child*)> 子元素出现零次或多次
• <!ELEMENT 标签名 (child?)> 子元素出现零次或一次

声明实体

<!ENTITY 实体引用名称 "实体实际代表含义"> 定义一个实体
引用实体需要添加&和;

属性声明

限制标签可添加的属性以及属性值，语法格式为：
<!ATTLIST 标签名 属性名 属性类型 属性值>

DTD文件引入

内部DTD

如果DTD被包含在xml文件中，需要被包装于DOCTYPE声明中
<!DOCTYPE 根标签 [标签声明内容]>

外部私有DTD

可以将DTD声明为一个外部文件，然后引用到xml文档中
<!DOCTYPE 根标签 SYSTEM "DTD的URL">

外部公用DTD

也可以使用一些标准化组织或权威机构提供的DTD
<!DOCTYPE 根标签 PUBLIC "DTD公共名称" "DTD的URL">

DTD公共名称格式为："是(否)ISO注册//注册组织//DTD所描述的文件的信息//语言"

• 是否由国际标准化组织(ISO)注册，+表示是，-表示不是
• 注册组织或个人
• 该DTD所验证文件的描述性信息，经常还会添加版本号
• 语言标识，如：ZH为中文，EN为英文
  lt;!DOCTYPE web PUBLIC "-//shiwivi//blog config//CN" "http://www.shiwivi.com/blog/check.dtd">

XPath

XPath（XML Path Language） 是一门在 XML/HTML 文档中查找和定位节点的查询语言，可以理解成"文档的路径表达式"，类似文件系统的路径 /home/user/docs，它由 W3C 标准化，最初为 XSLT 设计，后来被广泛用于各种解析库（lxml、Selenium、Scrapy 等）

路径符号

筛选条件

可以通过谓词[]过滤节点

逻辑运算

支持and、or、 取反not()、括号分组、逻辑分组

通配符

注意：* 只匹配元素，不匹配属性、文本、注释等，匹配全类型内容需要使用 node()，或使用 @*、text()、comment()单独匹配属性、文本、注释

属性匹配

字符串匹配

取文本

位置函数

注意 //li[3] 是“每个父节点下第 3 个 li”，(//li)[3] 才是“全文档第 3 个 li”。

数值与存在判断

节点测试与类型

轴（Axes）

除了向下查找，XPath 还能沿"轴"定位父、兄弟等

其他实用写法

XPath 版本差异

浏览器 document.evaluate()、Python lxml 默认都是 XPath 1.0，2.0+ 写法会直接报错；需要时用 substring + string-length 模拟 ends-with。