时间序列分析论文 Facebook TSDB论文Gorilla分析(2)

如上图所示，还有一个ShardMap用于保存shardId（分片ID）到TSmap的映射。Timeseries在保存的时候根据timeseries name哈希散列到不同shardId（0 ~ NumberOfShard）。该map也是使用大小写不敏感hash算法。系统中的Shard总数几千以内，因此存储空指针的额外开销可以忽略。同样ShardMap也使用一个读写spin lock实现并行。

由于数据根据shard进行了分区，单个map变得足够小（大约100万个条目），C++的unordered-map有足够的性能，没有锁争用的问题。

最终保存的Timeseries数据结构（图中TS）由一系列closed data block

s和一个open data block组成。每个data block保存2小时的数据，Closed data block用于保存2小时以前的数据，Open data block用于保存2小时内最近的数据。Open data block是一个append-only的string，新的压缩后的timestamps和values追加到该string后面。一旦Open data block写满2小时，则将其close。Closed data block不允许修改，直到将其从内存里删除。在closing过程中，数据将被拷贝到从large slabs里分配的内存以减少内存碎片。拷贝之后open data block可以直接用于新的数据写入，避免open data block经常改变size导致reallocate内存从而导致内存碎片。时间序列分析论文

根据时间范围查询时，将拷贝关联的data blocks数据给远程调用者。整个data block直接返回给Client，并由Client完成timestamp和value的解压缩。

一般TSDB的数据模型里通常有一个Metric（如CPU使用率）和一些TAG（如host=10.10.10.10，cluster=A），并提供针对Metric和TAG的查询、聚合等功能。而Gorilla每个timeseries都有一个key string字符串作为其唯一标识。论文中没有太多描述，只是提了一下依赖更高层的工具去抽象和定义这个key string。简单的实现可能就是MetricName+TAG1(key=value)+TAG2..组成一个string。

Gorilla使用GlusterFS存储持久化数据，以应对单机故障。GlusterFS是一个兼容POSIX的3副本分布式文件系统。之所以没有选择MySQL或者RocksDB，是因为Gorilla不需要提供一种数据库查询语言。

一个Gorilla主机上有多个shards的数据，每个shard有一个单独的目录，目录下包括4中类型的文件：Key list、append-only log、complete block files、checkpoint files。

Key list是一个map用于保存timeseries string key到内存数据结构vector的ID的映射，新的key会被追加到当前key list文件尾，Gorilla会定期扫描每个shard里所有的keys并重写key list文件（猜测是为了保证一致性）。

log file用于存储最新的数据流，包括压缩后的timestamps和values。每个shard只有一个log file，所以交替保存了多个timeseries的值。它和内存中的数据结构不同点在于每个timestamp-value pair都有一个32-bit整型ID标记，该ID应该就是key list里的vectorID，标记它属于哪个timeseries。log file并不是write-ahead-log（WAL），数据写入磁盘前会缓存64KB，因此宕机会导致几秒数据的丢失。不过Gorilla不需要提供ACID特性，相比WAL日志带来的收益，提供了更好的数据写入效率。

complete block file存储压缩后的整个block数据，每隔2小时从内存中拷贝block数据并进行压缩，所以它比log file小了很多。该文件包含两个部分：一组连续的64KB slabs大小的block data；一个timeseriesID->data block指针pair的列表，用于标记block data属于哪个timeseries。这里timeseriesID应该和key list的vectorID是一个概念。

checkpoint file用于标记某个时间的complete block file已经flush到磁盘。此时，对应的log file将被删除，数据流写入新的log file。宕机后接管该Shard的主机根据checkpoint file来确定从log file还是complete block file里读取数据。

综上，Gorilla提供了一个对26小时内监控数据内存级分布式水平扩展的TSDB，在long-term分布式TSDB基础上提供了短时间（也是大部分查询需求时间段）内秒级快速查询的能力。