Ldb 工具¶
ldb 命令行工具提供多种数据访问和数据库管理命令。下面列出了一些样例。如果需要更多帮助信息,请直接不带参数运行 ldb 工具,或者运行 tools/ldb_test.py 内的单元测试。
数据访问样例:
$./ldb --db=/tmp/test_db --create_if_missing put a1 b1
OK
$ ./ldb --db=/tmp/test_db get a1
b1
$ ./ldb --db=/tmp/test_db get a2
Failed: NotFound:
$ ./ldb --db=/tmp/test_db scan
a1 : b1
$ ./ldb --db=/tmp/test_db scan --hex
0x6131 : 0x6231
$ ./ldb --db=/tmp/test_db put --key_hex 0x6132 b2
OK
$ ./ldb --db=/tmp/test_db scan
a1 : b1
a2 : b2
$ ./ldb --db=/tmp/test_db get --value_hex a2
0x6232
$ ./ldb --db=/tmp/test_db get --hex 0x6131
0x6231
$ ./ldb --db=/tmp/test_db batchput a3 b3 a4 b4
OK
$ ./ldb --db=/tmp/test_db scan
a1 : b1
a2 : b2
a3 : b3
a4 : b4
$ ./ldb --db=/tmp/test_db batchput "multiple words key" "multiple words value"
OK
$ ./ldb --db=/tmp/test_db scan
Created bg thread 0x7f4a1dbff700
a1 : b1
a2 : b2
a3 : b3
a4 : b4
multiple words key : multiple words value
以十六进制导出已经存在的 rocksdb 库:
$ ./ldb --db=/tmp/test_db dump --hex > /tmp/dbdump
加载十六进制格式的数据进新的 rocksdb 库
$ cat /tmp/dbdump | ./ldb --db=/tmp/test_db_new load --hex --compression_type=bzip2 --block_size=65536 --create_if_missing --disable_wal
压缩一个已经存在的 rocksdb 库
$ ./ldb --db=/tmp/test_db_new compact --compression_type=bzip2 --block_size=65536
你可以通过 --column_family=
--try_load_options 将会尝试加载配置文件来打开数据库。如果你总是要用这个配置去打开数据库,这是一个好方法。如果你使用默认配置打开数据库,它可能破坏 LSM-Tree 结构并导致无法自动回复。
SST dump tool¶
sst_dump 工具能用来获取一个指定的 SST 文件视图。对一个 SST 文件 sst_dump 有多种操作功能。
$ ./sst_dump
file or directory must be specified.
sst_dump --file=<data_dir_OR_sst_file> [--command=check|scan|raw]
--file=<data_dir_OR_sst_file>
Path to SST file or directory containing SST files
--command=check|scan|raw|verify
check: Iterate over entries in files but dont print anything except if an error is encounterd (default command)
scan: Iterate over entries in files and print them to screen
raw: Dump all the table contents to <file_name>_dump.txt
verify: Iterate all the blocks in files verifying checksum to detect possible coruption but dont print anything except if a corruption is encountered
recompress: reports the SST file size if recompressed with different
compression types
--output_hex
Can be combined with scan command to print the keys and values in Hex
--from=<user_key>
Key to start reading from when executing check|scan
--to=<user_key>
Key to stop reading at when executing check|scan
--prefix=<user_key>
Returns all keys with this prefix when executing check|scan
Cannot be used in conjunction with --from
--read_num=<num>
Maximum number of entries to read when executing check|scan
--verify_checksum
Verify file checksum when executing check|scan
--input_key_hex
Can be combined with --from and --to to indicate that these values are encoded in Hex
--show_properties
Print table properties after iterating over the file when executing
check|scan|raw
--set_block_size=<block_size>
Can be combined with --command=recompress to set the block size that will
be used when trying different compression algorithms
--compression_types=<comma-separated list of CompressionType members, e.g.,
kSnappyCompression>
Can be combined with --command=recompress to run recompression for this
list of compression types
--parse_internal_key=<0xKEY>
Convenience option to parse an internal key on the command line. Dumps the
internal key in hex format {'key' @ SN: type}
1 导出 SST 文件块¶
./sst_dump --file=/path/to/sst/000829.sst --command=raw
这个命令会产生一个名为 /path/to/sst/000829_dump.txt. 的 txt 文件。这个文件会包含所有的十六进制编码的索引块和数据块,同时包含表配置,footer 细节和原数据索引细节。
2 打印 SST 文件条目¶
./sst_dump --file=/path/to/sst/000829.sst --command=scan --read_num=5
这个命令会打印 SST 文件内头 5 个 key。输出可能像这样:
'Key1' @ 5: 1 => Value1
'Key2' @ 2: 1 => Value2
'Key3' @ 4: 1 => Value3
'Key4' @ 3: 1 => Value4
'Key5' @ 1: 1 => Value5
输出能被这样解释
'<key>' @ <sequence number>: <type> => <value>
请注意如果你的 key 是非 Ascii 编码的,它很难打印在屏幕上,这种情况下使用 --output_hex 是个好方法
./sst_dump --file=/path/to/sst/000829.sst --command=scan --read_num=5 --output_hex
你也可以使用 --from 和 --to 指定开始和结束位置
./sst_dump --file=/path/to/sst/000829.sst --command=scan --from="key2" --to="key4"
使用 --input_key_hex 选项传入十六进制 --from 和 --to
./sst_dump --file=/path/to/sst/000829.sst --command=scan --from="0x6B657932" --to="0x6B657934" --input_key_hex
3 检查 SST 文件¶
./sst_dump --file=/path/to/sst/000829.sst --command=check --verify_checksum
这个命令会迭代 SST 文件内的所有条目,但是只会在出错时打印信息。它也会校验文件。
3.1 打印 SST file 配置¶
./sst_dump --file=/path/to/sst/000829.sst --show_properties
这个命令会读取 SST 文件配置并打印,输出像这样
from [] to []
Process /path/to/sst/000829.sst
Sst file format: block-based
Table Properties:
------------------------------
# data blocks: 26541
# entries: 2283572
raw key size: 264639191
raw average key size: 115.888262
raw value size: 26378342
raw average value size: 11.551351
data block size: 67110160
index block size: 3620969
filter block size: 0
(estimated) table size: 70731129
filter policy name: N/A
# deleted keys: 571272
尝试不同的压缩算法
sst_dump 能够被用来测试文件在不同压缩算法下的大小
./sst_dump --file=/path/to/sst/000829.sst --show_compression_sizes
通过使用 --show_compression_sizes sst_dump 能够在内存中用不同的算法重建 SST 文件,并输出其大小,输出像这样
from [] to []
Process /path/to/sst/000829.sst
Sst file format: block-based
Block Size: 16384
Compression: kNoCompression Size: 103974700
Compression: kSnappyCompression Size: 103906223
Compression: kZlibCompression Size: 80602892
Compression: kBZip2Compression Size: 76250777
Compression: kLZ4Compression Size: 103905572
Compression: kLZ4HCCompression Size: 97234828
Compression: kZSTDNotFinalCompression Size: 79821573
这些文件被创建在内容中,并且他们的块大小为 16KB,块大小能通过 --set_block_size 改变。