☰

当 Cassandra 3.0 中的 TWCS TTL 发生变化时触发压缩

tag-icon • tag-icon cassandra
当 Cassandra 3.0 中的 TWCS TTL 发生变化时触发压缩

我在 cassandra 中有一个表，我使用客户端 TTL = 1 个月（表 TTL 为 0）保存数据，该表配置了时间窗口压缩策略。

Cassandra 每天都会清理一个包含一个月前过期数据的 sstable。最近我将客户端的 TTL 更改为 15 天，我原本希望 Cassandra 每天清理两个 sstable，然后释放空间。但它每天清理一个 sstable，并保留 15 天的过期数据。

我怎么知道？

for f in /data/cassandra/data/keyspace/table-*/*Data.db; do meta=$(sudo sstablemetadata $f); echo -e "Max:" $(date --date=@$(echo "$meta" | grep Maximum\ time | cut -d" " -f3| cut -c 1-10) '+%m/%d/%Y') "Min:" $(date --date=@$(echo "$meta" | grep Minimum\ time | cut -d" " -f3| cut -c 1-10) '+%m/%d/%Y') $(echo "$meta" | grep droppable) ' \t ' $(ls -lh $f | awk '{print $5" "$6" "$7" "$8" "$9}'); done | sort

此命令列出所有 sstables

Max: 05/19/2018 Min: 05/18/2018 Estimated droppable tombstones: 0.9876591095477787        84G May 21 02:59 /data/cassandra/data/pcc/data_history-c46a3220980211e7991e7d12377f9342/mc-218473-big-Data.db
Max: 05/20/2018 Min: 05/19/2018 Estimated droppable tombstones: 0.9875830312750179        84G May 22 15:25 /data/cassandra/data/pcc/data_history-c46a3220980211e7991e7d12377f9342/mc-221915-big-Data.db
Max: 05/21/2018 Min: 05/20/2018 Estimated droppable tombstones: 0.9876636061230402        85G May 23 13:56 /data/cassandra/data/pcc/data_history-c46a3220980211e7991e7d12377f9342/mc-224302-big-Data.db
...

目前，我一直使用 JMX 手动触发压缩，但我希望像平常一样删除所有内容。

run -b org.apache.cassandra.db:type=CompactionManager forceUserDefinedCompaction /data/cassandra/data/keyspace/sstable_path

答案1

我想我搞明白了。必须同时对最旧和最新的 sstable 进行手动压缩，因为其所有内容都已过期。几天后，它清理了所有内容。

我怎么知道它正在运行？因为当我尝试在其间的任何其他 sstable 上运行 forceUserDefinedCompaction 时，它总是返回 null。

编辑：它不起作用，过期的 Sstable 计数再次不断增加

相关内容