文章/答案/技术大牛

发布

社区首页 >问答首页 >如何恢复Cassandra快照？

问如何恢复Cassandra快照？
EN

Stack Overflow用户

提问于 2014-08-24 04:07:08

回答 3查看 21.3K关注 0票数 21

我正在为一个Cassandra数据库构建一个备份和恢复过程，这样它就可以在我需要的时候准备好了，这样我就可以理解其中的细节，以便构建一些可以用于生产的东西。我在这里遵循Datastax的说明：

http://www.datastax.com/documentation/cassandra/2.0/cassandra/operations/ops_backup_restore_c.html。

作为开始，我在一个dev box上播种数据库，然后尝试备份/恢复。以下是备份脚本：

#!/bin/bash

cd /opt/apache-cassandra-2.0.9
./bin/nodetool clearsnapshot -t after_seeding makeyourcase
./bin/nodetool snapshot -t after_seeding makeyourcase

cd /var/lib/
tar czf after_seeding.tgz cassandra/data/makeyourcase/*/snapshots/after_seeding

是的，tar可能不是最有效的方法，但我现在只是想让一些东西正常工作。我已经检查了tar文件，所有的文件都在那里。

数据库备份完成后，我关闭了Cassandra和我的应用程序，然后关闭了rm -rf /var/lib/cassandra/以模拟完全丢失。

现在恢复数据库。与方法1相比，从http://www.datastax.com/documentation/cassandra/2.0/cassandra/operations/ops_backup_snapshot_restore_t.html恢复“方法2”与我的模式创建组件更兼容。

因此，方法2/步骤1“重新创建模式”：重启Cassandra，然后重启我的应用程序。该应用程序构建为在必要时在启动时重新创建模式。一旦启动，就会有一个可用的Cassandra节点，其中包含应用程序的模式，但没有数据。

方法2/步骤2“恢复快照”：他们给出了三种选择，第一种是使用sstableloader，在http://www.datastax.com/documentation/cassandra/2.0/cassandra/tools/toolsBulkloader_t.html中有记录。加载器需要的文件夹结构与快照工具创建的文件夹结构完全不同，因此必须将所有内容移动到适当的位置。在大费周章之前，我只想在一张桌子上尝试一下：

>./bin/sstableloader makeyourcase/users
Error: Could not find or load main class org.apache.cassandra.tools.BulkLoader

嗯，那是行不通的。BulkLoader在./lib/apache-cassandra-2.0.9.jar中，但是加载器似乎没有设置为开箱即用。与其调试该工具，不如转到第二种方法，将快照目录复制到move move/users/snapshots/目录中。这应该很简单，因为我们将快照目录放回原来的位置，所以tar xzf after_seeding.tgz应该可以做到这一点：

cd /var/lib/
tar xzf after_seeding.tgz
chmod -R u+rwx cassandra/data/makeyourcase

这会将快照目录放回它们各自的“快照”目录下，刷新应该会恢复数据：

cd /opt/apache-cassandra-2.0.9
./bin/nodetool refresh -- makeyourcase users

这运行起来没有任何抱怨。请注意，您必须为每个表运行此命令，因此您必须首先生成表的列表。但是，在此之前，请注意Cassandra日志中有一些有趣的东西：

INFO 14:32:26,319 Loading new SSTables for makeyourcase/users...
INFO 14:32:26,326 No new SSTables were found for makeyourcase/users

所以，我们把快照放回去，但是Cassandra没有找到它。我还尝试将快照目录移动到现有的SSTables目录下，并将旧的SSTable文件复制到现有目录中，但在日志中出现了相同的错误。Cassandra没有记录在它期望找到它们的地方，只是它找不到它们。文档说要将它们放到一个名为data/keyspace/table_name-UUID的目录中，但并没有这样的目录。有一个名为data/makeyourcase/users/snapshots/1408820504987-users/，的文件，但将快照目录或单个文件放在那里不起作用。

第三种替代方法"Node restart method“看起来不适合多节点生产环境，所以我没有尝试它。

编辑：

为了让下一个人清楚地知道这一点，这里是初步的、有效的备份和还原脚本，它们应用了公认的答案。

myc_backup.sh：

#!/bin/bash

cd ~/bootstrap/apache-cassandra-2.0.9
./bin/nodetool clearsnapshot -t after_seeding makeyourcase
./bin/nodetool snapshot -t after_seeding makeyourcase

cd /var/lib/
tar czf after_seeding.tgz cassandra/data/makeyourcase/*/snapshots/after_seeding

myc_restore.sh：

#!/bin/bash

cd /var/lib/
tar xzf after_seeding.tgz
chmod -R u+rwx cassandra/data/makeyourcase

cd ~/bootstrap/apache-cassandra-2.0.9
TABLE_LIST=`./bin/nodetool cfstats makeyourcase | grep "Table: " | sed -e 's+^.*: ++'`
for TABLE in $TABLE_LIST; do
    echo "Restore table ${TABLE}"
    cd /var/lib/cassandra/data/makeyourcase/${TABLE}
    if [ -d "snapshots/after_seeding" ]; then
        cp snapshots/after_seeding/* .
        cd ~/bootstrap/apache-cassandra-2.0.9
        ./bin/nodetool refresh -- makeyourcase ${TABLE}
        cd /var/lib/cassandra/data/makeyourcase/${TABLE}
        rm -rf snapshots/after_seeding
        echo "    Table ${TABLE} restored."
    else
        echo "    >>> Nothing to restore."
    fi
done

cassandra

datastax

回答 3

Stack Overflow用户

回答已采纳

发布于 2014-08-24 06:32:01

添加了更多详细信息：

您可以使用以下命令为特定的键空间运行快照：

$ nodetool snapshot <mykeyspace> -t <SnapshotDirectoryName>

这将在数据中的快照目录中创建快照文件。

删除数据时，请确保不要删除快照文件夹，否则您将无法还原该文件夹(除非将其移动到其他位置/计算机)。

$ pwd
/var/lib/cassandra/data/mykeyspace/mytable
$ ls
mykeyspace-mytable-jb-2-CompressionInfo.db mykeyspace-mytable-jb-2-Statistics.db
mykeyspace-mytable-jb-2-Data.db mykeyspace-mytable-jb-2-Filter.db mykeyspace-mytable-jb-2-Index.db
mykeyspace-mytable-jb-2-Summary.db mykeyspace-mytable-jb-2-TOC.txt snapshots


$ rm *
rm: cannot remove `snapshots': Is a directory

准备好恢复后，将快照数据复制回keyspace/table目录(每个表一个)：

$ pwd
/var/lib/cassandra/data/mykeyspace/mytable
$ sudo cp snapshots/<SnapshotDirectoryName>/* .

你提到过：

刷新，这会将快照目录放回它们各自的‘

’目录下，刷新>应该会恢复数据：

我认为问题在于您正在将快照数据恢复到快照目录中。它应该放在表目录的右边。其他一切看起来都是对的，请告诉我。

票数 10

Stack Overflow用户

发布于 2015-08-29 12:36:44

文档说要将它们放到一个名为

/keyspace/table_name-UUID的目录中，但实际上并没有这样的目录。

您没有这个UUID目录，因为您使用的是cassandra 2.0，而这个UUID是从cassandra 2.2开始的

票数 3

Stack Overflow用户

发布于 2020-05-15 02:41:14

步骤1:我使用下面的命令创建了一个表

CREATE TABLE Cricket (
    PlayerID uuid,
    LastName varchar,
    FirstName varchar,  
    City varchar,
    State varchar,
    PRIMARY KEY (PlayerID));

第-2步:使用以下命令插入3条记录

INSERT INTO Cricket (PlayerID, LastName, FirstName, City, State)
VALUES (now(), 'Pendulkar', 'Sachin', 'Mumbai','Maharastra');
INSERT INTO Cricket (PlayerID, LastName, FirstName, City, State)
VALUES (now(), 'Vholi', 'Virat', 'Delhi','New Delhi');
INSERT INTO Cricket (PlayerID, LastName, FirstName, City, State)
VALUES (now(), 'Sharma', 'Rohit', 'Berhampur','Odisha');

第三步:我不小心删除了板球桌

drop table Cricket;

Step-4:需要使用自动快照备份恢复表注意: auto_snapshot (默认值: true )启用或禁用在键位截断或删除表之前对数据进行快照。为防止数据丢失，强烈建议使用默认设置。

第5步:查找快照位置和文件

cassandra@node1:~/data/students_details$ cd cricket-88128dc0960d11ea947b39646348bb4f
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f$ ls -lrth
total 0
drwxrwxr-x 2 cassandra cassandra  6 May 14 18:05 backups
drwxrwxr-x 3 cassandra cassandra 43 May 14 18:06 snapshots

步骤6:您将在快照位置获得一个.cql文件，其中包含表DDL。

cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket$ ls -lrth
total 44K
-rw-rw-r-- 1 cassandra cassandra   92 May 14 18:06 md-1-big-Summary.db
-rw-rw-r-- 1 cassandra cassandra   61 May 14 18:06 md-1-big-Index.db
-rw-rw-r-- 1 cassandra cassandra   16 May 14 18:06 md-1-big-Filter.db
-rw-rw-r-- 1 cassandra cassandra  179 May 14 18:06 md-1-big-Data.db
-rw-rw-r-- 1 cassandra cassandra   92 May 14 18:06 md-1-big-TOC.txt
-rw-rw-r-- 1 cassandra cassandra 4.7K May 14 18:06 md-1-big-Statistics.db
-rw-rw-r-- 1 cassandra cassandra    9 May 14 18:06 md-1-big-Digest.crc32
-rw-rw-r-- 1 cassandra cassandra   43 May 14 18:06 md-1-big-CompressionInfo.db
-rw-rw-r-- 1 cassandra cassandra  891 May 14 18:06 schema.cql
-rw-rw-r-- 1 cassandra cassandra   31 May 14 18:06 manifest.json
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket$

more schema.cql
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket$ more schema.cql
CREATE TABLE IF NOT EXISTS students_details.cricket (
        playerid uuid PRIMARY KEY,
        city text,
        firstname text,
        lastname text,
        state text)
        WITH ID = 88128dc0-960d-11ea-947b-39646348bb4f
        AND bloom_filter_fp_chance = 0.01
        AND dclocal_read_repair_chance = 0.1
        AND crc_check_chance = 1.0
        AND default_time_to_live = 0
        AND gc_grace_seconds = 864000
        AND min_index_interval = 128
        AND max_index_interval = 2048
        AND memtable_flush_period_in_ms = 0
        AND read_repair_chance = 0.0
        AND speculative_retry = '99PERCENTILE'
        AND comment = ''
        AND caching = { 'keys': 'ALL', 'rows_per_partition': 'NONE' }
        AND compaction = { 'max_threshold': '32', 'min_threshold': '4', 'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy' }
        AND compression = { 'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor' }
        AND cdc = false
        AND extensions = {  };

第-7步:登录到数据库并使用该DDL创建表。

    apiadmin@cqlsh:coopersdev> use students_details;
    apiadmin@cqlsh:students_details> CREATE TABLE IF NOT EXISTS students_details.cricket (
                        ...         playerid uuid PRIMARY KEY,
                        ...         city text,
                        ...         firstname text,
                        ...         lastname text,
                        ...         state text)
                        ...         WITH ID = 88128dc0-960d-11ea-947b-39646348bb4f
                        ...         AND bloom_filter_fp_chance = 0.01
                        ...         AND dclocal_read_repair_chance = 0.1
                        ...         AND crc_check_chance = 1.0
                        ...         AND default_time_to_live = 0
                        ...         AND gc_grace_seconds = 864000
                        ...         AND min_index_interval = 128
                        ...         AND max_index_interval = 2048
                        ...         AND memtable_flush_period_in_ms = 0
                        ...         AND read_repair_chance = 0.0
                        ...         AND speculative_retry = '99PERCENTILE'
                        ...         AND comment = ''
                        ...         AND caching = { 'keys': 'ALL', 'rows_per_partition': 'NONE' }
                        ...         AND compaction = { 'max_threshold': '32', 'min_threshold': '4', 'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy' }
                        ...         AND compression = { 'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor' }
                        ...         AND cdc = false
                        ...         AND extensions = {  };
apiadmin@cqlsh:students_details>

第8步:将快照文件夹中的所有文件复制到现有板球表文件夹中

cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket$ pwd
/home/cassandra/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket$ cp * /home/cassandra/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f/snapshots/dropped-1589479603749-cricket$ cd /home/cassandra/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f$ ls -lrth
total 44K
drwxrwxr-x 2 cassandra cassandra    6 May 14 18:05 backups
drwxrwxr-x 3 cassandra cassandra   43 May 14 18:06 snapshots
-rw-rw-r-- 1 cassandra cassandra  891 May 14 18:11 schema.cql
-rw-rw-r-- 1 cassandra cassandra   92 May 14 18:11 md-1-big-TOC.txt
-rw-rw-r-- 1 cassandra cassandra   92 May 14 18:11 md-1-big-Summary.db
-rw-rw-r-- 1 cassandra cassandra 4.7K May 14 18:11 md-1-big-Statistics.db
-rw-rw-r-- 1 cassandra cassandra   61 May 14 18:11 md-1-big-Index.db
-rw-rw-r-- 1 cassandra cassandra   16 May 14 18:11 md-1-big-Filter.db
-rw-rw-r-- 1 cassandra cassandra    9 May 14 18:11 md-1-big-Digest.crc32
-rw-rw-r-- 1 cassandra cassandra  179 May 14 18:11 md-1-big-Data.db
-rw-rw-r-- 1 cassandra cassandra   43 May 14 18:11 md-1-big-CompressionInfo.db
-rw-rw-r-- 1 cassandra cassandra   31 May 14 18:11 manifest.json
cassandra@node1:~/data/students_details/cricket-88128dc0960d11ea947b39646348bb4f$

步骤9:使用下面的命令，使用sstableloader开始还原表数据

cassandra@node1:~$ sstableloader -d 10.213.61.21 -username cassandra --password cassandra /home/cassandra/data/students_details/cricket-d3576f60960f11ea947b39646348bb4f/snapshots
    Established connection to initial hosts
    Opening sstables and calculating sections to stream

    Summary statistics:
       Connections per host    : 1
       Total files transferred : 0
       Total bytes transferred : 0.000KiB
       Total duration          : 2920 ms
       Average transfer rate   : 0.000KiB/s
       Peak transfer rate      : 0.000KiB/s

第-10步:表恢复successfully.Please验证。

 playerid                             | city      | firstname | lastname  | state
--------------------------------------+-----------+-----------+-----------+------------
 d7b12c90-960f-11ea-947b-39646348bb4f | Berhampur |     Rohit |    Sharma |     Odisha
 d7594890-960f-11ea-947b-39646348bb4f |     Delhi |     Virat |     Vholi |  New Delhi
 d7588540-960f-11ea-947b-39646348bb4f |    Mumbai |    Sachin | Pendulkar | Maharastra

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/25465904

复制

相似问题

问如何恢复Cassandra快照？
EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何恢复Cassandra快照？EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何恢复Cassandra快照？
EN