我的杆菌转移率非常低。我如何配置主任以改善这一点？

Question

我正在用bacula创建一个基于云的解决方案，可以备份我们所有的服务器。我们有很多服务器在前提上，还有一些服务器在云上，比如AWS和OPENCLOUD。我看到备份的传输速率非常低(我指的是400 each/s)，对于小型FS (大约5/6GB ).这让我感到担忧，因为我们正在对这个客户端进行测试，使备份满，需要2小时才能完成，我们将在以后添加一些真正的大客户端(每个客户端大约500 of /1TB)，以便对它们进行完整的备份。

这是在此客户端备份后打印的消息：

09-Nov 03:43 bacula-dir JobId 37: Start Backup JobId 37, Job=Backup- 
mailserverp.2018-11-08_22.15.00_13
09-Nov 06:08 bacula-sd JobId 37: Elapsed time=02:24:57, Transfer rate=580  
Bytes/second
Scheduled time:         08-Nov-2018 22:15:00
Start time:             09-Nov-2018 03:43:51
End time:               09-Nov-2018 06:08:52
Elapsed time:           2 hours 25 mins 1 sec
FD Bytes Written:       5,039,356 (5.039 MB)
SD Bytes Written:       5,048,922 (5.048 MB)



09-Nov 01:09 bacula-dir JobId 36: Start Backup JobId 36, Job=Backup- 
nagios.2018-11-08_22.15.00_12
09-Nov 03:43 bacula-sd JobId 36: Elapsed time=02:34:39, Transfer rate=386.9 K 
Bytes/second
Elapsed time:           2 hours 34 mins 47 secs
FD Bytes Written:       3,590,358,216 (3.590 GB)
SD Bytes Written:       3,590,441,488 (3.590 GB)


09-Nov 00:38 bacula-dir JobId 35: Start Backup JobId 35, Job=Backup- 
bapuppet01.2018-11-08_21.25.00_11
09-Nov 00:38 bacula-sd JobId 34: Elapsed time=02:11:17, Transfer rate=35.68 K Bytes/second
Scheduled time:         08-Nov-2018 21:05:00
Start time:             08-Nov-2018 22:27:30
End time:               09-Nov-2018 00:38:52
Elapsed time:           2 hours 11 mins 22 secs

这条消息显示了三台服务器，两台在前提上，一台在基于OpenCloud云的主机上。考虑到这种结构，我们假设onpremise将是所有备份中最慢的。但是，在使用iperf命令测试连接之后，我们会看到以下内容：

FROM SERVER TO CLIENT

[root@otc-bacula ~]# iperf -c 172.xx.xx.xxx -p 9102 -i 2 -t 60
------------------------------------------------------------
Client connecting to 172.xx.xx.xxx, TCP port 9102
TCP window size: 45.0 KByte (default)
------------------------------------------------------------
[  3] local 172.xx.xx.xxx port 33902 connected with 172.xx.xx.xxx port 9102
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 2.0 sec  95.9 MBytes   402 Mbits/sec
[  3]  2.0- 4.0 sec   180 MBytes   754 Mbits/sec
[  3]  4.0- 6.0 sec   132 MBytes   554 Mbits/sec
[  3]  6.0- 8.0 sec  70.6 MBytes   296 Mbits/sec


FROM CLIENT TO SERVER ################################


[root@v-nagios ~]# iperf -c 172.xx.xxx.xxx -p 9102 -i 2 -t 60
------------------------------------------------------------
Client connecting to 172.xx.xxx.xxx, TCP port 9102
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  3] local 172.xx.xxx.xxx port 41538 connected with 172.xxx.xxx.xxx port 9102
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 2.0 sec  3.75 MBytes  15.7 Mbits/sec
[  3]  2.0- 4.0 sec  4.00 MBytes  16.8 Mbits/sec
[  3]  4.0- 6.0 sec  2.50 MBytes  10.5 Mbits/sec
[  3]  6.0- 8.0 sec  4.38 MBytes  18.4 Mbits/sec
[  3]  8.0-10.0 sec  3.50 MBytes  14.7 Mbits/sec
[  3] 10.0-12.0 sec  2.12 MBytes  8.91 Mbits/sec

我已经尝试过解池选项，但我没有看到任何改进。有没有人知道测试bacula性能的方法或脚本，以及如何改进？我可以尽量减少FileSets，只是为了备份我们真正需要的东西，但是仍然有很多文件/ gygas。

这是Bacula-Dir.conf，如果有帮助的话：

Director {                            # define myself
  Name = bacula-dir
  DIRport = 9101                # where we listen for UA connections
  DirAddress = 172.19.120.106
  QueryFile = "/etc/bacula/query.sql"
  WorkingDirectory = "/var/spool/bacula"
  PidDirectory = "/var/run"
  Maximum Concurrent Jobs = 10
  Password = "123456"         # Console password
  Messages = Daemon
  Heartbeat Interval = 1
}


Storage {
  Name = File
# Do not use "localhost" here
  Address = 172.19.120.106                # N.B. Use a fully qualified name here
  SDPort = 9103
  Password = "123456"
  Device = FileStorage
  Media Type = File
}

Pool {
  Name = File
  Pool Type = Backup
  Label Format = OpenCloud-
  Recycle = yes                       # Bacula can automatically recycle Volumes
  AutoPrune = yes                     # Prune expired volumes
  Volume Retention = 365 days         # one year
  Maximum Volume Bytes = 100G          # Limit Volume size to something reasonable
  Maximum Volumes = 350               # Limit number of Volumes in Pool
}

我认为这个信息是有用的，但是如果你需要更多的服务信息或者需要我做些什么，我很乐意提供所需的数据.我真的需要提高这个解决方案的传输速率。

Answer 1

我意识到我正在使用MySql作为DB后端，并且在插入数据的大容量上遇到了麻烦。因此，我再次进行了新的安装，但这次使用Postgresql作为数据库，传输速率几乎达到40 mb/s。大进步

我会把我自己的答案标为正确的

Answer 2

下面是一些关于Bacula调优的建议：

1. 巴库拉也支持MySQL，但正如您发现的那样，几乎总是需要调优。在这里，自动mysql调优脚本可能非常有用。https://github.com/major/MySQLTuner-perl
2. PostgreSQL的规模似乎要好得多，特别是对杆菌来说，但仍然需要调整。佩德罗在这里写了一个很好的指南：http://www.pedroliveira.pt/index.php/bacula-performance-tunnig-with-postgresql/

而且，如果你还没有，这也是一个好主意，加入杆菌-用户邮件列表，在那里你可以搜索档案，并获得帮助，其他巴库拉问题。https://www.bacula.org/support/email-lists/

最后，巴库拉系统可以提供调优指导，如果你有订阅。

注:我在Bacula系统公司工作，担任CDMO。