Skip to main content

Rsync backup data

Tình thế là m có 1 site nhỏ cần backup data upload 1 tuần 1 lần. Data chủ yếu là ảnh, do dịch vụ Amazon S3 chát quá đành quay về dùng trên host.
- Ảnh để trong vài thư mục như quiz, answer, post, result ...
- Trong các mục trên là các mục con chia theo thời gian upload, vd 2016/01/31 hay 2016/02/14 ...
2016
.......01/
...........01/ 02/ ... 31/
.......02/
- Backup dùng rsync.
- M ko sync cả mục theo tháng là vì dung lượng lớn + với backup theo tuần.

Dùng rsync thì đơn giản là copy tất cả mục trong tuần về máy local. Vấn đề là do đường dẫn sync From dài quá nên mình quyên mất là rsync cũng như copy có thể copy nhiều thư mục về 1 chỗ.
ví dụ:
rsync --ignore-existing --recursive root@188.177.223.224:/var/www/site_release/uploads/post/2016/02/03 .

là backup đồng bộ mục ngày 3 tháng 2 về máy local.
dễ thấy đường dẫn source là rất dài. Muốn sync nhiều ngày:
rsync --ignore-existing --recursive root@188.177.223.224:/var/www/alob_release/uploads/post/2016/02/03  root@188.177.223.224:/var/www/alob_release/uploads/post/2016/02/04 root@188.1xx.223.224:/var/www/alob_release/uploads/post/2016/02/05 root@188.1xx.223.224:/var/www/alob_release/uploads/post/2016/02/07 root@188.1xx.223.224:/var/www/alob_release/uploads/post/2016/02/08 root@188.1xx.223.224:/var/www/alob_release/uploads/post/2016/02/13 root@188.1xx.223.224:/var/www/alob_release/uploads/post/2016/02/12 root@188.1xx.223.224:/var/www/alob_release/uploads/post/2016/02/14 .

Mình tính dùng for loop hoặc viết 1 file bash để tự động việc này. M sẽ update sau. Nhưng bao giờ trước khi tự động việc j cũng phải làm thủ công ok đã.

Ngoài backup Data file ra thì backup Database cũng có nhiều thứ m phải học hỏi thêm. Lý do là:
1. Khi DB quá lớn tầm > 50MB thì việc backup toàn bộ là không ổn. vd 1 tuần backup 2 lần là 100MB.
2. Khi cần dữ liệu test ví dụ một vài record kiểu bài post hay product bị lỗi, làm sao để nhanh chóng tái hiện trên môi trường local (dev) để fix. Nếu import cả DB trên production về đôi khi gặp nhiều trở ngại.
3. Tự động backup và một số vấn đề về export import...

Cuối cùng là lưu trữ backup file. Mình lưu trên máy local, trên dropbox và google drive và trên 1 hdd riêng biệt nữa. Hiện tại thì data chưa nhiều nhưng khi cỡ hàng trăm MB hay GB thì có thể phải tìm cách khác vì cloud cần đường net mạnh.



Comments

Popular posts from this blog

AWS Elasticache Memcached connection

https://docs.aws.amazon.com/AmazonElastiCache/latest/mem-ug/accessing-elasticache.html#access-from-outside-aws http://hourlyapps.blogspot.com/2010/06/examples-of-memcached-commands.html Access memcached https://docs.aws.amazon.com/AmazonElastiCache/latest/mem-ug/GettingStarted.AuthorizeAccess.html Zip include hidden file https://stackoverflow.com/questions/12493206/zip-including-hidden-files phpmemcachedadmin ~ phpMyAdmin or phpPgAdmin ... telnet mycachecluster.eaogs8.0001.usw2.cache.amazonaws.com 11211 stats items stats cachedump 27 100 https://docs.aws.amazon.com/AmazonElastiCache/latest/mem-ug/VPCs.EC.html https://lzone.de/cheat-sheet/memcached VPC ID Security Group ID (sg-...) Cluster: The identifier for the cluster memcached1 Creation Time: The time (UTC) when the cluster was created January 9, 2019 at 11:47:16 AM UTC+7 Configuration Endpoint: The configuration endpoint of the cluster memcached1.ahgofe.cfg.usw1.cache.amazonaws.com:11211 St...

Simulate Fail2ban on Apache request spam with mod_evasive limitipconn ...

https://en.wikipedia.org/wiki/Manchu_alphabet https://en.wikipedia.org/wiki/Sweet_potato https://en.wikipedia.org/wiki/New_World_crops https://www.mdpi.com/journal/energies http://www.cired.net/publications/cired2007/pdfs/CIRED2007_0342_paper.pdf https://www.davidpashley.com/articles/writing-robust-shell-scripts/ trap command https://en.wikipedia.org/wiki/Race_condition https://unix.stackexchange.com/questions/172541/why-does-exit-1-not-exit-the-script exit 1 not work it seem { } brace bound fixed it. cat access_log | cut -d ' ' -f 1 > ip1 sort -n -t. -k1,1 -k2,2 -k3,3 -k4,4 | uniq -c | sort -n -r -s https://unix.stackexchange.com/questions/246104/unix-count-unique-ip-addresses-sort-them-by-most-frequent-and-also-sort-them https://stackoverflow.com/questions/20164696/how-to-block-spam-and-spam-bots-for-good-with-htaccess  Code: ------------------------------------------------------------------- #Block Spam Bots and Spam on your website #Block proxies...

Notes Windows 10 Virtualbox config, PHP Storm Japanese, custom PHP, Apache build, Postgresql

 cmd => Ctrl + Shift + Enter mklink "C:\Users\HauNT\Videos\host3" "C:\Windows\System32\drivers\etc\hosts" https://www.quora.com/How-to-create-a-router-in-php https://serverfault.com/questions/225155/virtualbox-how-to-set-up-networking-so-both-host-and-guest-can-access-internet 1 NAT + 1 host only config https://unix.stackexchange.com/questions/115464/how-to-properly-set-up-2-network-interfaces-in-centos-running-in-virtualbox DEVICE=eth0 TYPE=Ethernet #BOOTPROTO=dhcp BOOTPROTO=none #IPADDR=10.9.11.246 #PREFIX=24 #GATEWAY=10.9.11.1 #IPV4_FAILURE_FATAL=yes #HWADDR=08:00:27:CC:AC:AC ONBOOT=yes NAME="System eth0" [root@localhost www]# cat /etc/sysconfig/network-scripts/ifcfg-eth1 # Advanced Micro Devices, Inc. [AMD] 79c970 [PCnet32 LANCE] DEVICE=eth1 IPADDR=192.168.56.28 <= no eff => auto like DHCP #GATEWAY=192.168.56.1 #BOOTPROTO=dhcp BOOTPROTO=static <= no eff ONBOOT=yes HWADDR=08:00:27:b4:20:10 [root@localhost www]# ...