Luôn luôn có những ngoại lệ và logic hardcode cho từng site. Vì thê mình có note tiếp một số case cần đến cron.
Trong bài này mình ví dụ cron xóa file tạm upload vô site và sau đó là cron xóa vật lý file đã xóa logic. Trường hợp đầu các bạn có thể dễ hiểu vì nhiều lý do như logic, lười code khi upload file ko xóa file tạm bằng code. Trường hợp 2 nó không hẳn là cron mà là 1 cái như refactor cho site nên nó rất ít khi phải run nó.
Về cron xóa file tạm ko có j đặc biệt, sẽ update sau.
Về lý do tại sao lại dẫn đến phải xóa file tạm ? 1 vài lý do:
+ Lười code xóa file khi mà upload khá nhì nhằng. Nhì nhằng ra sao sẽ update các case đặc trưng.
+ Khi up lên AWS (amazone storage service lưu data)... thì thường chờ up lên aws là chậm nên éo thèm xóa VL nữa (chờ verify ...)
...
Về phần xóa vật lý ảnh đã xóa logic.
Lý do: ....
Cách làm như sau (sẽ refine khi có time) và tính các case/cách hay hơn:
// Backup all data (dĩ nhiên cần làm thường xuyên r).
// Find picture, image (data) in DB currently.
// List data in currently physical Storage
// Compare 2 list then remove the path that do not match in current DB.
1. List hết ảnh/file data trong DB hiện thời
select count(*), description from post_meta where description like "2016%" and description not like '2016/01/01%';
Picture, img ... is mainly store in post_meta && || post_meta_vote.
We can use mysql bash query or tool to extract usefull info:
+ Path to image
+ Image need filter (not url or iframe)
+ ...
Other special logic:
When we switch from AWS data store to local and add timestamp to img folder.
We put all AWS data to 2016/01/01 so this do not contain image that deleted.
2. LIST IMAGE IN STORAGE
- ls or find to list all image
- Separate by month or year to shorter list to handle.
3. Compare 2 list using bash or code (PHP) or IDE text editor (vi, sublime)....
- Get list deleted (or unused) data
- Verify that is right. (We alway has a backup data) so don't too worry about delete wrong.
Update 1: 2016/07/13
Vụ race a t để fix code ... aws $ và data lên hàng GB mà chưa fix deleted image ...
Trong bài này mình ví dụ cron xóa file tạm upload vô site và sau đó là cron xóa vật lý file đã xóa logic. Trường hợp đầu các bạn có thể dễ hiểu vì nhiều lý do như logic, lười code khi upload file ko xóa file tạm bằng code. Trường hợp 2 nó không hẳn là cron mà là 1 cái như refactor cho site nên nó rất ít khi phải run nó.
Về cron xóa file tạm ko có j đặc biệt, sẽ update sau.
Về lý do tại sao lại dẫn đến phải xóa file tạm ? 1 vài lý do:
+ Lười code xóa file khi mà upload khá nhì nhằng. Nhì nhằng ra sao sẽ update các case đặc trưng.
+ Khi up lên AWS (amazone storage service lưu data)... thì thường chờ up lên aws là chậm nên éo thèm xóa VL nữa (chờ verify ...)
...
Về phần xóa vật lý ảnh đã xóa logic.
Lý do: ....
Cách làm như sau (sẽ refine khi có time) và tính các case/cách hay hơn:
// Backup all data (dĩ nhiên cần làm thường xuyên r).
// Find picture, image (data) in DB currently.
// List data in currently physical Storage
// Compare 2 list then remove the path that do not match in current DB.
1. List hết ảnh/file data trong DB hiện thời
select count(*), description from post_meta where description like "2016%" and description not like '2016/01/01%';
Picture, img ... is mainly store in post_meta && || post_meta_vote.
We can use mysql bash query or tool to extract usefull info:
+ Path to image
+ Image need filter (not url or iframe)
+ ...
Other special logic:
When we switch from AWS data store to local and add timestamp to img folder.
We put all AWS data to 2016/01/01 so this do not contain image that deleted.
2. LIST IMAGE IN STORAGE
- ls or find to list all image
- Separate by month or year to shorter list to handle.
3. Compare 2 list using bash or code (PHP) or IDE text editor (vi, sublime)....
- Get list deleted (or unused) data
- Verify that is right. (We alway has a backup data) so don't too worry about delete wrong.
Update 1: 2016/07/13
Vụ race a t để fix code ... aws $ và data lên hàng GB mà chưa fix deleted image ...
Comments
Post a Comment