Cách tạo tệp bị hỏng để kiểm thử
Một trình kiểm tra chỉ từng được cho xem tệp lành thì chưa thực sự được kiểm thử. Đây là cách có được một tệp cố ý làm hỏng, ra đúng kích thước bạn yêu cầu và mang theo manifest nói hệ thống của bạn phải làm gì với nó.
Câu trả lời ngắn
tfg generate --format png --size 2mb --damage zero-head --out ./out ghi một tệp PNG
đúng 2097152 byte với các byte đầu là số không, và manifest bên cạnh ghi rằng hệ thống của bạn
phải từ chối nó.
Cách thường dùng
Vì sao tệp làm hỏng bằng tay là một bài kiểm thử tồi
Cách thường dùng là trình soạn thảo hex, một script đảo vài byte ngẫu nhiên, hoặc cắt ngắn tệp bằng
head hay truncate. Dùng được một lần, rồi nó làm bạn tốn công:
- Mỗi lần một khác. Byte ngẫu nhiên rơi vào chỗ mới ở mỗi lần chạy, nên lỗi hôm thứ Ba có thể không quay lại vào thứ Tư.
- Nó đổi kích thước. Tệp bị cắt ngắn nhỏ hơn giới hạn mà nó phải nằm dưới, nên bước kiểm tra kích thước trả lời trước bước kiểm tra nội dung và bài kiểm thử đạt vì lý do sai.
- Nó thường không ai nhận ra. Văn bản thuần vẫn đọc được khi đổi một byte ở giữa, và một trình đọc ảnh dễ tính chỉ việc vẽ nó ra, nên tệp lẽ ra phải hỏng lại được chấp nhận.
- Nó không nói gì về điều phải xảy ra. Tệp chỉ là các byte, và ai đọc bài kiểm thử sau đó phải đoán xem ý định là chấp nhận hay từ chối.
Bạn nhận được gì
Tệp bị hỏng vẫn có kích thước bạn đã yêu cầu
Tệp được tạo bình thường rồi mới bị làm hỏng, trên đường ghi xuống đĩa. Nó giữ kích thước bạn yêu cầu, và cùng một lệnh ghi lại đúng các byte đó.
tfg generate --format png --size 2mb --damage zero-head --out ./out
tfg generate --format pdf --size 1mb --count 5 --damage zero-head:bytes=16 --out ./broken
tfg generate --format zip --size 5mb --damage truncate:missing=30 --out ./cut
tfg generate --format jpg --size 500kb --damage append-junk --out ./tail
Cài đặt viết sau dấu hai chấm. Tùy chọn có thể lặp lại, và các hỏng hóc được áp dụng theo thứ tự bạn viết. Nó dùng được với từng định dạng trong 32 định dạng.
Nó làm được gì
Có những kiểu hỏng nào?
Đây là danh sách chương trình in ra, được đọc từ chính nó khi trang này được dựng. tfg
damage in ra cùng danh sách đó, và tfg damage <id> cho biết một kiểu
nhận những gì.
| Hỏng hóc | Nó làm gì với các byte | Tệp nhỏ nhất | Cài đặt |
|---|---|---|---|
append-junk |
Ghi các byte ngẫu nhiên sau phần cuối tệp và giữ đúng kích thước bạn yêu cầu, giống như một tệp đến nơi với thứ gì đó dính ở cuối. | 64 | bytes |
truncate |
Cắt bỏ phần cuối tệp và giữ đúng kích thước bạn yêu cầu, giống như một lần tải lên hoặc sao chép bị ngắt giữa chừng để lại. | 4 | missing |
zero-head |
Ghi đè các byte đầu của tệp bằng số không, giữ nguyên độ dài. Hầu hết trình đọc nhìn vào đó trước, nên gần như mọi thứ đều nhận ra hỏng hóc này. | 8 | bytes |
zero-head ghi số không đè lên phần đầu tệp. Hầu hết trình đọc nhìn vào đó trước, vào
chữ ký và phần đầu cho biết tệp là gì, nên gần như trình đọc nào cũng nhận ra. Văn bản thuần và
nhật ký không có chữ ký và cũng bị từ chối, vì một chuỗi byte không không phải là văn bản. Dưới
bốn byte, một số định dạng ra với hỏng hóc mà không trình đọc nào phàn nàn, đó là lý do cài đặt
bắt đầu từ bốn.
truncate cắt bỏ phần cuối tệp, giống như một lần tải lên hoặc sao chép bị ngắt giữa
chừng để lại, và tệp vẫn có kích thước bạn yêu cầu: tệp được tạo lớn hơn và chỉ phần đầu của nó
tới đĩa. missing cho biết bao nhiêu phần của toàn bộ tệp bị mất, một nửa nếu bạn
không nói khác.
append-junk ghi các byte ngẫu nhiên sau phần cuối tệp, 64 nếu bạn không nói khác,
giống như một tệp đến nơi với thứ gì đó dính ở cuối. Cùng một lệnh sẽ thêm cùng những byte đó.
Manifest nói gì
Một manifest nói điều phải xảy ra
Ở chỗ hỏng hóc vi phạm quy tắc của định dạng, mục nói rằng hệ thống của bạn phải từ chối tệp, với hỏng hóc được ghi bên cạnh:
"expected": {
"outcome": "reject",
"reason": "content_malformed",
"confidence": "certain"
},
"damage": [
{
"type": "zero-head",
"settings": {
"bytes": "8"
}
}
]
Ở chỗ các trình đọc khác nhau, mục nói rõ điều đó thay vì đoán. Một tệp văn bản bị cắt vẫn là văn bản, và hầu hết trình xem ảnh bỏ qua các byte sau phần cuối của PNG, nên mục để câu trả lời cho hệ thống của bạn, đưa ra cả hai và nói lý do:
"expected": {
"outcome": "unspecified",
"reason": "content_malformed",
"detail": "A PNG ends at its IEND chunk and most viewers skip what follows it.",
"confidence": "policy_dependent",
"policy_options": ["accept", "reject"]
}
tfg damage <id> liệt kê các định dạng mà ở đó một hỏng hóc để câu trả lời cho
hệ thống của bạn, kèm lý do.
Bốn yêu cầu bị từ chối trước khi có gì được ghi, vì mỗi yêu cầu sẽ để lại trên đĩa một tệp mà manifest mô tả sai:
- một tệp nhỏ hơn mức hỏng hóc cần, sẽ ra mà không bị đổi
-
expected: acceptcạnh một hỏng hóc vi phạm quy tắc của định dạng, vì không thứ gì tuân theo các quy tắc đó chấp nhận tệp. Ở chỗ câu trả lời tùy vào hệ thống của bạn,acceptđược phép. Viếtsanitizenếu hệ thống của bạn phải sửa tệp, hoặcunspecifiednếu đó chính là câu hỏi bạn đang đặt ra -
truncatesauappend-junk, vì nó sẽ cắt mất các byte đã thêm. Hãy đặttruncatetrước -
truncatehoặcappend-junktrên một tệp nén lấy kích thước từ những gì nó chứa, vì không có kích thước nào để bắt đầu
Trong một công thức
Tệp lành và tệp hỏng trong một lần chạy
Đặt cả hai vào một công thức, và manifest mang kỳ vọng của từng tệp, nên bài kiểm thử không cần danh sách tệp nào là tệp nào:
version: 1
targets:
- id: healthy
format: pdf
size: 1mb
expected: accept
- id: broken
format: pdf
size: 1mb
damage:
- zero-head
Trong một bài kiểm thử
Biến nó thành một bài kiểm thử
Bài kiểm thử đọc manifest và kiểm tra điều đã xảy ra có đúng như điều đã khai báo. Nó không cần danh sách tên tệp:
import json, os
directory = "healthy-and-broken"
manifest = json.load(open(os.path.join(directory, "manifest.json")))
for entry in manifest["files"]:
outcome = entry["expected"]["outcome"]
if outcome == "unspecified":
continue
response = upload(os.path.join(directory, entry["path"]))
if outcome == "reject":
assert not response.ok
else:
assert response.ok
Một tệp có kết quả unspecified được bỏ qua ở đây, vì việc hệ thống của bạn phải làm
gì với nó là chính sách của riêng bạn. Mục của nó nói lý do, và policy_options liệt
kê các câu trả lời có thể.
Một lần từ chối tốt là một lần từ chối gọn. Một thông báo nói điều gì sai là câu trả lời bạn muốn. Lỗi máy chủ, treo máy hoặc một tệp lưu dở là khiếm khuyết mà bài kiểm thử này sinh ra để tìm.
Tiếp theo
Đi đâu từ đây
- Preset upload-validation hỏi một biểu mẫu hai câu hỏi còn lại, về kích thước và về loại tệp.
- Tệp kiểm thử trong CI chạy một công thức như thế này trong pipeline.
-
Tài liệu có mọi tùy chọn của
tfg generate.