테스트용 손상 파일을 만드는 방법
멀쩡한 파일만 본 검증기는 제대로 테스트된 것이 아닙니다. 일부러 망가뜨렸고, 요청한 크기 그대로 나오며, 시스템이 그 파일을 어떻게 다뤄야 하는지 알려 주는 매니페스트가 딸려 오는 파일을 얻는 방법을 설명합니다.
짧은 답
tfg generate --format png --size 2mb --damage zero-head --out ./out은 정확히 2097152바이트이고 첫
바이트들이 0인 PNG를 쓰며, 옆의 매니페스트에는 시스템이 그것을 거부해야 한다고 기록됩니다.
흔한 방법
손으로 망가뜨린 파일이 좋지 않은 테스트인 이유
흔한 방법은 16진 편집기, 임의의 바이트 몇 개를 뒤집는 스크립트, 또는 head나 truncate로 파일을 잘라 내는 것입니다.
한 번은 통하지만 나중에 대가를 치릅니다.
- 매번 다릅니다. 임의의 바이트는 실행할 때마다 새로운 위치에 떨어지므로, 화요일에 난 실패가 수요일에는 다시 나타나지 않을 수 있습니다.
- 크기가 바뀝니다. 잘라 낸 파일은 그 아래에 있어야 했던 한도보다 작아지므로, 크기 검사가 내용 검사보다 먼저 답하고 테스트는 잘못된 이유로 통과합니다.
- 눈치채지 못하는 경우가 많습니다. 일반 텍스트는 중간의 바이트 하나가 바뀌어도 읽히고, 관대한 이미지 리더는 그냥 그려 버리므로, 망가져야 할 파일이 받아들여집니다.
- 무엇이 일어나야 하는지 알려 주지 않습니다. 파일은 그저 바이트일 뿐이고, 나중에 테스트를 읽는 사람은 수락이 의도였는지 거부가 의도였는지 짐작해야 합니다.
얻는 것
손상된 파일도 요청한 크기를 유지합니다
파일은 평소대로 생성된 뒤 디스크로 가는 길에 망가집니다. 요청한 크기는 그대로이고, 같은 명령은 같은 바이트를 다시 씁니다.
tfg generate --format png --size 2mb --damage zero-head --out ./out
tfg generate --format pdf --size 1mb --count 5 --damage zero-head:bytes=16 --out ./broken
tfg generate --format zip --size 5mb --damage truncate:missing=30 --out ./cut
tfg generate --format jpg --size 500kb --damage append-junk --out ./tail
설정은 콜론 뒤에 씁니다. 옵션은 반복할 수 있고, 손상은 쓴 순서대로 적용됩니다. 32개 형식 모두에서 동작합니다.
할 수 있는 것
어떤 손상이 있나요?
이것은 프로그램이 출력하는 목록이며, 이 페이지를 빌드할 때 프로그램에서 읽어 옵니다. tfg damage는 같은 목록을 출력하고, tfg
damage <id>는 그중 하나가 받는 설정을 알려 줍니다.
| 손상 | 바이트에 하는 일 | 가장 작은 파일 | 설정 |
|---|---|---|---|
append-junk |
파일의 끝 뒤에 무작위 바이트를 쓰고 요청한 크기를 그대로 유지합니다. 끝에 무언가가 붙은 채 도착한 파일과 같은 모양입니다. | 64 | bytes |
truncate |
파일의 끝을 잘라 내고 요청한 크기를 그대로 유지합니다. 중간에 끊긴 업로드나 복사가 남기는 모양과 같습니다. | 4 | missing |
zero-head |
파일의 첫 바이트들을 길이는 그대로 둔 채 0으로 덮어씁니다. 대부분의 리더가 가장 먼저 그곳을 보므로 거의 모든 것이 이 손상을 알아챕니다. | 8 | bytes |
zero-head는 파일의 시작 부분을 0으로 덮어씁니다. 대부분의 리더는 파일이 무엇인지 알려 주는 시그니처와 헤더가 있는 그곳을 가장 먼저 봅니다.
그래서 거의 모든 리더가 알아챕니다. 일반 텍스트와 로그에는 시그니처가 없지만 역시 거부됩니다. 0 바이트의 연속은 텍스트가 아니기 때문입니다. 4바이트 미만에서는 어떤
리더도 불평하지 않는 손상이 나오는 형식이 있으며, 설정이 4부터 시작하는 이유가 그것입니다.
truncate는 중간에 끊긴 업로드나 복사가 남기는 것처럼 파일의 끝을 잘라 내지만, 파일은 여전히 요청한 크기입니다. 더 크게 생성되고 그 앞부분만 디스크에 닿기 때문입니다. missing은 전체 파일 중 얼마가 사라지는지를 나타내며, 따로 지정하지 않으면 절반입니다.
append-junk는 끝에 무언가가 붙은 채 도착한 파일처럼 파일의 끝 뒤에 무작위 바이트를 씁니다. 따로 지정하지 않으면 64바이트입니다. 같은 명령은 같은 바이트를 덧붙입니다.
매니페스트가 말하는 것
무엇이 일어나야 하는지 말해 주는 매니페스트
손상이 형식의 규칙을 어기는 경우, 항목은 시스템이 그것을 거부해야 한다고 말하고 손상 내용이 그 옆에 기록됩니다.
"expected": {
"outcome": "reject",
"reason": "content_malformed",
"confidence": "certain"
},
"damage": [
{
"type": "zero-head",
"settings": {
"bytes": "8"
}
}
]
리더마다 다르게 다루는 경우, 항목은 추측하는 대신 그렇다고 말합니다. 끝이 잘린 텍스트 파일도 여전히 텍스트이고, 대부분의 이미지 뷰어는 PNG의 끝 뒤에 있는 바이트를 건너뜁니다. 그래서 항목은 답을 시스템에 맡기고, 두 가지 답을 모두 제시하며, 이유를 적습니다.
"expected": {
"outcome": "unspecified",
"reason": "content_malformed",
"detail": "A PNG ends at its IEND chunk and most viewers skip what follows it.",
"confidence": "policy_dependent",
"policy_options": ["accept", "reject"]
}
tfg damage <id>는 손상이 답을 시스템에 맡기는 형식과 그 이유를 나열합니다.
네 가지 요청은 무엇이든 쓰기 전에 거부됩니다. 모두 매니페스트가 잘못 설명하는 파일을 디스크에 남기게 되기 때문입니다.
- 손상에 필요한 크기보다 작은 파일. 그대로 나오게 됩니다
-
형식의 규칙을 어기는 손상 옆의
expected: accept. 그 규칙을 따르는 것은 어떤 것도 그 파일을 받아들이지 않기 때문입니다. 답이 시스템에 달린 경우에는accept를 쓸 수 있습니다. 시스템이 파일을 복구해야 한다면sanitize를, 바로 그것을 확인하려는 것이라면unspecified를 쓰세요 -
append-junk뒤의truncate. 덧붙인 바이트를 잘라 내기 때문입니다.truncate를 먼저 두세요 -
담긴 내용에서 크기를 정하는 아카이브에 대한
truncate나append-junk. 기준이 될 크기가 없기 때문입니다
레시피에서
한 번의 실행에 멀쩡한 파일과 망가진 파일을
둘을 한 레시피에 넣으면 매니페스트가 파일마다 기대 결과를 가지므로, 테스트에 어느 것이 어느 것인지 알려 주는 목록이 필요 없습니다.
version: 1
targets:
- id: healthy
format: pdf
size: 1mb
expected: accept
- id: broken
format: pdf
size: 1mb
damage:
- zero-head
테스트에서
테스트로 만들기
테스트는 매니페스트를 읽고 일어난 일이 선언된 것과 같은지 확인합니다. 파일 이름 목록은 필요 없습니다.
import json, os
directory = "healthy-and-broken"
manifest = json.load(open(os.path.join(directory, "manifest.json")))
for entry in manifest["files"]:
outcome = entry["expected"]["outcome"]
if outcome == "unspecified":
continue
response = upload(os.path.join(directory, entry["path"]))
if outcome == "reject":
assert not response.ok
else:
assert response.ok
결과가 unspecified인 파일은 여기서 건너뜁니다. 시스템이 그 파일을 어떻게 다뤄야 하는지는 여러분의 정책이 정하기 때문입니다. 항목에는 그 이유가 적혀 있고, policy_options에는 가능한 답이 나열됩니다.
좋은 거부는 깔끔한 거부입니다. 무엇이 잘못됐는지 알려 주는 메시지가 원하는 답입니다. 서버 오류, 멈춤, 반쯤 저장된 파일은 이 테스트가 찾아내려고 존재하는 결함입니다.
다음
여기서 어디로
- upload-validation 프리셋은 폼에 나머지 두 가지 질문, 즉 크기와 형식을 묻습니다.
- CI의 테스트 파일은 이와 같은 레시피를 파이프라인에서 실행합니다.
-
문서에는
tfg generate의 모든 옵션이 있습니다.