วิธีทำไฟล์เสียหายสำหรับการทดสอบ
ตัวตรวจสอบที่เคยเห็นแต่ไฟล์ปกติยังไม่ถือว่าผ่านการทดสอบจริง นี่คือวิธีได้ไฟล์ที่ตั้งใจทำให้เสีย ออกมาขนาดตรงตามที่ขอเป๊ะ และมาพร้อมแมนิเฟสต์ที่บอกว่าระบบของคุณควรทำอะไรกับไฟล์นั้น
คำตอบสั้นๆ
tfg generate --format png --size 2mb --damage zero-head --out ./out เขียน PNG ขนาด
2097152 ไบต์พอดี โดยไบต์แรกๆ เป็นศูนย์ และแมนิเฟสต์ที่อยู่ข้างๆ
บันทึกว่าระบบของคุณควรปฏิเสธไฟล์นี้
วิธีที่ทำกันทั่วไป
ทำไมไฟล์ที่ทำให้เสียด้วยมือจึงเป็นการทดสอบที่แย่
วิธีทั่วไปคือใช้โปรแกรมแก้ไขเลขฐานสิบหก สคริปต์ที่สลับไบต์สุ่มไม่กี่ตัว หรือตัดไฟล์ให้สั้นลงด้วย
head หรือ truncate ใช้ได้ครั้งเดียว แล้วจะเสียเวลาในภายหลัง:
- ได้ผลต่างกันทุกครั้ง ไบต์สุ่มตกที่ใหม่ทุกครั้งที่รัน ความล้มเหลวของวันอังคารจึงอาจไม่กลับมาในวันพุธ
- มันเปลี่ยนขนาด ไฟล์ที่ถูกตัดจะเล็กกว่าขีดจำกัดที่มันควรอยู่ต่ำกว่า การตรวจขนาดจึงตอบก่อนการตรวจเนื้อหา และการทดสอบผ่านด้วยเหตุผลที่ผิด
- มักไม่มีใครสังเกต ข้อความธรรมดายังอ่านได้แม้เปลี่ยนไบต์กลางไฟล์ และตัวอ่านภาพที่ใจกว้างก็แค่วาดมันออกมา ไฟล์ที่ควรจะเสียจึงถูกรับไป
- มันไม่บอกว่าควรเกิดอะไรขึ้น ไฟล์เป็นแค่ไบต์ และคนที่มาอ่านการทดสอบทีหลังต้องเดาเองว่าตั้งใจให้รับหรือปฏิเสธ
สิ่งที่คุณได้
ไฟล์ที่เสียหายยังมีขนาดตามที่คุณขอ
ไฟล์ถูกสร้างตามปกติแล้วค่อยทำให้เสียระหว่างทางไปยังดิสก์ ขนาดยังเป็นไปตามที่ขอ และคำสั่งเดิมเขียนไบต์เดิมซ้ำอีกครั้ง
tfg generate --format png --size 2mb --damage zero-head --out ./out
tfg generate --format pdf --size 1mb --count 5 --damage zero-head:bytes=16 --out ./broken
tfg generate --format zip --size 5mb --damage truncate:missing=30 --out ./cut
tfg generate --format jpg --size 500kb --damage append-junk --out ./tail
การตั้งค่าเขียนหลังเครื่องหมายทวิภาค ตัวเลือกนี้ใส่ซ้ำได้ และความเสียหายจะถูกนำมาใช้ตามลำดับที่คุณเขียน ใช้ได้กับทั้ง 32 รูปแบบ
มันทำอะไรได้
มีความเสียหายแบบไหนบ้าง
นี่คือรายการที่โปรแกรมพิมพ์ออกมา อ่านจากตัวโปรแกรมเองตอนสร้างหน้านี้ tfg damage
พิมพ์รายการเดียวกัน และ tfg damage <id> บอกว่าแบบหนึ่งรับอะไรบ้าง
| ความเสียหาย | สิ่งที่ทำกับไบต์ | ไฟล์เล็กที่สุด | การตั้งค่า |
|---|---|---|---|
append-junk |
เขียนไบต์สุ่มต่อจากจุดจบของไฟล์และคงขนาดที่คุณขอไว้พอดี เหมือนไฟล์ที่มาถึงพร้อมของบางอย่างติดอยู่ที่ท้าย | 64 | bytes |
truncate |
ตัดส่วนท้ายของไฟล์ทิ้งและคงขนาดที่คุณขอไว้พอดี เหมือนที่การอัปโหลดหรือการคัดลอกที่ถูกขัดจังหวะทิ้งไว้ | 4 | missing |
zero-head |
เขียนทับไบต์แรกๆ ของไฟล์ด้วยศูนย์ โดยไม่แตะความยาว ตัวอ่านส่วนใหญ่มองตรงนั้นก่อน เกือบทุกอย่างจึงสังเกตเห็นความเสียหายนี้ | 8 | bytes |
zero-head เขียนศูนย์ทับส่วนต้นของไฟล์ ตัวอ่านส่วนใหญ่มองตรงนั้นก่อน
คือลายเซ็นและส่วนหัวที่บอกว่าไฟล์คืออะไร ตัวอ่านเกือบทุกตัวจึงสังเกตเห็น
ข้อความธรรมดาและล็อกไม่มีลายเซ็นและก็ถูกปฏิเสธเช่นกัน เพราะไบต์ศูนย์ต่อกันไม่ใช่ข้อความ
ต่ำกว่าสี่ไบต์ บางรูปแบบออกมาพร้อมความเสียหายที่ไม่มีตัวอ่านใดบ่น
นั่นคือเหตุผลที่การตั้งค่าเริ่มที่สี่
truncate ตัดส่วนท้ายของไฟล์ทิ้ง เหมือนที่การอัปโหลดหรือการคัดลอกที่ถูกขัดจังหวะทิ้งไว้ แต่ไฟล์ยังมีขนาดตามที่คุณขอ เพราะไฟล์ถูกสร้างให้ใหญ่กว่า และมีเพียงส่วนต้นที่ไปถึงดิสก์ missing บอกว่าไฟล์ทั้งไฟล์หายไปเท่าใด คือครึ่งหนึ่งหากคุณไม่ได้ระบุเป็นอย่างอื่น
append-junk เขียนไบต์สุ่มต่อจากจุดจบของไฟล์ 64 ไบต์หากคุณไม่ได้ระบุเป็นอย่างอื่น เหมือนไฟล์ที่มาถึงพร้อมของบางอย่างติดอยู่ที่ท้าย คำสั่งเดียวกันจะต่อท้ายด้วยไบต์ชุดเดียวกัน
แมนิเฟสต์บอกอะไร
แมนิเฟสต์ที่บอกว่าควรเกิดอะไรขึ้น
ในกรณีที่ความเสียหายละเมิดกฎของรูปแบบ รายการจะบอกว่าระบบของคุณควรปฏิเสธ โดยบันทึกความเสียหายไว้ข้างๆ:
"expected": {
"outcome": "reject",
"reason": "content_malformed",
"confidence": "certain"
},
"damage": [
{
"type": "zero-head",
"settings": {
"bytes": "8"
}
}
]
ในกรณีที่ตัวอ่านแต่ละตัวต่างกัน รายการจะบอกเช่นนั้นแทนการเดา ไฟล์ข้อความที่ถูกตัดก็ยังเป็นข้อความ และโปรแกรมดูภาพส่วนใหญ่ข้ามไบต์ที่อยู่หลังจุดจบของ PNG รายการจึงปล่อยคำตอบให้ระบบของคุณ เสนอทั้งสองคำตอบ และบอกเหตุผล:
"expected": {
"outcome": "unspecified",
"reason": "content_malformed",
"detail": "A PNG ends at its IEND chunk and most viewers skip what follows it.",
"confidence": "policy_dependent",
"policy_options": ["accept", "reject"]
}
tfg damage <id> แสดงรายการรูปแบบที่ความเสียหายปล่อยคำตอบให้ระบบของคุณ พร้อมเหตุผล
คำขอสี่แบบถูกปฏิเสธก่อนที่จะมีอะไรถูกเขียน เพราะแต่ละแบบจะทิ้งไฟล์ไว้บนดิสก์ที่แมนิเฟสต์อธิบายผิด:
- ไฟล์ที่เล็กกว่าที่ความเสียหายต้องการ ซึ่งจะออกมาโดยไม่เปลี่ยนแปลง
-
expected: acceptคู่กับความเสียหายที่ละเมิดกฎของรูปแบบ เพราะไม่มีสิ่งใดที่ทำตามกฎเหล่านั้นจะยอมรับไฟล์ ในกรณีที่คำตอบขึ้นกับระบบของคุณacceptใช้ได้ เขียนsanitizeถ้าระบบของคุณควรซ่อมไฟล์ หรือunspecifiedถ้านั่นคือคำถามที่คุณถามอยู่พอดี -
truncateหลังappend-junkเพราะจะตัดไบต์ที่เพิ่มเข้าไปทิ้ง ให้วางtruncateไว้ก่อน -
truncateหรือappend-junkกับไฟล์เก็บถาวรที่เอาขนาดมาจากสิ่งที่อยู่ข้างใน เพราะไม่มีขนาดให้ตั้งต้น
ในสูตร
ไฟล์ปกติและไฟล์เสียในการรันเดียว
ใส่ทั้งสองอย่างในสูตรเดียว แล้วแมนิเฟสต์จะมีสิ่งที่คาดหวังของแต่ละไฟล์ การทดสอบจึงไม่ต้องมีรายการบอกว่าไฟล์ไหนเป็นไฟล์ไหน:
version: 1
targets:
- id: healthy
format: pdf
size: 1mb
expected: accept
- id: broken
format: pdf
size: 1mb
damage:
- zero-head
ในการทดสอบ
เปลี่ยนให้เป็นการทดสอบ
การทดสอบอ่านแมนิเฟสต์แล้วตรวจว่าสิ่งที่เกิดขึ้นตรงกับที่ประกาศไว้ ไม่ต้องมีรายชื่อไฟล์:
import json, os
directory = "healthy-and-broken"
manifest = json.load(open(os.path.join(directory, "manifest.json")))
for entry in manifest["files"]:
outcome = entry["expected"]["outcome"]
if outcome == "unspecified":
continue
response = upload(os.path.join(directory, entry["path"]))
if outcome == "reject":
assert not response.ok
else:
assert response.ok
ไฟล์ที่ผลลัพธ์เป็น unspecified จะถูกข้ามไปตรงนี้ เพราะสิ่งที่ระบบของคุณควรทำกับไฟล์นั้นเป็นนโยบายของคุณเอง รายการของไฟล์บอกเหตุผล และ policy_options แสดงคำตอบที่เป็นไปได้
การปฏิเสธที่ดีคือการปฏิเสธที่สะอาด ข้อความที่บอกว่าผิดตรงไหนคือคำตอบที่คุณต้องการ ส่วนข้อผิดพลาดของเซิร์ฟเวอร์ การค้าง หรือไฟล์ที่บันทึกไว้ครึ่งเดียวคือข้อบกพร่องที่การทดสอบนี้มีไว้หา
ถัดไป
จากตรงนี้ไปไหนต่อ
- พรีเซ็ต upload-validation ถามฟอร์มสองคำถามที่เหลือ คือเรื่องขนาดและเรื่องชนิด
- ไฟล์ทดสอบใน CI รันสูตรแบบนี้ในไปป์ไลน์
-
เอกสาร มีทุกตัวเลือกของ
tfg generate