परीक्षण के लिए खराब फ़ाइल कैसे बनाएँ
जिस वैलिडेटर को केवल स्वस्थ फ़ाइलें दिखाई गई हों, उसे सचमुच परखा नहीं गया है। यहाँ बताया गया है कि ऐसी फ़ाइल कैसे पाएँ जो जानबूझकर बिगाड़ी गई हो, ठीक उतने आकार की निकले जितना आपने माँगा, और ऐसा मैनिफ़ेस्ट साथ लाए जो बताता है कि आपके सिस्टम को उसका क्या करना चाहिए।
छोटा जवाब
tfg generate --format png --size 2mb --damage zero-head --out ./out ठीक 2097152 बाइट की
एक PNG लिखता है जिसके शुरुआती बाइट शून्य हैं, और उसके बगल का मैनिफ़ेस्ट दर्ज करता है कि आपके
सिस्टम को उसे अस्वीकार करना चाहिए।
आम तरीका
हाथ से बिगाड़ी गई फ़ाइल खराब टेस्ट क्यों है
आम तरीके हैं हेक्स एडिटर, कुछ यादृच्छिक बाइट पलटने वाली स्क्रिप्ट, या head अथवा
truncate से फ़ाइल को छोटा काट देना। ये एक बार चलते हैं, फिर महँगे पड़ते हैं:
- हर बार अलग होता है। यादृच्छिक बाइट हर रन में नई जगह पड़ता है, इसलिए मंगलवार की विफलता बुधवार को लौटे, यह ज़रूरी नहीं।
- यह आकार बदल देता है। कटी हुई फ़ाइल उस सीमा से छोटी होती है जिसके नीचे उसे रहना था, इसलिए आकार की जाँच सामग्री की जाँच से पहले जवाब दे देती है और टेस्ट गलत कारण से पास हो जाता है।
- यह अक्सर किसी की नज़र में नहीं आता। सादा पाठ बीच में एक बाइट बदलने पर भी पढ़ा जाता है, और उदार इमेज रीडर उसे बस बना देता है, इसलिए जो फ़ाइल खराब होनी थी वह स्वीकार हो जाती है।
- यह नहीं बताता कि क्या होना चाहिए। फ़ाइल सिर्फ़ बाइट है, और जो बाद में टेस्ट पढ़ेगा उसे अंदाज़ा लगाना पड़ेगा कि इरादा स्वीकार करने का था या अस्वीकार करने का।
आपको क्या मिलता है
खराब फ़ाइल का आकार वही रहता है जो आपने माँगा था
फ़ाइल सामान्य रूप से बनती है और बाद में, डिस्क तक जाते समय, बिगाड़ी जाती है। वह माँगा हुआ आकार बनाए रखती है, और वही कमांड फिर वही बाइट लिखता है।
tfg generate --format png --size 2mb --damage zero-head --out ./out
tfg generate --format pdf --size 1mb --count 5 --damage zero-head:bytes=16 --out ./broken
tfg generate --format zip --size 5mb --damage truncate:missing=30 --out ./cut
tfg generate --format jpg --size 500kb --damage append-junk --out ./tail
सेटिंग कोलन के बाद लिखी जाती है। विकल्प दोहराया जा सकता है, और बिगाड़ आपके लिखे क्रम में लागू होते हैं। यह सभी 32 फ़ॉर्मैट के साथ चलता है।
यह क्या कर सकता है
कौन-कौन से बिगाड़ हैं?
यह वह सूची है जो प्रोग्राम छापता है, इस पेज को बनाते समय उसी से पढ़ी गई। tfg damage यही
सूची छापता है, और tfg damage <id> बताता है कि उनमें से एक क्या लेता है।
| बिगाड़ | बाइट के साथ क्या करता है | सबसे छोटी फ़ाइल | सेटिंग |
|---|---|---|---|
append-junk |
फ़ाइल के अंत के बाद यादृच्छिक बाइट लिखता है और ठीक वही आकार रखता है जो आपने माँगा, जैसे कोई फ़ाइल अपने अंत में कुछ चिपका हुआ लेकर आती है। | 64 | bytes |
truncate |
फ़ाइल का अंत काट देता है और ठीक वही आकार रखता है जो आपने माँगा, जैसे बीच में टूटा अपलोड या कॉपी उसे छोड़ता है। | 4 | missing |
zero-head |
फ़ाइल के शुरुआती बाइट को शून्य से ढक देता है और लंबाई नहीं छेड़ता। ज़्यादातर रीडर सबसे पहले वहीं देखते हैं, इसलिए यह बिगाड़ लगभग हर चीज़ पकड़ लेती है। | 8 | bytes |
zero-head फ़ाइल की शुरुआत पर शून्य लिख देता है। ज़्यादातर रीडर सबसे पहले वहीं देखते
हैं, उस सिग्नेचर और हेडर पर जो बताते हैं कि फ़ाइल क्या है, इसलिए लगभग हर रीडर इसे भाँप लेता है।
सादे पाठ और लॉग में सिग्नेचर नहीं होता और वे भी अस्वीकार होते हैं, क्योंकि शून्य बाइट की कतार
पाठ नहीं है। चार बाइट से नीचे कुछ फ़ॉर्मैट ऐसे बिगाड़ के साथ निकलते हैं जिसकी कोई रीडर शिकायत
नहीं करता, इसीलिए सेटिंग चार से शुरू होती है।
truncate फ़ाइल का अंत काट देता है, जैसे बीच में टूटा अपलोड या कॉपी उसे छोड़ता है,
और फ़ाइल फिर भी उसी आकार की रहती है जो आपने माँगा: वह बड़ी बनाई जाती है और डिस्क तक सिर्फ़ उसकी
शुरुआत पहुँचती है। missing बताता है कि पूरी फ़ाइल का कितना हिस्सा गायब है, आधा, जब
तक आप कुछ और न कहें।
append-junk फ़ाइल के अंत के बाद यादृच्छिक बाइट लिखता है, 64, जब तक आप कुछ और न
कहें, जैसे कोई फ़ाइल अपने अंत में कुछ चिपका हुआ लेकर आती है। एक ही कमांड वही बाइट जोड़ती है।
मैनिफ़ेस्ट क्या कहता है
एक मैनिफ़ेस्ट जो बताता है कि क्या होना चाहिए
जहाँ बिगाड़ फ़ॉर्मैट के नियम तोड़ता है, वहाँ प्रविष्टि कहती है कि आपके सिस्टम को उसे अस्वीकार करना चाहिए, और बिगाड़ उसके बगल में दर्ज रहता है:
"expected": {
"outcome": "reject",
"reason": "content_malformed",
"confidence": "certain"
},
"damage": [
{
"type": "zero-head",
"settings": {
"bytes": "8"
}
}
]
जहाँ रीडर अलग-अलग बर्ताव करते हैं, वहाँ प्रविष्टि अंदाज़ा लगाने के बजाय यही कहती है। काटी गई पाठ फ़ाइल फिर भी पाठ है, और ज़्यादातर इमेज व्यूअर PNG के अंत के बाद के बाइट छोड़ देते हैं, इसलिए प्रविष्टि जवाब आपके सिस्टम पर छोड़ती है, दोनों विकल्प देती है और कारण बताती है:
"expected": {
"outcome": "unspecified",
"reason": "content_malformed",
"detail": "A PNG ends at its IEND chunk and most viewers skip what follows it.",
"confidence": "policy_dependent",
"policy_options": ["accept", "reject"]
}
tfg damage <id> वे फ़ॉर्मैट और कारण बताता है जिनमें कोई बिगाड़ जवाब आपके
सिस्टम पर छोड़ता है।
चार अनुरोध कुछ भी लिखे जाने से पहले ठुकरा दिए जाते हैं, क्योंकि हर एक डिस्क पर ऐसी फ़ाइल छोड़ देता जिसका मैनिफ़ेस्ट गलत वर्णन करता:
- बिगाड़ को जितना चाहिए उससे छोटी फ़ाइल, जो ज्यों की त्यों निकलती
-
फ़ॉर्मैट के नियम तोड़ने वाले बिगाड़ के साथ
expected: accept, क्योंकि उन नियमों को मानने वाली कोई चीज़ फ़ाइल स्वीकार नहीं करती। जहाँ जवाब आपके सिस्टम पर निर्भर है, वहाँacceptकी अनुमति है। अगर आपके सिस्टम को फ़ाइल सुधारनी है तोsanitizeलिखें, और अगर आप ठीक यही पूछ रहे हैं तोunspecified -
append-junkके बादtruncate, क्योंकि वह जोड़े गए बाइट काट देता।truncateको पहले रखें -
ऐसे आर्काइव पर
truncateयाappend-junkजो अपना आकार अपनी सामग्री से लेता है, क्योंकि शुरू करने के लिए कोई आकार नहीं है
रेसिपी में
एक रन में स्वस्थ और खराब फ़ाइलें
दोनों को एक रेसिपी में रखें, और मैनिफ़ेस्ट हर फ़ाइल की अपेक्षा साथ रखता है, इसलिए टेस्ट को यह बताने वाली सूची नहीं चाहिए कि कौन-सी कौन-सी है:
version: 1
targets:
- id: healthy
format: pdf
size: 1mb
expected: accept
- id: broken
format: pdf
size: 1mb
damage:
- zero-head
टेस्ट में
इसे टेस्ट बनाना
टेस्ट मैनिफ़ेस्ट पढ़ता है और जाँचता है कि जो हुआ वही है जो घोषित किया गया था। उसे फ़ाइल नामों की सूची नहीं चाहिए:
import json, os
directory = "healthy-and-broken"
manifest = json.load(open(os.path.join(directory, "manifest.json")))
for entry in manifest["files"]:
outcome = entry["expected"]["outcome"]
if outcome == "unspecified":
continue
response = upload(os.path.join(directory, entry["path"]))
if outcome == "reject":
assert not response.ok
else:
assert response.ok
जिस फ़ाइल का नतीजा unspecified है, उसे यहाँ छोड़ दिया जाता है, क्योंकि आपके सिस्टम
को उसके साथ क्या करना है, यह आपकी अपनी नीति तय करती है। उसकी प्रविष्टि कारण बताती है, और
policy_options संभव जवाब गिनाता है।
अच्छा इनकार साफ़ इनकार होता है। जो संदेश बताए कि क्या गलत था, वही वह जवाब है जो आप चाहते हैं। सर्वर त्रुटि, अटक जाना या आधी सहेजी फ़ाइल वह खराबी है जिसे ढूँढ़ने के लिए यह टेस्ट है।
आगे
यहाँ से कहाँ जाएँ
- upload-validation प्रीसेट किसी फ़ॉर्म से बाकी दो सवाल पूछता है, आकार का और प्रकार का।
- CI में टेस्ट फ़ाइलें ऐसी रेसिपी को पाइपलाइन में चलाती हैं।
-
दस्तावेज़ में
tfg generateका हर विकल्प है।