Testing Files Generator
Українська

Як зробити пошкоджений файл для тестів

Валідатор, якому показували лише здорові файли, насправді не перевірений. Ось як отримати файл, навмисно зіпсований, що виходить точно такого розміру, який ви просите, і несе маніфест із вказівкою, що ваша система має з ним зробити.

Коротка відповідь

tfg generate --format png --size 2mb --damage zero-head --out ./out записує PNG рівно в 2097152 байти, перші байти якого нулі, а маніфест поруч фіксує, що ваша система має його відхилити.

Звичайний шлях

Чому файл, зіпсований вручну, - поганий тест

Зазвичай беруть шістнадцятковий редактор, скрипт, що перевертає кілька випадкових байтів, або вкорочують файл через head чи truncate. Один раз це працює, а потім коштує дорого:

Що ви отримуєте

Пошкоджений файл лишається потрібного розміру

Файл створюється як зазвичай і псується потім, дорогою на диск. Він зберігає заданий розмір, а та сама команда знову записує ті самі байти.

tfg generate --format png --size 2mb --damage zero-head --out ./out
tfg generate --format pdf --size 1mb --count 5 --damage zero-head:bytes=16 --out ./broken
tfg generate --format zip --size 5mb --damage truncate:missing=30 --out ./cut
tfg generate --format jpg --size 500kb --damage append-junk --out ./tail

Налаштування пишуться після двокрапки. Параметр можна повторювати, а пошкодження застосовуються в тому порядку, в якому ви їх записали. Це працює з кожним із 32 форматів.

Що він уміє

Які бувають пошкодження?

Це список, який друкує програма, прочитаний із неї під час збирання цієї сторінки. tfg damage друкує той самий список, а tfg damage <id> каже, що приймає одне з них.

Пошкодження Що воно робить із байтами Найменший файл Налаштування
append-junk Дописує випадкові байти після кінця файлу й зберігає саме той розмір, який ви вказали, як приходить файл, до кінця якого щось прилипло. 64 bytes
truncate Відрізає кінець файлу й зберігає саме той розмір, який ви вказали, як залишає файл перерване завантаження чи копіювання. 4 missing
zero-head Перезаписує перші байти файлу нулями, не змінюючи його довжину. Більшість програм читання дивляться спочатку туди, тому це пошкодження помічає майже все. 8 bytes

zero-head записує нулі поверх початку файлу. Більшість програм читання дивляться спочатку туди, на сигнатуру й заголовок, які кажуть, що це за файл, тому помічає майже будь-яка. У простого тексту та журналів сигнатури немає, і їх теж відхиляють, бо послідовність нульових байтів не є текстом. Менше ніж чотири байти - і в деяких форматів виходить пошкодження, на яке не скаржиться жодна програма читання, тому налаштування починається з чотирьох.

truncate відрізає кінець файлу, як залишає його перерване завантаження чи копіювання, і файл однаково має вказаний вами розмір: він створюється більшим, і на диск потрапляє лише його початок. missing каже, яка частина всього файлу зникає, половина, якщо не вказати інше.

append-junk дописує випадкові байти після кінця файлу, 64, якщо не вказати інше, як приходить файл, до кінця якого щось прилипло. Та сама команда дописує ті самі байти.

Що каже маніфест

Маніфест, який каже, що має статися

Там, де пошкодження порушує правила формату, запис каже, що ваша система має його відхилити, а поруч записано пошкодження:

"expected": {
  "outcome": "reject",
  "reason": "content_malformed",
  "confidence": "certain"
},
"damage": [
  {
    "type": "zero-head",
    "settings": {
      "bytes": "8"
    }
  }
]

Там, де програми читання розходяться, запис каже про це, а не вгадує. Обрізаний текстовий файл лишається текстом, а більшість переглядачів пропускають байти після кінця PNG, тому запис залишає відповідь вашій системі, пропонує обидві й пояснює чому:

"expected": {
  "outcome": "unspecified",
  "reason": "content_malformed",
  "detail": "A PNG ends at its IEND chunk and most viewers skip what follows it.",
  "confidence": "policy_dependent",
  "policy_options": ["accept", "reject"]
}

tfg damage <id> перелічує формати, у яких пошкодження залишає відповідь вашій системі, і причину.

Чотири запити відхиляються, перш ніж щось буде записано, бо кожен залишив би на диску файл, який маніфест описує хибно:

У рецепті

Здорові й зламані файли за один запуск

Покладіть обидва види в один рецепт, і маніфест несе очікування для кожного файлу, тож тесту не потрібен список, який файл який:

version: 1
targets:
  - id: healthy
    format: pdf
    size: 1mb
    expected: accept
  - id: broken
    format: pdf
    size: 1mb
    damage:
      - zero-head

У тесті

Перетворюємо це на тест

Тест читає маніфест і перевіряє, що сталося те, що було заявлено. Список імен файлів йому не потрібен:

import json, os

directory = "healthy-and-broken"
manifest = json.load(open(os.path.join(directory, "manifest.json")))

for entry in manifest["files"]:
    outcome = entry["expected"]["outcome"]
    if outcome == "unspecified":
        continue
    response = upload(os.path.join(directory, entry["path"]))
    if outcome == "reject":
        assert not response.ok
    else:
        assert response.ok

Файл із результатом unspecified тут пропускається, бо те, що ваша система має з ним зробити, визначає ваша власна політика. Його запис пояснює чому, а policy_options перелічує можливі відповіді.

Гарна відмова - це чиста відмова. Повідомлення, що каже, що було не так, - та відповідь, яка вам потрібна. Помилка сервера, зависання або наполовину збережений файл - той дефект, заради якого цей тест і існує.

Далі

Куди йти звідси