Клієнт передає maxRetries: 0, а після мережевої помилки відправляє запит ще двічі. Попросимо coding-агента виправити цю поведінку за вимогою «Нуль вимикає повтори, а без явного обмеження клієнт має, як і раніше, зробити до двох повторів». Цього досить, щоб визначити, яку поведінку треба довести тестом. Який файл змінювати, ще належить з’ясувати.

Як агент переходить від вимоги до коду

Модель отримує умову задачі й описи доступних інструментів. Вона може запропонувати пошук rg -n 'maxRetries'. Харнес — програма, що веде сеанс агента, — запускає дозволену команду в робочій директорії й повертає знайдені рядки. Тепер модель має підставу попросити прочитати конкретну функцію. Так само результат невдалого тесту може змінити її наступну дію. Такий цикл пошуку, дії та перевірки описано в документації Claude Code.

Межі циклу задає реалізація харнеса. Наприклад, Pi можна вбудувати в застосунок через SDK, а Codex Cloud готує віддалене середовище для делегованої задачі. В обох випадках перед рев’ю важливо знати, з якою версією репозиторію працювали й що вдалося запустити саме там.

Як відтворити зайві спроби

Ось весь модуль delivery.mjs для відтворення помилки. Успішний виклик одразу повертає результат. Після помилки функція звіряє кількість уже використаних повторів із лімітом.

export async function deliver(send, { maxRetries } = {}) {
  const limit = maxRetries || 2;
  for (let used = 0; ; used++) {
    try {
      return await send();
    } catch (error) {
      if (used >= limit) throw error;
    }
  }
}

У тесті замінимо мережеву операцію функцією, яка рахує виклики й завжди повертає помилку. Так можна спостерігати саме кількість спроб. У файлі delivery.test.mjs перевіримо також пропущений ліміт і один дозволений повтор.

import assert from 'node:assert/strict';
import test from 'node:test';
import { deliver } from './delivery.mjs';

for (const [options, expected] of [
  [{}, 3],
  [{ maxRetries: 0 }, 1],
  [{ maxRetries: 1 }, 2],
]) {
  test(JSON.stringify(options), async () => {
    let calls = 0;
    const send = async () => {
      calls++;
      throw new Error('offline');
    };
    await assert.rejects(deliver(send, options), /offline/);
    assert.equal(calls, expected);
  });
}

Запуск node --test delivery.test.mjs на початковій версії виявляє один збій. Для нульового ліміту лічильник дорівнює 3, очікуване значення — 1. Два інші випадки проходять. Почати з цієї перевірки варто ще й тому, що патч, який вимкне повтори для всіх клієнтів, зламає обидва сусідні випадки.

Чому достатньо одного рядка

У виразі maxRetries || 2 нуль приводиться до false, тож ліміт стає рівним двом. Оператор ?? підставляє значення за замовчуванням лише для undefined та null. Переданий нуль залишається нулем. Специфікація ECMAScript

-  const limit = maxRetries || 2;
+  const limit = maxRetries ?? 2;

Після цієї правки та сама команда перевіряє три сценарії успішно. Коли send постійно повертає помилку, без налаштування маємо три виклики, з нульовим лімітом — один, з одиничним — два. Це вимірюваний результат, який розробник може відтворити з обох наведених файлів.

Під час рев’ю розробник звіряє ще й контракт публічного API для null. Якщо його має відхиляти валідатор, перевірка належить на межі API. Три успішні перевірки лічильника покривають саме ті конфігурації, які ми передали. Правило для null потребує власного тесту.

Шість coding-агентів і їхні робочі сценарії