Executando e revisando testes

Seu agente executa testes pela CLI. Buildprint registra cada execução para que você possa revisá-la no app.

Execute pela CLI pedindo ao seu agente

Peça ao agente para executar o teste a partir da branch que você deseja testar.

buildprint test list                         # every test and its state on this branch
buildprint test run create_agency            # one test
buildprint test run agency                   # every test in the agency folder
buildprint test run --all                    # every test on this branch
buildprint test run smoke --screenshots all  # screenshot after every step
buildprint test status <runId>               # steps and results
buildprint test stop <runId>                 # cancel and close the browser

O executor exibe cada etapa à medida que avança. Ele envia capturas de tela de falhas e, quando o ffmpeg está instalado, um vídeo até a primeira etapa do agente.

Lotes

Uma execução de uma pasta ou --all é um lote. O executor executa um teste por vez e atribui o mesmo ID de lote a todas as execuções. As etapas do agente não pausam um lote. Elas são registradas como aguardando, e a execução prossegue. No Buildprint, a aba Runs agrupa um lote em uma única linha com uma contagem de aprovações.

Execuções pausadas

Uma única execução pausa em uma etapa do agente. O executor faz uma captura de tela, captura a árvore de acessibilidade da página e exibe um resumo: a tarefa, como são os resultados de aprovação e falha, a URL atual, o caminho da captura de tela e os comandos para retomar.

Seu agente lê a captura de tela e a árvore, decide e executa uma destas opções:

buildprint test step <runId> pass --comment "what you saw"
buildprint test step <runId> fail --comment "what you saw"
buildprint test step <runId> warning --comment "what you saw"

A execução continua no mesmo comando. Adicione --screenshot <path> para anexar evidências. Adicione --script <bash> para armazenar um comando que substituirá a etapa do agente na próxima vez (isso é recomendado para evitar usar agentes sempre que possível). Consulte Building tests.

Revisar no Buildprint

Abra seu projeto e clique em Tests.

• Tests lista todos os testes por pasta com seu último estado. Clique em um teste para ver sua descrição, etapas, origem e histórico de execuções.

• Runs lista todas as execuções e lotes. Clique em uma execução para ver cada etapa, sua saída, as capturas de tela e o vídeo.

• Dashboard mostra a taxa de aprovação, as execuções por dia e as regressões. Uma regressão é um teste que foi aprovado nos últimos sete dias e falhou ou apresentou um aviso na execução mais recente.

Cada execução mostra a branch e o ambiente em que foi executada.