Melhores práticas
Escrita de testes estáveis
Encontre o equilíbrio entre especificidade e imprecisão. Se uma etapa for muito específica, pequenas mudanças de UX podem quebrá-la, mesmo que o produto continue funcionando. Se for muito vaga, o agente terá que adivinhar demais.
Se o agente fica preso regularmente no mesmo ponto, isso geralmente significa que a etapa precisa de mais detalhes ou de critérios de sucesso mais claros.
Como regra geral, uma etapa por clique é um padrão saudável. Isso torna as falhas mais fáceis de diagnosticar e os resultados mais simples de revisar.
Use componentes para fluxos de configuração repetidos, como fazer login, abrir uma página ou chegar à mesma área de recurso em vários testes.
Use o modelo com capacidade de visão mais barato que ainda consiga passar pelo seu conjunto de testes de forma confiável.
Atribua usuários separados para as versões 'live' e 'test' quando os ambientes tiverem dados ou comportamentos de login diferentes.
Use componentes reutilizáveis para fluxos comuns, como fazer login ou navegar até uma página de configurações.
Solução de problemas comuns
O agente demora muito em uma etapa
Isso significa que suas instruções não são precisas o suficiente. Forneça orientações mais exatas sobre o que fazer especificamente (quais campos preencher, quais botões pressionar).
A execução está falhando após mudanças na UI
Se o produto ainda funciona, mas o teste agora falha, as etapas provavelmente são muito frágeis. Torne a instrução um pouco mais orientada a objetivos e mova a redação muito específica para os detalhes apenas quando a precisão extra for realmente necessária.
O agente continua ficando preso na mesma etapa
Adicione mais detalhes a essa etapa. Diga ao agente em qual página ele deve estar, o que deve clicar e como deve ser o estado de sucesso.
O usuário errado está sendo utilizado
Verifique o usuário de teste atribuído para o ambiente selecionado. Execuções em produção usam o Live version user; execuções em branches que não são de produção usam o Test version user.
A execução começa sem fazer login
Isso geralmente significa que nenhum usuário de teste foi atribuído para aquele ambiente. O agente ainda pode tentar o fluxo, mas não terá um login salvo para usar automaticamente.
O grupo não executa
Grupos precisam de pelo menos um teste. Componentes não podem ser adicionados a grupos, portanto, certifique-se de que o grupo contenha testes executáveis.
A execução continuou mesmo com a falha de uma etapa
Verifique a configuração On failure daquela etapa. Continue on failure instrui o Buildprint a prosseguir após registrar o aviso ou erro.