Cerberus

Avantages

- Une interface facile d'utilisation, permettant d'organiser le travail et les workflow comme nous le souhaitons au sein de l'équipe.
- La version SAAS permet de travailler facilement en ligne et de n'importe où. Nous avons tous accès au travail de chacun très facilement.
- La possibilité de créer des librairies de données et d'objets par projets de manières claires, précises, pouvant être utiliser par l'ensemble des équipes.
- La possibilité de variabiliser les données de façon intuitive afin de ne pas démultiplier les cas de tests. Il est possible de lancer un cas de tests avec des données différentes en fonction de notre cible.
- La création de campagne et la planification des exécutions à tout moment et en continu.
- L'intégration de Cerberus à Teams permettant de recevoir les résultats des campagnes directement dans les différents canaux et visibles par toutes les équipes de développement.
- La reconnaissance d'image avec Sikuli est très fonctionnelle, elle nous permet de pouvoir "uploader" des fichiers dans certains cas de tests.

Inconvénients

- La partie concernant les tests API doit être plus mis en avant, avec des tutoriels plus clairs par exemple.

Avantages

Outil très complet pour le test fonctionnel automatisé, qui facilite l'écriture des scénario grâce à des librairies d'étapes, des tableaux de données. L'outil est pensé pour être utilisé et accessible par n'importe quelle personne, qu'elle ait ou non des compétences techniques. Cerberus est facilement industrialisable et peut être utilisé à grande échelle grâce à l'organisation des tests, la gestion des campagnes de tests, la programmation des lancements de campagnes, l'envoi de notifications par mail et sur slack...
De plus, les rapports d'exécutions de tests/campagnes sont très détaillés, et Cerberus permet l'analyse des résultats dans le temps.

Inconvénients

Du fait que ce soit un outil très complet, il peut être impressionnant par la multitude de possibilités. Cela nécessite un temps de pratique pour être totalement à l'aise sur Cerberus.

Avantages

L'application permet de tester des applications web / client lourd / android & Ios / API & Webservices et d'y associer des DB pour maitriser à 100% son jeu de données

Inconvénients

Le front qui me met pas en valeur toutes les fonctionnalités disponibles, ce qui complexifie son usage.

Avantages

- Cette solution présente l'avantage d'être utilisable par des profils techniques et/ou fonctionnels
- Facilité de maintenance des tests via de la factorisation des étapes clés
- Possibilité de scheduler les campagnes
- Solution facile à prendre en main et très complète

Inconvénients

L'installation via un docker nécessite des compétences d'admin réseau, mais ils ont lancé récemment une offre SAAS clé en main qui est très simple d'utilisation et peu onéreuse.

Avantages

J'ai pu monté en compétences rapidement sur Cerberus qui est un outil facile d'emploi même pour les non initiés.
Je peux mettre en place des tests des sites de mes clients automatiquement et ce tous les jours sans avoir à me connecter à l'outil. Tout le travail se fait en amont. Et je reçois une alerte en cas de problème sur les tunnels d'achat. L'outil permet aussi de faire des captures d'écran pour s'assurer d'avoir atteint les bonnes pages du site. Cela me permet concrètement de gagner plus d'une heure de travail par jour.

Inconvénients

Bien que facile d'emploi, si on veut aller plus loin il serait intéressant d'avoir un guide de toutes les possibilités de l'outil afin d'être plus autonome sur le paramétrage des tests notamment.

Avantages

L'outil s'intègre parfaitement dans notre écosystème IT et couvre une très grande partie de nos besoins qu'ils soient WEB, APPS, MIDDLE et BACK.
L'interface graphique est facile d'utilisation.
Des tableaux de bords de suivi de campagne variés.
Un outil en constante évolution.

Inconvénients

L'interface peut parfois paraître un peu trop IT pour des utilisateurs fonctionnels.

Avantages

Logiciel open source professionnel, il permet de couvrir l'intégralité de nos test UI et API.

Inconvénients

La communauté derrière Cerberus et leur réactivité, réduisent énormément les critiques possibles.

Avantages

- L'accès à l'automatisation pour les testeurs non développeurs!
- La possibilité de gérer des campagnes de tests conséquentes.
- Les librairies d'étape pour modifier rapidement les cas de tests en cas d'évolution de l'application testées.
- Des tests dans l'intégration continue.

Inconvénients

L'outil est très performant et dispose de beaucoup de fonctionnalités, cependant il n'est pas très intuitif. Le front mériterait un rework plus intuitif pour faciliter l'accès à ces fonctionnalités.

Avantages

Plateforme SaaS très moderne, disposant d'une équipe disponible, très engagée et orientée qualité

Inconvénients

La documentation reste perfectible (en cours d'amélioration)

Avantages

Le logiciel nécessite peu de connaissance en code , pour des néophytes et des personnes qui n'ont donc pas de background développeur cela en fait un outil accessible et user friendly.
L'interface est plutôt intuitive. Pour le moment les tests auto intégrés de notre côté uniquement sur des logiciels web et le fonctionnement est au top.

Inconvénients

Je n'ai pas encore rencontré de point désagréable dans l'utilisation du logiciel.

Avantages

Facilité de prise main
Ergonomie
Nombreuses possibilités d’automatisation
Génération d’alertes et de rapports

Inconvénients

Principalement limité par les actions intégrées au logiciel

Avantages

- Diversité des contrôles importante (tests de datalayer, contrôle du network, cookies, console...)
- Réutilisation de contrôles déjà réalisés (un test peut se faire par du simple clic bouton)
- Flexibilité de l'outil
- Support rapide et efficace (adaptation rapide à nos cas d'usages vidéos)

Inconvénients

Demande une bonne connaissance de l'HTML et de la gestion notamment du json ou xpath.

Avantages

L'automatisation des tests se prend facilement en main. Lorsque j'étais novice, il n'a pas fallu beaucoup de temps pour monter en compétence. Facile à comprendre.

Inconvénients

Parfois, ce n'est pas intuitif. Par exemple, un simple 'if' il faut faire plusieurs étapes avant d'arriver au résultat souhaité

Avantages

Cerberus est un outil axé sur l'automatisation des tests mais peut être utilisé également pour le test fonctionnel. Il permet aux équipes qualité de construire un réel référentiel de test facile à mettre à jour.

Inconvénients

L'outil pourrait être un plus plus intuitif pour la partie tests manuels.

Avantages

Le principe de conception des scénarios de tests avec les actions et contrôles, permettent l'automatisation sans requérir de compétences particulières en automatisation ou en dév. Et la gestion des environnements et des data de tests sont très intuitifs.

Inconvénients

La gestion des exigences pourrait être améliorée.

Avantages

L'interface graphique est ergonomique, les fonctionnalités proposées sont faciles d'utilisation et de compréhension, le tutoriel interactif est bien fait.

Inconvénients

Le manque de personnalisation de l'interface graphique.

Avantages

La simplicité. Simplicité de prise en main après une formation d'une journée, sans rien avoir à installer en local. Puis simplicité de suivre l'avancement de la recette. Et enfin, simplicité d'échange avec mes collègues des différentes équipes.

Inconvénients

De nombreuses fonctionnalités pas utiles pour mon besoin simple, ce qui rend l'application plus chargée que nécessaire sur certaines pages.

Avantages

La solution CERBERUS TESTING est une solution puissante & performante, pour réaliser l'automatisation des Tests : Fron-End & Back-End.
C'est également une solution qui permets de réaliser les tests de monitoring des systèmes.
Elle s'intègre parfaitement dans les Env. CI/CD

Inconvénients

Un des points d'amélioration de Cerberus Testing est l'ajout d'intégration avec d'autres outils gestion de test tel que : Squash TM

Avantages

possible de tester tout type d'applications (web, iOs, API, ...)
possibilité d'utiliser plusieurs fwk de tests UI dans un même test (selenium/sikuli)
le mode saas où votre solution est dispo dans l'heure qui suit votre demande

Inconvénients

l'absence d'intégration à Azure devops.

Avantages

Simplicité
Efficacité
Ergonomique
Support

Inconvénients

La connexion avec les outils de management de test

Avantages

La capacité d'exécution un grand nombre de tests,
Les test sont automatiques,
Facile d'utilisation même avec ceux qui n'ont pas un profil "développeur"

Inconvénients

Il nous faut quand meme des notions sur les code JSON, SQL...

Avantages

Prise en main facile une fois que les premiers tests sont lancés

Inconvénients

Pour l'instant la non possibilité de pouvoir recetter la console log du navigateur

Avantages

La rapidité d'implémentation des tests et l'interface intuitive de l'outil sont les points forts de l'outil.

Inconvénients

Nécessite une formation et apprentissage

Alternatives envisagées 

Pourquoi passer à Cerberus

Avantages

Outil non complexe et prise en main assez facile.

Inconvénients

Le fait de ne pouvoir (dans un premier temps) entrer dans la console pour le test de notre Datalayer.
Mais le point est en train d'évoluer donc c'est parfait.

Avantages

Cerberus is a very powerful user-friendly testing tool that allows testing different types of components such as web sites and APIs (REST/SOAP).
It is very simple to start writing test and can easily detect errors through screenshot or validation controls that allows fast feedback loops to the programmers (especially great for non-regression tests).
It has many built in features such as import tests and reuse them on another tests, dynamic data gathering (using SQL, CSV, ...), can organize easily your tests, multi environment and multi country, can interface with multiple technologies (Selenium, Appium, …), can interact with many platforms (Jira, Mantis, …)
Great active community working together to implement new features and overall improve the software.

Inconvénients

Lacks some more statistics pages and some UI improvements.