Katalon Studio versus frameworks de código abierto basados ​​en Selenium

Katalon Studio es una solución de automatización de prueba que aprovecha el motor central de Selenium. Aunque usa varias funciones de Selenium, no es simplemente una envoltura de Selenium. Este documento ofrece una comparación detallada de los frameworks de código abierto basados ​​en Katalon y Selenium, centrándose en características clave tales como usuarios objetivo, implementación, administración de pruebas y compatibilidad con lenguaje de scripting, rendimiento, usabilidad e integración con otras herramientas.

1.Usuarios Finales

La automatización de pruebas de software generalmente necesita habilidades técnicas y cierto conocimiento sobre la aplicación bajo prueba (AUT) para su aplicación exitosa. El conocimiento sobre las tecnologías relacionadas con AUT no es obligatorio, si no recomendado. Por ejemplo, tener conocimiento de HTML y JavaScript debería ser mejor que no hacerlo si está realizando pruebas en la web.

Los usuarios de Katalon Studio podrían ser los probadores con conocimientos técnicos limitados. Katalon Studio esconde todas las complejidades técnicas detrás de la escena y proporciona una interfaz de usuario amigable con el modo manual (el usuario puede arrastrar y soltar, seleccionar palabras clave y probar objetos para formar pasos de prueba), pero aún mantiene las armas necesarias para usuarios técnicamente más poderosos que pueden excavar más profundo en la codificación con el modo de guión que es totalmente compatible con las ventajas del desarrollo, como el resaltado de sintaxis, la sugerencia de código y la depuración.

Selenium y Appium son principalmente bibliotecas de pruebas automatizadas que son más adecuadas para probadores que poseen buenas habilidades de programación. Normalmente necesitarán usar un IDE como Eclipse o Visual Studio, para importar bibliotecas de Selenium y Appium (y ciertamente sus dependencias) en un proyecto de desarrollo, para instalar marcos de prueba de unidades necesarias como JUnit, NUnit y TestNG antes de comenzar a escribir un caso de prueba .

Imaginemos una analogía en la industria automotriz en la que muchos automóviles comparten el mismo motor, mientras que los fabricantes diseñan el interior y el exterior de sus automóviles de manera diferente, según los modelos de sus automóviles.

Del mismo modo, Katalon Studio es básicamente una solución todo en uno. Pero si aún prefiere (y tiene las habilidades necesarias) construir todo desde el principio, puede elegir un motor como Selenium, Appium, etc. para construir otra solución de prueba automatizada como Katalon Studio. Además de Katalon Studio, hay algunos frameworks de prueba construidos sobre Selenium y Appium como Robot Framework ( http://robotframework.org )

 

2. Despliegue y primeros pasos

La mayoría de los proyectos de código abierto son difíciles de configurar e implementar porque son aportados por muchos desarrolladores y proveedores diferentes que envían su trabajo a un lugar central, es decir, Github. Puede que tenga que compilar todo utilizando el código fuente enviado. Pero incluso si los marcos están empaquetados en un elemento listo para usar como Selenium y Appium, aún debe seguir las pautas técnicas para su API e integrarlos con un IDE y un lenguaje de programación preferido. A continuación se detallan los pasos de alto nivel requeridos por Selenium, Appium y Katalon Studio para la configuración y ejecución.

• • Selenio:
    • Descargue e instale Java SDK
    • Descargue y configure bibliotecas de prueba: cliente API de Selenium de su idioma preferido, Selenium Server o un paquete independiente (un paquete de cliente y servidor en una sola biblioteca)
    • Descargue IEDriver y ChromeDriver, configure el entorno y las variables PATH
    • Descargue y configure el desarrollo IDE y sus marcos de prueba preferidos, como JUnit, NUnit y TestNG
    • Revise el documento Selenium API para comenzar a crear un proyecto y escribir algún código.

• • Appium:
    • Descargue e instale el SDK en su lenguaje de programación ya sea Java, Python, Ruby o C #
    • Descargue y configure bibliotecas de prueba (Appium, Node.js, Android SDK, XCode si Mac e iOS), configure el entorno y las variables de PATH
    • Descargue y configure el desarrollo IDE y sus marcos de prueba preferidos, como JUnit, NUnit y TestNG
    • Revise el documento Selenium API para comenzar a crear un proyecto y escribir algún código.

• Katalon Studio está diseñado como un paquete unificado que incluye casi todas las cosas necesarias, como Java, Android SDK, controladores web para controlar navegadores y dependencias requeridas. Todo lo que tienes que hacer es descargarlo e instalarlo en tu computadora. Se requiere una instalación mínima:
  • Como Appium se actualiza con frecuencia, Katalon Studio no incluye a Appium. Si está probando aplicaciones móviles, debe instalar Appium, Node.js (en Windows) y XCode (en Mac)
  • Puede familiarizarse rápidamente con Katalon Studio ya que tiene una interfaz de usuario amigable y proyectos de muestra. La documentación detallada para el usuario (docs.katalon.com) definitivamente le ayuda a pasar rápidamente de las funciones simples a las avanzadas.

3. Gestión de pruebas y soporte de lenguaje de scripting

• Gestión de artefactos de prueba:
  • Katalon Studio ofrece una interfaz gráfica de usuario rica con menús, vistas de árbol, tablas, etc. para administrar casos de prueba, objetos y archivos de datos. Su compositor de secuencias de comandos con resaltado de sintaxis completa, sugerencia de código y depuración es ideal para los probadores que solo quieren arrastrar y soltar o tienen habilidades de programación limitadas.

(Modo manual de Katalon Studio)

(Modo de guion de Katalon Studio)

(Modo de depuración Katalon Studio)

• • Selenium y Appium, cuando se integran con un IDE de desarrollo dedicado como Eclipse y Visual Studio, ofrecen entornos intuitivos para los desarrolladores, pero funciones desconocidas e innecesariamente complejas para verificadores manuales o no técnicos. La administración de pruebas es un desafío para los evaluadores no técnicos cuando usan Selenium y Appium.

( El único modo de desarrollo de Selenium + TestNG + Eclipse )

 

( Casos de prueba, suites de prueba, datos de prueba principalmente organizados en archivos XML y código de programación )

• Soporte de lenguaje de scripting:
  • Katalon Studio: Java / Groovy es la única opción por ahora
  • Selenium, Appium + un IDE: muchas opciones para lenguajes de scripting

4. Rendimiento

Katalon Studio utiliza Groovy, un lenguaje construido sobre Java, y tiene que cargar muchas bibliotecas para analizar datos de prueba, probar objetos y registrar. Por lo tanto, puede ser un poco más lento en comparación con Java para casos de prueba largos con cientos de pasos.

5. Usabilidad y funcionalidad

5.1 Objeto espía: espiar objetos de prueba es la actividad más importante pero que consume mucho tiempo en la automatización de pruebas.

• Katalon Studio es compatible con el objeto espía para la Web (mediante el uso de complementos del navegador para IE, Firefox, Chrome) y para aplicaciones móviles (mediante el simulador de captura de pantalla). Katalon Studio también admite objetos capturados de alta iluminación en AUT:

( Katalon Object Spy con soporte de alto brillo para objetos )

• Selenium tiene un complemento de Firefox llamado Selenium IDE para registrar objetos en aplicaciones web. Desafortunadamente, este complemento ya no se mantiene y es compatible. Obtenga más información sobre «Por qué Katalon Studio se convierte en un reemplazo completo de Selenium IDE «.
• Appium proporciona una herramienta complementaria de espionaje de objetos móviles que es útil, pero no tiene una función de gran iluminación.

5.2 Gestión de datos de prueba e impulsada por datos

• • Katalon Studio proporciona un objeto de archivo de datos que puede consultar datos de fuentes externas: archivo CSV, archivo de Excel, base de datos relacional. Katalon Studio también admite pruebas basadas en datos en un objeto de archivo de datos. Por ejemplo, al probar la función de inicio de sesión, puede especificar 100 cuentas predefinidas en una hoja de cálculo de Excel o una base de datos.
  • Selenium y Appium: los evaluadores tienen que codificar los datos de prueba directamente en el código. Cualquier soporte para fuentes de datos externas requiere un considerable esfuerzo de programación.

5.3 Grabación y generación de prueba

La grabación de prueba es la mejor manera de ayudar a los usuarios a aprender y adaptarse rápidamente a la automatización de pruebas. Ayuda a un verificador de automatización a realizar dos tareas principales: capturar objetos (durante la grabación) y generar pasos de prueba con acciones o palabras clave adecuadas, lo que permite ahorrar al menos un 50-60% de tiempo en la redacción de casos de prueba.

• • • Katalon Studio tiene la capacidad de grabar y generar scripts de prueba en aplicaciones web y móviles:

  

  • Al igual que Katalon Studio, Appium admite la grabación y generación de scripts de prueba para aplicaciones móviles.
  • El selenio tiene Selenium IDE, ahora designado como obsoleto, para registrar las acciones del usuario y puede exportar a casos de prueba JUnit / TestNG, pero la información de identificación del objeto está codificada directamente en el código generado sin soporte de administración de objetos:

( Prueba de grabación con Selenium IDE )

( Caso de prueba generado por Selenium IDE )

5.4 Palabras clave incorporadas

1. 1. • Katalon Studio se lanza con conjuntos predefinidos de palabras clave o acciones comúnmente utilizadas, los usuarios encontrarán lo suficiente como para comenzar a implementar la mayoría de los casos de prueba, pero si tienen necesidades más avanzadas o específicas, todavía tienen una forma de crear palabras clave personalizadas para sus proyectos. Las palabras clave personalizadas son una extensión de las palabras clave integradas. Se pueden usar de la misma manera que las palabras clave integradas y se pueden compartir entre los usuarios.
      • Selenio y Appium: los usuarios tienen que crear acciones comunes y reutilizables por sí mismos en formas de funciones de programación.

6. Informes y análisis

• • Katalon Studio proporciona informes intuitivos con mensajes amigables y legibles y capturas de pantalla capturadas en el momento del error que pueden exportarse a archivos CSV, HTML y PDF.
  • Katalon Analytics visualiza los resultados de ejecución de pruebas en forma procesable que permite a los equipos para diagnosticar rápidamente y tener una mejor idea o f  sus pruebas de automatización.

(Tablero de Katalon Analytics con historial de ejecución visualizado )

• • Selenium y Appium no tienen herramientas de informes en sí mismas, pero en función del marco de prueba que se utilice tendrá algunas plantillas de informes simples. Las capacidades sofisticadas de informes y análisis, como las que ofrece Katalon, son probablemente una de las funciones más buscadas para Selenium y Appium.

( TestNG Informe con la programación de stack-trace, sin captura de pantalla de la falla )

7. Integración

• Katalon Studio puede integrarse con varios sistemas de administración de pruebas y sistemas de seguimiento de errores, incluido qTest ( https://www.qasymphony.com ) y JIRA para enviar errores, defectos, registros de prueba y resultados de pruebas. Katalon Studio también se puede integrar con Kobiton, un laboratorio móvil basado en la nube para pruebas móviles basadas en la nube ( https://kobiton.com ).
• Selenium y Appium: sin integración, los usuarios deben construir las capacidades de integración por sí mismos.

8. Integración de CI

• Katalon Studio proporciona una interfaz de línea de comando, lo que permite que CI Systems llame y active la ejecución de la prueba.
• Selenium y Appium: los usuarios deben crear y configurar trabajos de ejecución (tareas Ant, objetivos maven, etc.) para activar la ejecución de la prueba.

9. Atención al cliente

• El equipo de Katalon apoya activamente a los usuarios de Katalon Studio de forma más regular que las comunidades de Selenium y Appium, a través de su sitio web y foro.
• Selenium y Appium son de código abierto, y los usuarios pueden encontrar ayuda en línea en algún lugar de otros usuarios o del grupo Selenium, pero no se garantiza que reciban ayuda rápidamente.

10. Correcciones de errores, calendario de lanzamiento

• Los grupos de Selenium y Appium no tienen un plan de liberación claro, y los errores reportados generalmente no se solucionan rápidamente.
• Katalon Studio se lanza mensualmente (los lanzamientos menores para correcciones urgentes a menudo están disponibles dentro de unos días a una semana), y los errores generalmente se corrigen en cuestión de días. Los comentarios de los usuarios son muy apreciados y resueltos rápidamente.

11. Soluciones para varios problemas de prueba automatizados

• Selenium solo puede tratar con contenido HTML dentro de un navegador. Controles especiales y personalizados tales como ventanas emergentes de Windows y objetos incrustados (Flash, Flex, Media) harán que Selenium deje de funcionar.
• Katalon Studio, por otro lado, proporciona capacidades para manejar estos controles de Windows y reconocer imágenes.
• Katalon Studio permite iniciar la prueba desde cualquier paso con una sesión ya abierta que es muy útil para la prueba de resolución de problemas.
• Katalon Studio anula Firefox Driver para hacer que las nuevas versiones de Firefox (47+) sean compatibles con versiones anteriores de Web Driver mientras que la comunidad de Selenium todavía está luchando con el inestable controlador Gecko.

Fuente original: https://www.katalon.com/resources-center/blog/katalon-studio-vs-selenium-based-open-source-frameworks/