HichTala/draw2

🌐 ¿Buscas una forma sencilla de probar DRAW 2?
Visita nuestra demo web oficial. ¡No necesitas instalar nada!

DRAW 2 (siglas de Detect and Recognize A Wide range of cards, versión 2) es un detector de objetos entrenado para detectar cartas de Yu-Gi-Oh! en todo tipo de imágenes, y en particular en imágenes de duelos.

Con esta nueva versión, DRAW 2 va más allá que su predecesor. Es más preciso, más robusto y mucho más fácil de usar. Ahora incluye un plugin para OBS que permite integrar el detector directamente en transmisiones en vivo o en videos grabados, sin necesidad de conocimientos técnicos especiales. El plugin puede mostrar en tiempo real las cartas detectadas para mejorar la experiencia de los espectadores. (Este es un plugin de terceros para OBS Studio. No está afiliado ni respaldado por el proyecto OBS).

Existen otros trabajos (consulta Trabajos relacionados), pero ninguno es capaz de reconocer cartas durante un duelo.

Este proyecto está bajo la licencia GNU Affero General Public License v3.0; todas las contribuciones son bienvenidas.

---

📄Documentación

Si solo quieres usar el plugin, consulta la página del plugin. No necesitas instalar nada de este repositorio. La documentación que sigue está dirigida a quienes quieran usar el detector fuera de OBS, y requiere algunos conocimientos de programación.

🛠️ Instalación

Necesitas tener Python instalado. La instalación de Python no se detalla aquí; puedes consultar la documentación.

Se recomienda usar un gestor de paquetes como miniconda. Consulta la documentación.

Una vez que todo esté listo, solo tienes que clonar el repositorio e instalar las dependencias:

git clone https://github.com/HichTala/draw2
cd draw2
python -m pip install .

Si no quieres clonar el repositorio y ya tienes todos los requisitos instalados, puedes ejecutar directamente:

python -m pip install git+https://github.com/HichTala/draw2.git

La instalación está completa.

🚀 Uso

Una vez terminada la instalación, puedes usar el detector ejecutando el siguiente comando:

python -m draw

Puedes usar la opción --help para ver todas las opciones disponibles:

python -m draw --help

Estas son las opciones más importantes:

• --source: ruta a tu imagen o video, o índice de la cámara web (por defecto 0, la cámara web).
• --save: ruta donde guardar el resultado.
• --save-images: guarda las imágenes de las cartas y las fotos de las cartas detectadas.
• --show: muestra el resultado en una ventana.
• --display-card: muestra las cartas detectadas sobre el resultado.
• --deck-list: ruta a un archivo ydk con la lista de cartas de tu deck, para mejorar el reconocimiento.
• --fps: FPS del video guardado (por defecto 60).
• --language: idioma en el que se muestran los nombres de las cartas, entre EN (por defecto), FR, IT, DE y PT.

---

💡Inspiración

Este proyecto está inspirado en la idea del creador de contenido SuperZouloux de un holograma que da vida a las cartas de Yu-Gi-Oh!. Su proyecto utiliza chips insertados bajo los protectores (sleeves) de cada carta, que son leídos por el tapete de juego y permiten reconocer las cartas.

Insertar los chips en los protectores no solo es laborioso, sino que además plantea otro problema: las cartas boca abajo se leen igual que las boca arriba. Por eso, un detector automático es una solución muy adecuada.

Aunque KONAMI ^®, el editor del juego, desalentó este proyecto (lo cual es bastante comprensible), podemos imaginar un sistema así usándose para mostrar las cartas jugadas durante un duelo en vivo, de modo que los espectadores puedan leerlas.

---

🔗Trabajos relacionados

Aunque, hasta donde sé, draw es el primer detector capaz de localizar y reconocer cartas de Yu-Gi-Oh! en un entorno de duelo, existen otros trabajos que sirvieron de inspiración para este proyecto. Vale la pena mencionarlos aquí.

Yu-Gi-Oh! NEURON es una aplicación oficial desarrollada por KONAMI ^®. Tiene muchas funciones, entre ellas el reconocimiento de cartas. La aplicación puede reconocer hasta 20 cartas a la vez, lo cual es bastante bueno. La desventaja es que las cartas deben estar en buen estado para ser reconocidas, lo que no siempre ocurre en el contexto de un duelo. Además, no se puede integrar en otras herramientas, así que la única forma de usarla es a través de la propia aplicación.

yugioh one shot learning, de vanstorm9, es un programa de clasificación de cartas de Yu-Gi-Oh! que permite reconocerlas. Utiliza una red siamesa para entrenar su modelo de clasificación. Da resultados muy impresionantes en imágenes de buena calidad, pero no tanto en imágenes de baja calidad, y no puede localizar las cartas.

Yolov11 es la última versión de la famosísima familia yolo de modelos de detección de objetos, y admite cajas delimitadoras orientadas (oriented bounding boxes). Creo que hoy no necesita presentación: representa el estado del arte en detección de objetos en tiempo real.

ViT es un modelo preentrenado de clasificación de imágenes basado en la arquitectura Vision Transformer. Se basa por completo en mecanismos de atención para procesar fragmentos (patches) de la imagen, en lugar de usar capas convolucionales. Se adapta bien a nuestra tarea, ya que existen versiones preentrenadas en conjuntos de datos a gran escala como ImageNet-21K. Esto es especialmente relevante en nuestro caso, porque permite manejar una gran cantidad de categorías visuales, como las más de 13 000 cartas únicas de Yu-Gi-Oh!.

SpellTable es una aplicación gratuita diseñada y desarrollada por Jonathan Rowny y su equipo para jugar Magic: The Gathering en papel a distancia. Permite hacer clic en una carta en la cámara de cualquier jugador para identificarla rápidamente. Tiene cierta similitud con draw, ya que puede localizar y reconocer cualquier carta de una base de datos integrada de 17 000 cartas. La idea es cercana a la de este proyecto, aunque no fue su origen.

---

🔍Descripción del método

Escribí una entrada de blog en Medium que explica el proceso principal, desde la recolección de datos hasta la predicción final. Puedes leerla aquí. Si tienes alguna pregunta, no dudes en abrir un issue.

---

💬Contacto

Puedes contactarme en Twitter @hichtala o por correo electrónico en [email protected].

---

⭐Historial de estrellas