Meta sigue avanzando en la carrera por ganar la IA: ya tiene su editor de vídeos, SAM 2
El nuevo modelo de Meta, que evoluciona al de 2023, permite detectar y rastrear cualquier elemento en una foto o un vídeo.
Meta ha anunciado en su blog corporativo el lanzamiento de SAM (Segment Anything Modell 2 la nueva versión de su modelo de IA para identificar y segmentar elementos en imágenes y vídeos.
Esta herramienta mejora la que ya tenía Meta hace un año, SAM, para transformar la forma en la que interactuamos con fotos y vídeos antes de subirlos a WhatsApp o Instagram.
El contexto
- SAM ya se venía usando en funciones de Instagram como Backdrop y Cutouts.
- La nueva versión identifica y sigue objetos en vídeo en tiempo real, de forma mucho más simple y rápida que antes.
- Meta ha liberado SAM 2 bajo una licencia de código abierto, permitiendo que desarrolladores y empresas lo usen para crear sus propias aplicaciones.
Cómo funciona
- Identificación precisa. SAM 2 puede reconocer cualquier objeto en una foto o vídeo con un solo clic o pulsación del usuario.
- Seguimiento en tiempo real. Cuando ha identificado el objeto, el modelo lo sigue por todo el vídeo, incluso si desaparece temporalmente de la escena.
- Adaptabilidad. Funciona con objetos y escenas aunque nunca antes los haya visto (en sus datos de entrenamiento). Esto lo hace muy versátil.
- Interactividad. Permite al usuario refinar los resultados con indicaciones adicionales, aumentando el nivel de control.
Aquí puedes ver a SAM 2 en acción. Mención para la selección de la bicicleta, que se adapta aunque esté parcialmente tapada por quien la lleva.
Aplicaciones potenciales. Hay varios casos de uso que Meta ha tenido en mente a la hora de lanzar este modelo:
- Edición de vídeo, simplificando la eliminación de fondos o la adición de efectos especiales a objetos concretos.
- Medicina, ayudando a analizar imágenes médicas o vídeos de cirugías.
- Investigación marina, de hecho ya se está usando SAM para analizar imágenesss de sonar de arrecifes de coral.
- Seguridad al mejorar los sistemas de vigilancia y la detección de amenazas.
- Realidad mixta, potenciando experiencias interactivas como las que ofrecen las Quest3.
En resumen. SAM 2 supone un salto importante en la visión computacional. Promete la democratización de tareas complejas de edición de vídeo y de análisis visual. Y por su naturaleza de código abierto es de esperar que pronto veamos un aluvión de aplicaciones creativas basadas en esta tecnología.
