Twitter usa el aprendizaje automático para recortar fotos en la parte más interesante. La máquina sabe lo que quiere mirar

El atractivo del aprendizaje automático no siempre se trata de grandes características nuevas; a menudo, lo que hace mejor son pequeños retoques que mejoran sutilmente la experiencia del usuario. Así es con el uso de Twitter de las redes neuronales para recortar automáticamente las vistas previas de las imágenes en su parte más interesante.

La compañía ha estado trabajando en esta herramienta por un tiempo, pero describió sus métodos en detalle en una publicación de blog ayer . Es una lectura interesante, con el investigador de ML Lucas Theis y el líder de ML Zehan Wang explicando cómo comenzaron a usar reconocimiento facial para recortar imágenes en caras, pero descubrieron que este método no funcionaba con imágenes de paisajes, objetos y, lo más importante , gatos

Su solución fue “recortar usando saliencia” (saliencia aquí significa lo que sea más interesante en una imagen – caras o no). Para definir esto, utilizaron los datos de los estudios académicos en el seguimiento ocular, que registran qué áreas de imágenes las personas miran primero. “Estos datos se pueden usar para entrenar redes neuronales y otros algoritmos para predecir lo que la gente podría querer mirar”, escriben Theis y Wang.

Imagen: Twitter

Una vez que entrenaron una red neuronal para identificar estas áreas, necesitaron optimizarla para trabajar en tiempo real en el sitio. Afortunadamente para ellos, el recorte necesario para una vista previa de la foto es bastante amplio: solo estás reduciendo una imagen hasta quizás la tercera más interesante. No necesita apuntar en detalles. Eso significa que Twitter podría reducir y simplificar los criterios que la red neuronal estaba evaluando usando una técnica llamada “destilación del conocimiento”.

Esta nueva característica se está implementando actualmente en aplicaciones de escritorio, iOS y Android para todos los usuarios, dice la compañía. Así que la próxima vez que veas una vista previa de una foto en Twitter que te invite a hacer clic en recordar para agradecer a una red neuronal.