Xtreme1 es la primera plataforma de código abierto del mundo para datos de entrenamiento multisensorial. Después de convertirnos en código abierto, muchos ingenieros nos han elogiado y nos hemos inspirado para compartir el conocimiento sobre cómo contribuir a nuestro proyecto. Por favor, ayúdenos "protagonizando" nuestro repositorio de GitHub:

https://github.com/basicai/xtreme1

Esta guía es la parte 4 de nuestra serie de tutoriales Xtreme1. Si aún no lo has hecho, mira nuestra primera parte aquí:

Instalación de Xtreme1 usando Docker: una guía para principiantes

En esta guía, aprenderemos paso a paso cómo cargar datos multimodales en Xtreme1. Puede encontrar nuestra guía de video de 3 minutos aquí:

Estén atentos a nuestros futuros lanzamientos que cubren las últimas características.

Introducción

Nuestra experiencia del mundo es multimodal: vemos objetos, escuchamos sonidos, sentimos texturas, olemos olores y saboreamos sabores. La modalidad es la forma en que algo se experimenta o se expresa, y cuando un tema contiene más de una de esas modalidades, se describe como multimodal.

La plataforma Xtreme1 admite la anotación, el control y la mejora de datos multimodales para el entrenamiento de modelos relevantes. Esta guía le enseñará cómo cargar sus datos.

Subir datos de imagen

Vaya a la página Conjunto de datos, haga clic en Crear nuevo y seleccione Categoría de imagen.

Los formatos de imagen comunes como PNG y JPG están disponibles para cargar.

También se admite la carga de archivos zip.

Subir datos de nube de puntos 3D

Se admiten archivos de nube de puntos en formato PCD que contienen datos ASCII y binarios.

El proceso de carga es similar a la carga de imágenes.

Cargue en Xtreme1 arrastrando y soltando el archivo zip que contiene su archivo PCD.

Una vez que tenga éxito, puede obtener una vista previa de los datos de su nube de puntos.

Cargue datos de fusión 2D y 3D

Los datos de fusión 2D y 3D deben colocarse en las carpetas correspondientes:

Los datos de la nube de puntos deben colocarse en la carpeta "point_cloud".

Las imágenes se colocan en img0, img1, etc.

Aquí hay dos imágenes que explican nuestro formato de archivo de datos de fusión:

Si desea utilizar datos de fusión 2D y 3D, también debe cargar el archivo de parámetros de la cámara en la carpeta camera_config.

Finalmente, cargue el archivo zip comprimido en Xtreme1.

Obtenga una vista previa de los datos y asegúrese de que las funciones de fusión de datos funcionen según lo previsto.

Subiendo a través de URL

Todos los datos también se pueden cargar directamente a través de enlaces externos.

En la ventana de carga, pegue la dirección del enlace, asegurándose de que el enlace termine en .zip. Esto cargará datos directamente a Xtreme1.

Planes futuros

En versiones futuras, admitiremos operaciones de carga de datos en la interfaz de línea de comandos.

También haremos públicos conjuntos de datos comunes a los que se puede acceder con un solo clic.

Ejemplos de conjuntos de datos:

Comuníquese con Xtreme1 en Slack para responder cualquier pregunta:

Por favor, ayúdenos "protagonizando" nuestro repositorio de GitHub:

https://github.com/basicai/xtreme1