Software KumoScale™

Aviso importante

Gracias por su interés en el software KumoScale™ ("producto "). No hay ningún plan de mejora más allá de la Versión 3.22, ya que el Producto ha pasado solo al mantenimiento, y no se otorgarán nuevas licencias de evaluación o producción. Si tiene alguna pregunta, comuníquese con nosotros .

Gestión de almacenamiento NVMe-oF™ desagregado para centros de datos

El software de KumoScale™ implementa el NVMe™ over Fabrics (NVMe-oF). Mediante el cual el producto proporciona un servicio de almacenamiento en bloque en red rápido entre el iniciador y el objetivo a través de una conexión de red de alta velocidad. El software se ejecuta en el nodo de almacenamiento completado con SSD NVMe™ y realiza la desagregación del almacenamiento. El software KumoScale admite RDMA y NVMe sobre TCP para el transporte de red y proporciona un grupo de almacenamiento en clúster compartido para permitir la división lógica por espacio de nombre NVMe en un grupo de SSD. En comparación con el almacenamiento conectado directo (DAS), la capacidad de administración de volumen KumoScale brinda mucha flexibilidad para controlar un gran grupo de almacenamiento que consiste en grandes SSD individuales.

Aplicación y caso de uso típicos

  • Servicio de almacenamiento de alto rendimiento para aplicaciones nativas de la nube
  • Servicio de almacenamiento persistente para OpenStack™ y Kubernetes ®
  • Servicio de almacenamiento en bloque de alta velocidad para aplicaciones HPC y otras aplicaciones científicas
  • Almacenamiento backend para aplicaciones AI/ML/DL

El software de KumoScale™ debería funcionar con el software iniciador NVMe-oF™ generalmente disponible, así como con las unidades SSD NVMe basadas en estándares. No es necesario utilizar controladores de software o hardware propietarios.

Función

Mejore la utilización del almacenamiento y mejor flexibilidad para administrar SSD NVMe™ rápidos em pool

La capacidad y el rendimiento de la última unidad SSD NVMe PCIe ® Gen 4 NVMe se amplían en comparación con el de PCIe Gen 3 y son mucho más de lo que puede consumir un solo nodo de computación. Compartir SSD en diferentes aplicaciones de usuario y servidores/VM es una necesidad urgente. Hasta que se introduce y difunde ampliamente NVMe-oF™ , el almacenamiento en red ha sido lento o costoso, o ambos. Ya no es cierto con NVMe-oF™. El software de KumoScale™ aumenta la utilización del almacenamiento al compartir SSD, dividir SSD compartida por espacio de nombre NVMe y agrega más flexibilidad para aprovisionar la cantidad correcta de capacidad del grupo a través del software en el rendimiento de SSD NVMe™.

Compatible con RDMA y NVMe sobre protocolo TCP

El software KumoScale es compatible con el protocolo de transporte RDMA y TCP. Si busca un servicio de almacenamiento más rápido y de baja latencia mediante el software KumoScale, RoCEv2 (RDMA sobre Ethenet convergente) debería ser adecuado. Por otro lado, si prefiere la compatibilidad de red en la red del centro de datos existente, se puede utilizar TCP/IP para el software KumoScale. Para obtener información sobre la tarjeta de red validada con el software KumoScale más reciente, consulte la Lista de compatibilidad de hardware (HCL).

Adaptación de la arquitectura de aprovisionamiento y telemetría del cliente

  • Para OpenStack®, el software KumoScale™ de proporciona un controlador OpenStack Cynder® compatible con la versión de Wallaby y posteriores.
  • Para Kubernetes ® , las aplicaciones en contenedores se conectan al nodo de almacenamiento KumoScale mediante un controlador de interfaz de almacenamiento de contenedores (Container Storage Interface, CSI) de KumoScale.
  • Para el entorno baremetal, se pueden utilizar manuales de estrategias de Ansible™ u otras herramientas de automatización populares para la automatización de la implementación y el aprovisionamiento de almacenamiento para los nodos de cómputo.
  • Para la integración de la telemetría, el software KumoScale™ ofrece una interfaz para habilitar el intercambio de datos push/pull para la telemetría existente (métricas de series temporales) y la infraestructura de registro (eventos asíncronos).

Protección de datos y alta disponibilidad

Protección de datos -Replicación de datos de dominio cruzado (CDDR)-
El software de KumoScale™ ofrece protección de datos a través de una técnica llamada replicación de datos de dominio cruzado (CDDR).  CDDR crea múltiples réplicas de un volumen lógico sobre las SSD agrupadas y las asigna a nodos de almacenamiento ubicados en diferentes dominios de falla. La replicación se basa en el iniciador y la replica se puede colocar en el segundo o tercer nodo de almacenamiento KumoScale™. Para la replicación, el agente KumoScale se ejecuta en el iniciador para verificar la disponibilidad del volumen. Una vez que el agente  detecta la falla del volumen, cualquiera sea el motivo, el volumen se vuelve a conectar automáticamente al volumen replicado en un nodo de almacenamiento diferente. Después de que el volumen resiliente regresa de la falla, todos los datos se reconstruyen automáticamente a un nuevo volumen resiliente.

Asegurar alta disponibilidad
El nodo de almacenamiento KumoScale™ es compatible con L3 BGP (Protocolo de puerta fronteriza) para que la ruta de red se redirija automáticamente a la ruta de red disponible en función de la tabla de enrutamiento óptima predefinida cuando hay un problema de conexión de red.

Aspectos destacados de V3.22

Migración de volumen:
La migración de volumen mejorada permite que un administrador migre un volumen a través de nodos de almacenamiento sin interrupciones para el mantenimiento y la utilización. Los volúmenes permanecen en línea y continúan sirviendo E/S durante el proceso de mover los datos a su nueva ubicación. La operación es completamente transparente para las aplicaciones que utilizan el volumen, mejorando la resiliencia del clúster de almacenamiento. 

CLI v2 de Cluster Manager:
Una CLI mejorada de Cluster Manager extiende la CLI v1 3.21 para agregar capacidades de automatización del ciclo de vida impulsadas por el operador disponibles en el plano de KumoScale™. La CLI 3.22 Cluster Manager ahora les brinda a los administradores acceso completo a las funciones de administración de servicios de clúster y aprovisionamiento de almacenamiento a través de una sola CLI intuitiva.

Clase de volumen flexible:
Una nueva clase de volumen flexible permite a los proveedores de infraestructura de centros de datos iniciar sus inquilinos con un volumen no replicado y luego venderlos a un volumen replicado resiliente. Permite que los proveedores de infraestructura de centros de datos implementen a sus inquilinos rápidamente y agreguen la resiliencia adecuada en una fase posterior.

La versión 3.22 del software de KumoScale™, también incluye una documentación técnica en línea mejorada, la refactorización de Ansible ® para facilitar la adaptación del script del administrador de almacenamiento y la dirección VIP del clúster modificable.

Migración de volumen:
La migración de volumen mejorada permite que un administrador migre un volumen a través de nodos de almacenamiento sin interrupciones para el mantenimiento y la utilización. Los volúmenes permanecen en línea y continúan sirviendo E/S durante el proceso de mover los datos a su nueva ubicación. La operación es completamente transparente para las aplicaciones que utilizan el volumen, mejorando la resiliencia del clúster de almacenamiento. 

CLI v2 de Cluster Manager:
Una CLI mejorada de Cluster Manager extiende la CLI v1 3.21 para agregar capacidades de automatización del ciclo de vida impulsadas por el operador disponibles en el plano de de KumoScale™. La CLI 3.22 de Cluster Manager ahora les brinda a los administradores acceso completo a las funciones de administración de servicios de clúster y aprovisionamiento de almacenamiento a través de una sola CLI intuitiva.

Clase de volumen flexible:
Una nueva clase de volumen flexible permite a los proveedores de infraestructura de centros de datos iniciar sus inquilinos con un volumen no replicado y luego venderlos a un volumen replicado resiliente. Permite que los proveedores de infraestructura de centros de datos implementen a sus inquilinos rápidamente y agreguen la resiliencia adecuada en una fase posterior.

La versión 3.22 del software de KumoScale™, también incluye una documentación técnica en línea mejorada, la refactorización de Ansible® para facilitar la adaptación del script del administrador de almacenamiento y la dirección VIP del clúster modificable.

Arquitectura

Arquitectura del sistema del centro de datos

Arquitectura KumoScale™ Arquitectura KumoScale™

Funciones (módulos)

1. Nodo de almacenamiento KumoScale™
Servidor de almacenamiento que ejecuta el software KumoScale™

2. Ruta de datos
Ruta de datos de red para conectarse entre la aplicación del servidor y el almacenamiento a través de NVMe-oF

3. Ruta de control
Ruta de control de red para administrar los servicios de datos internos proporcionados por KumoScale.

4. Servicio de aprovisionamiento
Determinar la capacidad de almacenamiento adecuada y proporcionar la calidad de servicio (QoS) preferida del nodo de almacenamiento mediante parámetros predefinidos.

5. Controlador CSI
Unidad de interfaz de almacenamiento de contenedores para KumoScale. Estrechamente acoplado con el controlador CSI.

6. Base de datos de telemetría
Base de datos para almacenar una variedad de información estadística en el servidor y en el nodo de almacenamiento KumoScale.

Requisitos de la plataforma

El software KumoScale se ha probado en implementaciones de metal descubierto, OpenStack y Kubernetes ® en una amplia gama de servidores estándar de la industria. Se puede utilizar cualquier iniciador que cumpla con NVMe-oF-, incluida la versión 4.8 o posterior del núcleo Linux ®. La plataforma compatible se muestra a continuación.

Componentes

Requisito mínimo

Memoria

DDR4 64GB

Disco del sistema

2 x SATA DOM de 128 GB

NIC

  • Tarjeta de interfaz de red MCX516A-CCAT  o MCX545A-CCAN ConnectX®-5 EN, puerto dual/único QSFP28 de 100GbE, PCIe® 3,0 x16 ROHS R6
  • Tarjeta de interfaz de red MCX416A-CCAT ConnectX®-4 EN, puerto doble/único QSFP28 de 100GbE, PCIe® 3,0 x 16 ROHS R6
  • Intel ® 810
  • Tarjeta de interfaz de red MCX516A-CCAT  o MCX545A-CCAN ConnectX®-5 EN, puerto dual/único QSFP28 de 100GbE, PCIe® 3,0 x16 ROHS R6
  • Tarjeta de interfaz de red MCX416A-CCAT ConnectX®-4 EN, puerto doble/único QSFP28 de 100GbE, PCIe® 3,0 x 16 ROHS R6
  •  Intel ® 810

Fuente de alimentación

Fuente de alimentación doble, intercambiable en caliente

Interfaz de gestión

Un puerto de gestión dedicado es opcional. KumoScale™ puede utilizar el puerto de datos para el tráfico de gestión, o puede utilizar un puerto de gestión dedicado.

Aprovisionador de KumoScale™

El aprovisionador de KumoScale™ no requiere servidores adicionales ni contenedores.

Manual del usuario V3.22

El Manual del usuario de KumoScale V3.22 incluye:

  • Lista de compatibilidad de hardware (HCL)
  • ¿Qué modo de implementación de KumoScale debo usar?
  • Notas de la versión
  • Guía de instalación para el modo de dispositivo
  • Guía de instalación para modo administrado con Kubernetes
  • Parche de host NVMe™
  • Guía del usuario
  • CLI del Cluster Manager
  • Guía del controlador CSI de Kubernetes™
  • Guía del usuario de Openstack™
  • Guía de API REST del aprovisionador
  • Colección de métricas KumoScale
  • Guía del panel de control de Grafana™
  • Guía del usuario de Ansible™

Documentos

Este documento describe la descripción general, las características y las ventajas del software KumoScale™, así como el caso de uso típico y la información ambiental para la implementación.

Este documento analiza la arquitectura y la implementación de la replicación de datos de dominio cruzado que proporciona protección de datos para KumoScale. KumoScale CDDR implementa un mecanismo de proteccióin y autorreparación automática cuando hay un problema en el sistema.

Este documento analiza la ventaja de rendimiento del software KumoScale™ que se ejecuta como objetivo  NVMe-oF™ en comparación con Ceph, que proporciona una funcionalidad de sistemas de almacenamiento similar en la escala del centro de datos.

Este documento analiza el resultado de las pruebas de rendimiento con KumoScale™ que se ejecuta como objetivo NVMe-oF™ con transporte RDMA en la plataforma de servidor PCIe® Gen 4 y SSD CM6. El resultado del rendimiento incluye el rendimiento de una sola SSD, así como la escalabilidad al aumentar la cantidad de SSD.

KIOXIA está desarrollando algoritmos de confiabilidad más precisos, además de la tecnología ECC existente para dispositivos de memoria NAND. Este documento analiza el caso de uso interno de KIOXIA del software KumoScale™, que ejecuta un almacenamiento de bloque rápido para el aprendizaje automático y el procesamiento de aprendizaje profundo para este propósito.

El almacenamiento rápido en bloque es cada vez más importante para el procesamiento de IA/ML. Este documento analiza el resultado de las pruebas de la combinación con el almacenamiento NVIDIA GPUDirect y el almacenamiento NVMe™ del software KumoScale™ y cómo esta combinación reduce el tiempo de procesamiento para todo el flujo de trabajo.

Consultas

Comuníquese con nosotros desde el formulario de consulta.

  • Acepte las Consideraciones importantes antes de realizar una consulta y seleccione KumoScale en "Productos" en el formulario de consulta para comunicarse con nosotros.
  • La información contenida, como el precio, la especificación, los servicios y el contacto, es a partir de la fecha de anuncio.
  • : adición de latencia de 15us a lectura de 4KB en comparación con DAS. Medido por KIOXIA en junio de 2020 utilizando la herramienta de medición especificada por KIOXIA. 15us es la diferencia de latencia de lectura de 4KB entre la configuración de almacenamiento DAS y NVMe-oF™ en el mismo hardware.
  • NVMe y NVMe-oF son marcas registradas o no registradas de NVM Express, Inc. en los Estados Unidos y otros países.
  • PCIe es una marca comercial registrada de PCI-SIG.
  • Kubernetes es una marca comercial registrada de The Linux Foundation en los Estados Unidos y/u otros países.
  • Ansible es una marca comercial registrada de Red Hat, Inc. en los Estados Unidos y otros países.
  • Linux es una marca comercial registrada de Linus Torvalds en los EE. UU. y otros países.
  • OpenStack Word Mark es una marca comercial registrada de OpenStack Foundation, en los Estados Unidos y otros países, y se utiliza con el permiso de OpenStack Foundation. No estamos afiliados, avalados ni patrocinados por OpenStack Foundation ni la comunidad de OpenStack.
  • Prometheus es una marca comercial registrada de The Linux Foundation.
  • Grafana y Loki son marcas comerciales o marcas comerciales registradas de Grafana Labs, Inc.
  • Intel es una marca comercial de Intel Corporation o sus subsidiarias.
  • Todos los demás nombres de empresas, de productos y de servicios que se mencionan en este documento pueden ser marcas comerciales de sus empresas respectivas.