Software KumoScale™

- AVISO IMPORTANTE -

Obrigado pelo interesse no software KumoScale™ ("Produto "). Não há plano para aprimoramento além da Versão 3.22, pois o Produto passou para manutenção apenas, e nenhuma nova licença de avaliação ou produção será concedida. Em caso de dúvidas, entre em contato conosco .

Gerenciamento de armazenamento NVMe-oF™ desagregado para data centers

O software KumoScale™ implementa o NVMe™ over Fabrics (NVMe-oF™). Por meio do qual o produto fornece um serviço rápido de armazenamento em bloco e em rede entre o iniciador e o destino por meio de conexão de rede de alta velocidade. O software é executado em um nó de armazenamento preenchido com SSD NVMe™ e realiza a desagregação do armazenamento. O software KumoScale suporta RDMA e NVMe sobre TCP para transporte de rede e fornece um pool de armazenamento compartilhado e em cluster para permitir divisão lógica por namespace NVMe em um conjunto de SSDs. Comparando com o armazenamento conectado direto (DAS), a capacidade de gerenciamento de volume KumoScale oferece muita flexibilidade para controlar um grande pool de armazenamento que consiste em grandes SSDs individuais.

Aplicação típica e caso de uso

  • Serviço de armazenamento de alto desempenho para aplicativos nativos da nuvem
  • Serviço de armazenamento persistente para o OpenStack™ e Kubernetes ®
  • Serviço de armazenamento em bloco de alta velocidade para aplicações HPC e outras aplicações científicas.
  • Armazenamento de back-end para aplicativos de AI/ML/DL

O software KumoScale™ deve funcionar com o software iniciador NVMe-oF™ de modo geral disponível, bem como SSDs NVMe baseados em padrão. Driver de software proprietário ou hardware não são necessários.

Função

Melhore a utilização de armazenamento e melhor flexibilidade para gerenciar SSD NVMe™ rápido em pool.

A capacidade e o desempenho do mais recente SSD NVMe PCIe® Gen 4 são maiores do que o do PCIe Gen 3 e são muito mais do que um único nó de computação pode consumir. Compartilhar SSDs em diferentes aplicativos de usuário e servidores/VMs é uma necessidade urgente. Até que o NVMe-oF™ seja introduzido e amplamente difundido, o armazenamento em rede tem sido lento ou caro, ou ambos. Isso não é mais verdade com NVMe-oF™. O software da KumoScale . aumenta a utilização do armazenamento compartilhando SSD, dividindo SSD compartilhado pelo espaço de nome NVMe e adiciona mais flexibilidade para provisionar a quantidade certa de capacidade do pool através do software com o desempenho do SSD NVMe™.

Suporta os protocolos RDMA e NVMe sobre TCP

O software KumoScale suporta protocolo de transporte RDMA e TCP. Se você procura um serviço de armazenamento mais rápido e de baixa latência pelo software KumoScale, o RoCEv2 (RDMA sobre Ethenet convergente) deve ser adequado. Por outro lado, se você preferir compatibilidade de rede em uma rede de data center existente, o TCP/IP pode ser usado para o software KumoScale. Para a placa de rede validada com o software KumoScale mais recente, consulte HCL (Lista de compatibilidade de hardware).

Adaptação da arquitetura de provisionamento e telemetria do cliente

  • Para o OpenStack ® , o software KumoScale™ fornece driver OpenStack Cynder ® compatível com a versão Wallaby e além.
  • Para o Kubernetes®, os aplicativos em contêiner são conectados ao nó de armazenamento KumoScale™ pelo driver da interface de armazenamento de contêiner (CSI) KumoScale.
  • Para ambientes baremetal, os playbooks do Ansible™ ou outras ferramentas de automação populares podem ser usados para automação de implantação e provisionamento de armazenamento para nós de computação.
  • Para a integração de telemetria, o software KumoScale™ fornece interface para permitir a troca de dados push/pull para a infraestrutura de telemetria existente (métricas de séries temporais) e registro de eventos assíncronos (logging)

Proteção de dados e alta disponibilidade

{ut}Proteção de dados - Replicação de dados entre domínios (CDDR)-
O software KumoScale™ fornece proteção de dados por meio de uma técnica chamada Replicação de dados entre domínios (Cross Domain Data Replication - CDDR).  O CDDR cria várias réplicas de um volume lógico sobre SSDs agrupados e as mapeia para nós de armazenamento localizados em diferentes domínios de falha. A replicação é baseada no iniciador e a réplica pode ser colocada no 2o ou 3o nó de armazenamento KumoScale™. Para replicação, o agente KumoScale é executado no iniciador para verificar a disponibilidade de volume. Quando o agente  detecta a falha de volume, independentemente dos motivos, o volume é automaticamente reconectado ao volume replicado em um nó de armazenamento diferente. Depois que o volume resiliente volta da falha, todos os dados são reconstruídos para um novo volume resiliente automaticamente.

Garantir alta disponibilidade
O nó de armazenamento do KumoScale™ suporta L3 BGP (Border Gate Protocol) para que o caminho de rede seja automaticamente redirecionado para o caminho de rede disponível com base na tabela de roteamento ideal predefinida quando houver problema de conexão de rede.

Destaque da V3.22

Migração de volume:
A migração de volume aprimorada permite que um administrador migre um volume entre nós de armazenamento sem interrupção para manutenção e utilização. Os volumes permanecem on-line e continuam a servir E/S durante o processo de mover os dados para seu novo local. A operação é completamente transparente para os aplicativos usando o volume, aumentando a resiliência do cluster de armazenamento. 

CLI v2 do Gerenciador de clusters:
Uma CLI aprimorada do Gerenciador de clusters estende a CLI v1 3.21 para adicionar recursos de automação do ciclo de vida orientados pelo operador disponíveis no plano de controle KumoScale™. A CLI do Gerenciador de clusters 3.22 agora oferece aos administradores acesso total às funções de gerenciamento de serviços de cluster e provisionamento de armazenamento por meio de uma CLI única e intuitiva.

Classe de volume flexível:
Uma nova classe de volume flexível permite que os provedores de infraestrutura de data center iniciem seus inquilinos com um volume não replicado e, mais tarde, os vendam para um volume replicado resiliente. Ele permite que os provedores de infraestrutura de data center implantem seus inquilinos rapidamente e adicionem resiliência apropriada em uma fase posterior.

A versão 3.22 do software KumoScale™. inclui também uma documentação técnica on-line aprimorada, refatoração do Ansible ® para facilitar a adaptação do script do administrador de armazenamento e endereço VIP do cluster modificável.

Migração de volume:
A migração de volume aprimorada permite que um administrador migre um volume entre nós de armazenamento sem interrupção para manutenção e utilização. Os volumes permanecem on-line e continuam a servir E/S durante o processo de mover os dados para seu novo local. A operação é completamente transparente para os aplicativos usando o volume, aumentando a resiliência do cluster de armazenamento. 

CLI v2 do Gerenciador de clusters:
Uma CLI aprimorada do Gerenciador de clusters estende a CLI v1 3.21 para adicionar recursos de automação do ciclo de vida orientados pelo operador, disponíveis no plano de controle KumoScale™. A CLI do Gerenciador de clusters 3.22 agora oferece aos administradores acesso total às funções de gerenciamento de serviços de cluster e provisionamento de armazenamento por meio de uma CLI única e intuitiva.

Classe de volume flexível:
Uma nova classe de volume flexível permite que os provedores de infraestrutura de data center iniciem seus inquilinos com um volume não replicado e, mais tarde, os vendam para um volume replicado resiliente. Ele permite que os provedores de infraestrutura de data center implantem seus inquilinos rapidamente e adicionem resiliência apropriada em uma fase posterior.

A versão 3.22 do software KumoScale™. inclui também uma documentação técnica on-line aprimorada, refatoração do Ansible® para facilitar a adaptação do script do administrador de armazenamento e endereço VIP do cluster modificável.

Arquitetura

Arquitetura do sistema de data center

Arquitetura do KumoScale™. Arquitetura do KumoScale™.

Funções (Módulos)

1. Nó de armazenamento KumoScale™.
Servidor de armazenamento que executa o software KumoScale™.

2. Caminho de dados
Caminho de dados de rede para conectar entre o aplicativo do servidor e o armazenamento via NVMe-oF

3. Caminho de controle
Caminho de controle de rede para gerenciar serviços de dados internos fornecidos pela KumoScale.

4. Serviço de Provisionamento
Obtenha a capacidade de armazenamento adequada e provisione a QoS preferencial do nó de armazenamento por parâmetros predefinidos.

5. Driver CSI
Unidade de interface de armazenamento de contêiner para KumoScale. Estritamente acoplado ao driver CSI.

6. Banco de dados de telemetria
Banco de dados para armazenar diversas informações estatísticas no servidor e no nó de armazenamento KumoScale.

Requisitos da plataforma

O software KumoScale™ foi testado em implantações bare metal, OpenStack e Kubernetes® em uma ampla variedade de servidores padrão do setor. Pode ser usado qualquer iniciador compatível com NVMe-oF™ incluindo Linux ® kernel versão 4.8 ou posterior. A plataforma suportada é mostrada abaixo.

Componentes

Requisito mínimo

Memória

DDR4 64GB

Disco do sistema

2 x 128 GB SATA DOM

NIC

  • Placa de interface de rede MCX516A-CCAT ou MCX545A-CCAN ConnectX®}-5 EN, porta QSFP28 de 100GbE dupla/única, PCIe®3.0 x16 ROHS R6
  • Placa de interface de rede MCX416A-CCAT ConnectX ® -4 EN, porta QSFP28 de 100GbE dupla/única, PCIe ® 3.0 x16 ROHS R6
  • Intel® 810
  • Placa de interface de rede MCX516A-CCAT ou MCX545A-CCAN ConnectX®-5 EN, porta QSFP28 de 100GbE dupla/única, PCIe® 3.0 x16 ROHS R6
  • Placa de interface de rede MCX416A-CCAT ConnectX ® -4 EN, porta QSFP28 de 100GbE dupla/única, PCIe ® 3.0 x16 ROHS R6
  •  Intel® 810

Fonte de alimentação

Fonte de alimentação dupla, hot swap

Interface de gerenciamento

Uma porta de gerenciamento dedicada é opcional. O KumoScale™ pode usar a porta de dados para o tráfego de gerenciamento ou pode utilizar uma porta de gerenciamento dedicada.

KumoScale™ Provisioner

O KumoScale™. O Provisioner não requer servidores adicionais nem um contêiner.

Manual do usuário V3.22

O Manual do Usuário do KumoScale V3.22 inclui:

  • Lista de compatibilidade de hardware (HCL)
  • Qual modo de implementação KumoScale devo usar?
  • Notas da versão
  • Guia de instalação para o modo de dispositivo
  • Guia de instalação para o modo gerenciado com Kubernetes
  • Patch de host NVMe™.
  • Guia do usuário
  • CLI do Gerenciador de clusters
  • Guia do driver de CSI do Kubernetes™.
  • Guia do usuário do Openstack™.
  • Guia da API REST do provisionador
  • Coleção de métricas KumoScale™
  • Guia do painel Grafana™.
  • Guia do usuário do Ansible™.

Documentos

Este documento descreve a visão geral, o recurso e a vantagem do software KumoScale™, bem como casos de uso típicos e informações ambientais para implantação.

Este documento discute a arquitetura e a implantação da replicação de dados entre domínios que fornece proteção de dados para o KumoScale. O KumoScale CDDR implementa proteção e mecanismo automático de autorrecuperação quando há um problema no sistema.

Este documento discute a vantagem de desempenho do software KumoScale™ sendo executado como alvo  NVMe-oF™ em comparação com o Ceph, que oferece funcionalidade de sistemas de armazenamento semelhante em escala de data center.

Este documento discute o resultado do teste de desempenho com KumoScale™ sendo executado como alvo{ut} NVMe-oF™ com transporte RDMA na plataforma de servidor PCIe® Gen 4 e SSD CM6. O resultado do desempenho inclui desempenho de SSD único, bem como escalabilidade, aumentando o número de SSDs.

A KIOXIA está desenvolvendo ainda mais algoritmos de confiabilidade mais precisos, além da tecnologia ECC existente para dispositivos de memória NAND. Este documento discute o caso de uso interno da KIOXIA para o KumoScale™ Softwware que executa armazenamento em bloco rápido para aprendizado de máquina e processamento de aprendizado profundo para essa finalidade.

O armazenamento rápido em bloco é cada vez mais importante para o processamento de IA/ML. Este documento discute o resultado dos testes da combinação com o armazenamento NVIDIA GPUDirect e o armazenamento NVMe™ do software KumoScale™ e como essa combinação reduz o tempo de processamento para todo o fluxo de trabalho.

Consultas

Entre em contato conosco a partir do formulário de consulta.

  • Por favor, concorde com as Considerações Importantes antes de Fazer uma Consulta e selecione KumoScale em "Produtos" no formulário de consulta para entrar em contato conosco.
  • As informações contidas, como preço, especificação, serviços e contato, são a partir da data do anúncio.
  • : adição de latência de 15us a 4KB de leitura em comparação com DAS. Medido pela KIOXIA em junho de 2020 usando a ferramenta de medição especificada pela KIOXIA. 15us é a diferença da latência de leitura de 4KB entre a configuração de armazenamento DAS e NVMe-oF™.
  • NVMe e NVMe-oF são marcas registradas ou não registradas da NVM Express, Inc. nos Estados Unidos e em outros países.
  • PCIe é uma marca registrada da PCI-SIG.
  • Kubernetes é uma marca registrada da Linux Foundation nos Estados Unidos e/ou em outros países.
  • Ansible é uma marca registrada da Red Hat, Inc. nos Estados Unidos e em outros países.
  • Linux é uma marca registrada da Linus Torvalds nos EUA e em outros países.
  • A OpenStack Word Mark é uma marca registrada da OpenStack Foundation, nos Estados Unidos e em outros países, e é usada com a permissão da OpenStack Foundation. Não somos afiliados, endossados ou patrocinados pela OpenStack Foundation ou pela comunidade OpenStack.
  • Prometheus é uma marca registrada da The Linux Foundation.
  • Grafana e Loki são marcas comerciais ou marcas registradas da Grafana Labs, Inc.
  • Intel é uma marca comercial da Intel Corporation ou de suas subsidiárias.
  • Todos os outros nomes de empresas, produtos e serviços aqui mencionados podem ser marcas comerciais das respectivas empresas.