A indústria de computação de alto desempenho nunca pareceu mais forte do que em 2023. Estamos vendo desafios tecnológicos em todas as direções, à medida que as demandas em nossos sistemas se tornam cada vez maiores e mais diversificadas. Vamos dar uma olhada no que podemos esperar para ver nos próximos 12 meses.

Exascale em 2023

A máquina Aurora no Argonne National Laboratory e seu sistema de teste, Polaris, mostram que a exascale está realmente aqui. Polaris já está no ar e Aurora pretende entregar 2 exaflopsde recursos de computação em 2023, uma conquista humana verdadeiramente incrível, visto que o nascimento da computação moderna ainda está apenas na memória viva. Na Altair, trabalhamos nesse sentido há muitos anos, garantindo que nossos gerenciadores de carga de trabalho possam lidar com sistemas dessa escala e colaborando com grandes clientes industriais, como Saudi Aramco e Johnson & Johnson, bem como organizações públicas, o que é por que a Argonne escolheu o Altair PBS Professional em vez de seu próprio gerenciador de carga de trabalho interno. Quando tanto foi gasto em computação exascale, é mais importante do que nunca garantir alta utilização, que só pode ser alcançada por meio de programação eficiente, políticas flexíveis e suporte comercial para um produto estável .

Administradores de HPC esperam mais

À medida que os sistemas continuam a crescer, os clientes exigem mais do ecossistema de ferramentas que torna prático administrar grandes sistemas de HPC. Sistemas para estouro de nuvem , orçamento e monitoramento de sistema , bem como ferramentas para solução de problemas de aplicativos , agora fazem parte do lustre de equipamento necessário para ser eficiente e oferecer a melhor experiência aos usuários de HPC. Afinal, não é possível tomar decisões sobre o sistema sem uma boa visibilidade das obras e da infraestrutura.

Cargas de trabalho de Machine Learning e Deep Learning

Conversamos muito sobre aprendizado de máquina à medida que a HPC muda e adota esse campo emergente. Digo emergente porque ainda estamos entendendo o que a tecnologia pode ou não fazer e o impacto que ela pode ter.

Até agora, a IA tem sido principalmente uma mistura de aprendizado de máquina supervisionado e análise de dados. O aprendizado profundo é diferente porque os computadores podem aprender sem supervisão. À medida que o aprendizado profundo se torna mais prevalente, veremos uma mudança adicional nas cargas de trabalho.

Inicialmente, muitas cargas de trabalho de ML eram executadas no Kubernetes ou em outras estruturas de orquestração de contêineres. Alguns anos atrás, não havia muito suporte para contêineres em HPC e muitas organizações permitiam que os cientistas de dados operassem seus próprios sistemas, pois suas necessidades de computação eram pequenas. À medida que as cargas de trabalho de ML foram dimensionadas, ficou claro que a maioria dos sistemas de orquestração de contêineres dedicados são projetados para microsserviços, não para cargas de trabalho de máquina com uso intensivo de computação. Agora que o suporte abrangente a contêineres foi integrado aos gerenciadores de carga de trabalho HPC comerciais , como PBS Professional e Altair Grid Engine, está se tornando prático para as organizações agrupar sua computação e aproveitar a programação em lote, estouro de nuvem e compartilhamento justo, que há muito tempo são os principais aspectos da HPC eficiente.

A nuvem híbrida continuará a se tornar a norma

Na verdade, muitas vezes são as cargas de trabalho de ML que estão levando muitas organizações a configurar ambientes de nuvem híbrida para aumentar seu HPC existente. As cargas de trabalho de ML geralmente são altamente paralelas e de curta duração com um prazo quando o resultado se torna menos valioso. É exatamente aqui que o cloud bursting oferece mais valor. Há alguns anos, a nuvem híbrida significava muitos scripts e experiência interna significativa, mas agora existem ferramentas abrangentes que facilitam a configuração de orçamentos e automações que estendem seu ambiente de HPC para a nuvem sem ter que codificar tudo sozinho.

IoT e cargas de trabalho de dados de streaming

É tentador pensar na IoT como uma chaleira realmente irritante que pensa que pode fazer chá para você antes que você saiba que quer um pouco. Algo como a torradeira em Red Dwarf , para aqueles de vocês com idade e britânicos o suficiente para se lembrar disso.

No entanto, a IoT também abrange nossas cidades, sistemas de transporte e fábricas cada vez mais inteligentes, onde o gêmeo digital está abrindo caminho para um futuro mais sustentável, usando menos energia e fazendo com que as máquinas durem mais. Na Altair, estamos na convergência de simulação, aprendizado de máquina e HPC, com gêmeos digitais abrangendo todas essas áreas.

Fluxos de trabalho, não trabalhos, no agendamento multidimensional

As cargas de trabalho de streaming também incluem muitos aplicativos de ciências biológicas , bem como o acelerador de partículas ocasional, como o Diamond Light Source . Esses grandes aplicativos de HPC e big data estão alimentando grande parte da mudança de trabalhos para fluxos de trabalho e, como resultado, estamos vendo uma explosão nas ferramentas de fluxo de trabalho , com fluxos de trabalho geralmente tendo muitos estágios, cada um com seus próprios dados e requisitos de aceleração. É minha opinião que essa transformação em agendamento multidimensional será o maior impulsionador da mudança na HPC à medida que avançamos para modernizar o setor e nos adaptarmos a esses aplicativos mais exóticos e conectados.