O que é uma 'caixa preta' de IA?
Para algumas pessoas, o termo “caixa preta” lembra os dispositivos de gravação em aviões que são valiosos para análises post-mortem se o impensável acontecer. Para outros, evoca teatros pequenos e minimamente equipados. Mas a caixa preta também é um termo importante no mundo da inteligência artificial.
Caixas pretas de IA referem-se a sistemas de IA com funcionamento interno invisível para o usuário. Você pode alimentá-los com entrada e obter saída, mas não pode examinar o código do sistema ou a lógica que produziu a saída.
O aprendizado de máquina é o subconjunto dominante da inteligência artificial. É a base de sistemas de IA generativos como ChatGPT e DALL-E 2 . Existem três componentes para o aprendizado de máquina: um algoritmo ou um conjunto de algoritmos, dados de treinamento e um modelo. Um algoritmo é um conjunto de procedimentos. No aprendizado de máquina, um algoritmo aprende a identificar padrões depois de ser treinado em um grande conjunto de exemplos – os dados de treinamento. Depois que um algoritmo de aprendizado de máquina é treinado, o resultado é um modelo de aprendizado de máquina. O modelo é o que as pessoas usam.
Por exemplo, um algoritmo de aprendizado de máquina pode ser projetado para identificar padrões em imagens, e os dados de treinamento podem ser imagens de cachorros. O modelo de aprendizado de máquina resultante seria um observador de cães. Você alimentaria uma imagem como entrada e obteria como saída se e onde na imagem um conjunto de pixels representa um cachorro.
Qualquer um dos três componentes de um sistema de aprendizado de máquina pode estar oculto ou em uma caixa preta. Como costuma acontecer, o algoritmo é conhecido publicamente, o que torna menos eficaz colocá-lo em uma caixa preta. Portanto, para proteger sua propriedade intelectual, os desenvolvedores de IA geralmente colocam o modelo em uma caixa preta. Outra abordagem que os desenvolvedores de software adotam é obscurecer os dados usados para treinar o modelo – em outras palavras, colocar os dados de treinamento em uma caixa preta.
Os algoritmos de caixa preta tornam muito difícil entender como as IAs funcionam, mas a situação não é exatamente preto no branco.
O oposto de uma caixa preta às vezes é chamada de caixa de vidro . Uma caixa de vidro AI é um sistema cujos algoritmos, dados de treinamento e modelo estão disponíveis para qualquer um ver. Mas os pesquisadores às vezes caracterizam aspectos até mesmo desses como caixa preta.
Isso ocorre porque os pesquisadores não entendem completamente como funcionam os algoritmos de aprendizado de máquina, particularmente os algoritmos de aprendizado profundo . O campo da IA explicável está trabalhando para desenvolver algoritmos que, embora não sejam necessariamente caixas de vidro, possam ser melhor compreendidos pelos humanos.
Por que as caixas pretas de IA são importantes
Em muitos casos, há boas razões para desconfiar de algoritmos e modelos de aprendizado de máquina de caixa preta. Suponha que um modelo de aprendizado de máquina tenha feito um diagnóstico sobre sua saúde. Você gostaria que o modelo fosse caixa preta ou caixa de vidro? E o médico que prescreveu o seu tratamento? Talvez ela gostaria de saber como o modelo chegou a sua decisão.
E se um modelo de aprendizado de máquina que determina se você se qualifica para um empréstimo comercial de um banco o recusar? Você não gostaria de saber por quê? Se o fizesse, você poderia recorrer da decisão com mais eficácia ou mudar sua situação para aumentar suas chances de obter um empréstimo na próxima vez.
As caixas pretas também têm implicações importantes para a segurança do sistema de software. Durante anos, muitas pessoas no campo da computação pensaram que manter o software em uma caixa preta impediria que hackers o examinassem e, portanto, seria seguro. Essa suposição foi amplamente provada errada porque os hackers podem fazer engenharia reversa de software – isto é, construir um fac-símile observando de perto como um software funciona – e descobrir vulnerabilidades para explorar.
Se o software estiver em uma caixa de vidro, os testadores de software e hackers bem-intencionados podem examiná-lo e informar os criadores sobre os pontos fracos, minimizando assim os ataques cibernéticos.
Quer saber mais sobre IA, chatbots e o futuro do aprendizado de máquina? Confira nossa cobertura completa sobre inteligência artificial ou navegue em nossos guias para Os melhores geradores gratuitos de arte de IA e tudo o que sabemos sobre o ChatGPT da OpenAI .
Saurabh Bagchi , Professor de Engenharia Elétrica e de Computação, Purdue University
Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original .
