Vamos Vencer os Bots

Feb 21 2023

Quais dessas reações você já teve ao ChatGPT? Enquanto mergulho cautelosamente meus pés nesta nova tecnologia, o melhor que posso fazer é fazer perguntas - uma tonelada delas. Aqui estou documentando parcialmente meu processo de exploração.

Uma imagem surrealista criada usando DALLE-E: Retrata humanos preocupados com IA e um papagaio exibindo suas habilidades musicais, literárias e científicas em uma sala de aula. (DALL-E leva o nome de Salvador Dali e WALL-E.)

Quais dessas reações você já teve ao ChatGPT?

Agitando os braços, gritando: “AI está aqui. A IA está aqui.”
“O que significa ser humano? Qual é o sentido de qualquer coisa se as máquinas podem fazer o que eu posso fazer?”
“Vamos começar a usá-lo!”
“Evite isso. Na verdade, proibi-lo. Ou talvez controlá-lo, pelo menos.
“Eu tenho algum respeito próprio. Não estou usando!”
“É apenas mais um modismo. Vai passar.”

Enquanto mergulho cautelosamente meus pés nesta nova tecnologia, o melhor que posso fazer é fazer perguntas - uma tonelada delas. Aqui estou documentando parcialmente meu processo de exploração. Estou aprendendo enquanto escrevo e escrevendo enquanto aprendo.

Existe um oceano de informações, idéias, pensamentos e opiniões (principalmente geradas por humanos) sobre esse tópico, e ficarei feliz se você puder me direcionar para mais perguntas ou algumas respostas.

Questão 1: Que alfabetização precisamos desenvolver para podermos utilizar bem a IA?

De acordo com Duri Long, pesquisador de IA centrada no ser humano,

“A alfabetização em IA é um conjunto de competências que permite aos indivíduos avaliar criticamente as tecnologias de IA, comunicar-se e colaborar efetivamente com a IA e usar a IA como uma ferramenta online, em casa e no local de trabalho.”

Ela divide os conhecimentos de IA em cinco perguntas de alto nível:

O que é IA?
O que a IA pode fazer?
Como funciona a IA?
Como as pessoas percebem a IA?

Aqui está o que estou estudando para desenvolver alfabetização em IA:

Para aproveitar ao máximo as tecnologias de IA, a engenharia imediata é um campo que vale a pena explorar. Na verdade, acho que o compartilhamento imediato será uma coisa em breve.

Prompt Engenharia é a arte? e a ciência de conversar com ferramentas baseadas em IA para que elas façam o que você deseja. Os prompts podem variar do básico ao avançado. E nos fará bem aprender sugestões avançadas.

Um exemplo de prompt básico é o Role Prompting, que envolve atribuir um papel à ferramenta de IA dizendo algo como 'Você é um designer de currículo'. Ou, um prompt Zero Shot Chain of Thought , onde você pede à IA para pensar passo a passo, adicionando isso no final de uma pergunta: 'Vamos pensar passo a passo', e explica seu pensamento para nós.

A engenharia imediata é um campo para o qual eu estava cego até um mês atrás. Mas evoluir manterá os humanos relevantes, então aqui está um link para um curso que estou fazendo:https://learnprompting.org/docs/intro

Captura de tela de um curso de engenharia de prompt

Para fazer uso informado da IA, é importante entender como ela funciona.

Saber como a IA funciona nos permite entender suas limitações. Por exemplo, em algumas conversas sobre IA, tenho ouvido com frequência: “IA não tem senso de veracidade” ou “é apenas uma máquina de previsão de palavras”. O ChatGPT não é inteligente e damos significado à sua saída interpretando-o. Saber apenas isso nos diz para examinar a saída com cautela. Portanto, aprender sobre o funcionamento da IA e suas limitações inerentes é fundamental.

De acordo com o Dr. Long, a IA é um vasto campo que abrange ciências cognitivas, aprendizado de máquina e robótica. Atualmente, estou pegando essa fera no final das perguntas, como: o que é Processamento de Linguagem Natural (NLP), o que são Modelos de Linguagem Grande (LLMs), como eles funcionam e sob qual rocha eu estava vivendo quando tudo isso foi desenvolvendo ao meu redor?

O artigo de Stephen Wolfram, “O que o ChatGPT está fazendo… e por que funciona?” é uma leitura abrangente que começa no básico. Eu recomendo ler este artigo com uma caneta e papel na mão para fazer anotações e desenhar diagramas esquemáticos. Numa primeira leitura, acabei por reunir algumas ideias nebulosas:https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

A consciência das preocupações éticas em torno das tecnologias de IA pode ser um passo fundamental para seu uso educado.

“Sobre os perigos dos papagaios estocásticos: os modelos de linguagem podem ser grandes demais?” é um artigo que levanta questões éticas em torno da IA, incluindo viés nos dados , equidade e impacto ambiental . Embora não seja sobre o ChatGPT (cobre até GPT-3), as preocupações levantadas são relevantes para o ChatGPT e outras ferramentas de IA.

Pergunta 2: Em que tipo de dados esses Modelos de Linguagem (LMs) estão sendo treinados e onde eles estão obtendo esses dados? Quais são os limites desses dados?

Em um nível muito básico, entendo que o ChatGPT utiliza um corpus de dados chamado WebText, que consiste em dados gerados por humanos disponíveis na Internet. Além disso, o WebText é um banco de dados estático — um instantâneo dos dados disponíveis na Internet em um determinado momento. Vale ressaltar que os dados de treinamento do ChatGPT são limitados a 2021.

Captura de tela do ChatGPT

Por exemplo, perguntei ao ChatGPT sobre o recente terremoto na Turquia e na Síria e está se referindo a outro terremoto ocorrido em 2020. A resposta genérica que segue é plausível até no cenário atual, que também nos mostra como atribuímos significado ao conteúdo.

Captura de tela do ChatGPT

Em “Sobre os perigos dos papagaios estocásticos”, os autores alertam sobre os danos dos dados estáticos em um mundo com visões sociais em mudança. Eles dizem que os últimos movimentos sociais não aparecerão na narrativa gerada por ferramentas como o ChatGPT.

Questão 3: Que tipo de viés os Modelos de Linguagem (LMs) têm? E como eles filtram o conteúdo?

A Internet não é representativa de toda a nossa sociedade. Ele sofre de desigualdade de acesso, supressão ativa de vozes por sites de mídia social, barreiras de idioma etc. Isso pode criar vieses nos conjuntos de dados usados para treinar ferramentas como o ChatGPT. E os autores do artigo, “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” confirmam que os conjuntos de dados podem potencialmente codificar vieses contra populações marginalizadas.

“Existe o perigo de que os conjuntos de dados possam super-representar pontos de vista hegemônicos e codificar vieses potencialmente prejudiciais para populações marginalizadas…”

Eles dizem que os Modelos de Linguagem não estão realizando o Entendimento da Linguagem Natural (NLU), mas estão apenas manipulando a forma linguística. Embora isso pareça inofensivo na superfície, pode ser mau, pois nós, humanos, inevitavelmente consideraremos o texto sintético significativo.

Se os dados lançarem conteúdo tendencioso sobre nós, quem sabe como vamos processá-lo – que pontos de verificação colocaremos em prática?

Pergunta 4: O conteúdo que um mecanismo de IA gera como resultado do meu prompt é legalmente meu ou pertence ao ChatGPT? O que acontece com as questões de direitos autorais em um mundo onde todos usam uma ferramenta de IA para escrever coisas?

Questão 5: Ao contrário, não deveríamos criar outro tipo de copyright pelo qual temos a opção ativa de impedir que o conteúdo que geramos seja usado por conjuntos de dados de IA? E como essas regras afetarão o campo?

Embora eu tenha colado essas perguntas no ChatGPT para ver o que ele diz, não tenho o começo de nenhuma resposta para essas perguntas. Ficarei feliz em ler mais sobre isso, então todos os recursos são bem-vindos.

Questão 6: O quê? Existe um impacto ambiental significativo na execução desses sistemas de aprendizado profundo?

Aparentemente, há um impacto ambiental da operação desses sistemas, e é significativo. Margaret Mitchell* e outros pesquisadores em seu artigo referem-se a esse fato e dizem que, embora as sociedades marginalizadas se beneficiem pouco dessa inovação, elas pagam altos custos ambientais.

Sobre os perigos dos psitacídeos estocásticos: os modelos de linguagem podem ser muito grandes?: Enquanto o ser humano médio é responsável por cerca de 5t CO2e por ano, os autores Strubell et. al. treinou um modelo Transformer (big) com busca de arquitetura neural e estimou que o procedimento de treinamento emitiu 284t de CO2e.

Pergunta 7: A que tipo de problemas de equidade essas ferramentas baseadas em IA levam?

Ferramentas como o ChatGPT já estão atrás do acesso pago. A lacuna existente devido à falta de alfabetização, acesso desigual a dispositivos de computador/Internet e alfabetização digital só será exacerbada por essas tecnologias.

Questão 8: Como as ferramentas de IA impactarão a geração e análise de dados de aprendizagem? Que tipo de impulso a pesquisa de dados qualitativos obterá?

Será interessante observar o espaço de análise de aprendizagem para ver o que emerge.

No nível pessoal, enquanto executamos MOOCs tradicionais em meu local de trabalho, codificamos dados qualitativos e categorizamos manualmente as respostas para analisar os dados. Poderíamos apenas fornecer os códigos e exemplos para ChatGPT e recuperar dados categorizados. Não consigo imaginar como essas ferramentas podem mudar processos como esses e possivelmente mudar até mesmo as perguntas que fazemos.

Questão 9: Indo para o tópico que está preocupando a maioria dos designers instrucionais, professores e universidades – como o ChatGPT impactará a educação?

Embora esta seja uma questão ampla com vastas possibilidades que requer uma análise cuidadosa, algumas questões mais restritas são:

Como o ChatGPT afetará a avaliação?
O que fazemos se os alunos “trapacearem”? Devemos usar um software de detecção de IA para impedir que os alunos o usem?
Como podemos utilizar ferramentas baseadas em IA para uma ajuda de aprendizado mais personalizada?
As ferramentas baseadas em IA evitarão a necessidade de gerar cursos do zero?
O uso de ferramentas baseadas em IA eliminará a necessidade de pensar criticamente?

A Questão de Avaliação

Tenho certeza que muitas estratégias vão surgir para lidar com as avaliações. Aqui está um que eu particularmente gostei. A Dra. Aneesha Bakharia diz que criar prompts apropriados para gerar o conteúdo certo requer conhecimento, habilidades de raciocínio e habilidades de solicitação. Portanto, pedir aos alunos que compartilhem seu histórico de prompts de IA é uma abordagem. Ela também compartilhou esta ferramenta para rastrear, salvar e compartilhar o histórico de prompts de IA:https://sharegpt.com/

Não sei quais direitos os alunos abrirão ao aceitar usar essas ferramentas relacionadas à IA. Então, como para qualquer outra ferramenta tecnológica, acho que essa será uma questão que muitos educadores explorarão quando começarem a incorporar essas tecnologias em suas salas de aula regulares.

A Questão Trapaça

Em algumas conferências, ouvi o Dr. Bakharia dar dois pontos muito interessantes sobre esta questão. Ela diz que trapacear não significa que os alunos usarão IA para escrever respostas, mas que usarão prompts pré-criados para gerar respostas. Isso é como trapacear de uma lente de IA.

Outro ponto que ela destaca é que você provavelmente não pode vencer tecnologia com tecnologia. Os professores estão falando sobre o uso de ferramentas para identificar o texto criado pela IA. Mas os alunos já estão usando ferramentas para parafrasear o texto criado por IA para vencer o software de detecção de IA. Então, essa perseguição de gato e rato não vai acabar bem.

A ideia é acreditar nos alunos, ensinar por motivação intrínseca e incorporar a tecnologia de IA no ensino.

A Questão da Personalização

Acho que as ferramentas de IA se tornarão nosso melhor guia de suporte no trabalho. A Microsoft está tentando incorporar IA no Teams. Provavelmente teremos IA no fluxo de trabalho que nos orientará e nos direcionará (embora as preocupações com segurança/privacidade/direitos autorais de dados possam ser altas no uso corporativo da tecnologia como está hoje).

Mas a questão é: a IA interromperá o aprendizado on-line o suficiente para nos afastar dos modelos tradicionais centrados no professor ou se tornará uma ajuda no modelo tradicional de ensino?

Por exemplo, ao pesquisar fóruns de discussão no espaço MOOC tradicional, vi que eles estão sendo projetados de forma que os instrutores não precisem responder ao chat que acontece nos fóruns de discussão. Os alunos interagem uns com os outros e recebem as respostas “ideais” por meio de vídeos pré-gravados, soluções pré-escritas ou na forma de feedback genérico. Em MOOCs lineares tradicionais, a IA nos permitirá estender nosso alcance?

A questão da redundância

A IA certamente ajudará no processo de design de cursos on-line – pode não tornar os designers instrucionais redundantes, mas liberará nosso tempo para fazer um design mais crítico centrado no aluno, pois a geração de conteúdo será auxiliada pela IA. Não tenho certeza, mas esse é o meu palpite, de qualquer maneira.

Aqui está um exemplo alucinante da Dra. Aneesha Bakharia, que conseguiu que o ChatGPT desempenhasse o papel de um especialista no assunto, um designer de aprendizado e um programador (usando Liascript) para gerar um curso incluindo sua navegação, uma função de pesquisa e interatividades. E essa é a saída:https://liascript.github.io/course/?https://raw.githubusercontent.com/aneesha/chatgpt_grammar_course/main/README.md

A Questão do Pensamento Crítico

Os mecanismos de busca nos proporcionaram algo sem precedentes na história da existência humana. Eles nos deram a capacidade de pesquisar fontes de dados, filtrá-las, identificar fontes que parecem confiáveis, conectar-se com colegas de campo de todo o mundo, ouvir diversos processos de pensamento e assimilar novas informações ou formar novos conhecimentos em um tema. Superficialmente, parece que as ferramentas baseadas em IA nos servirão de comida cozida e eliminarão a necessidade desse processo de exploração. Embora isso possa ser verdade até certo ponto, não acho que as ferramentas irão muito longe sem a intervenção humana. Para usarmos bem essa tecnologia, precisaremos explorar, aprender, pesquisar e depois interagir com a tecnologia.

Pesquisa aleatória, exploração e conversa com colegas – o tipo de pesquisa que leva ao que Daniel Pink chama de “colisão de ideias” é essencial para a produção criativa. Então, acho que teremos que usar ferramentas baseadas em IA de uma maneira que não nos enquadremos ativamente nos padrões de pensamento ou na estruturação de ideias que essas ferramentas vomitam. Será uma prática ativa que precisaremos continuar conscientemente .

Pergunta 10: Chat GPT e DALL-E são duas ferramentas que explorei até agora — quais são as outras ferramentas de IA disponíveis que podemos começar a explorar?

Próximos passos

As pessoas fizeram um gráfico de efeito Dunning Kruger para ChatGPT (ferramentas baseadas em IA) e acho que o percorri inadvertidamente nesta postagem.

Explorar as maneiras pelas quais o ChatGPT pode ser usado para design de aprendizagem seria a próxima coisa na minha lista de coisas. É claro que, para fazer isso, também preciso aprender habilidades de solicitação mais avançadas, que talvez documentarei em outro post.

Em suma, ainda seremos os mestres das máquinas, desde que continuemos nos aplicando e trabalhando juntos. Então, por favor, ajude-me a corrigir essas perguntas, encontrar respostas para elas e compartilhar recursos interessantes para desenvolver outras perguntas sobre o assunto. Juntos, venceremos os bots!