Minha pequena lista de perguntas que usei o ChatGPT3 para responder

O trabalho científico, seja no banco, na tela, na sala de aula ou na sala de conferências, pode se beneficiar substancialmente do ChatGPT3. Nas poucas semanas em que experimentei o ChatGPT3, fiquei surpreso e tranqüilizado por sua capacidade de responder a perguntas em meu campo para as quais eu provavelmente deveria saber as respostas (ou apenas preencher lacunas em meu entendimento). Assim como anteriormente teríamos usado o Google para encontrar uma fórmula para calcular a molaridade, agora podemos pedir ao ChatGPT3 para fazer isso e ir além : qual é a diferença entre molaridade e molalidade e como diabos você escolhe?

O bom

Neste artigo, mostro como o ChatGPT3 fará um ótimo trabalho ensinando a você como fazer várias coisas: ajustar dados usando Prism , prever a estrutura de proteínas usando Geneious , estimar poses usando DeepLabCut , simular o comportamento de uma proteína na membrana plasmática usando NAMD , diga-me os problemas resolvidos pelo software de bioinformática. Peço ao ChatGPT3 que me forneça uma lista de trabalhos em que um laboratório de física e um laboratório de biologia colaboraram e o estado da arte atual na classificação de picos (com referências). Diz-me como preparar a concentração óptima de um corante de membrana celular , líquido cefalorraquidiano artificial , e diz-me quais os melhores anticorpossão para imagens confocais do receptor de dopamina D2 e ​​onde comprá-los. Também peço que me diga o que eu precisaria para montar um laboratório de eletrofisiologia de roedores , qual seria o orçamento , quais bolsas privadas estariam disponíveis para você se estivesse estudando aprendizagem e memória e como estruturar um curso sobre o interseção de biofísica e neurociência (junto com leituras, perguntas para discussão e respostas).

Meu único conselho: sempre faça perguntas de acompanhamento. A primeira resposta nunca é a resposta completa. E torná-los tão detalhados quanto possível.

O mal

Também lhe peço para fazer algumas tarefas criativas relacionadas com a preparação de figuras, onde tem um desempenho bastante fraco.

O feio

Pedi ao ChatGPT3 para resumir certos artigos da literatura com os quais eu e meus colegas estávamos bastante familiarizados ou que trabalhamos sozinhos. Ele funciona de maneira abismal - inventa resultados e até mesmo resultados diferentes, dependendo de quando você pergunta.

Como acontece com qualquer tecnologia, haverá limitações e ressalvas, mas, por enquanto, aqui estão as melhores e piores respostas do ChatGPT3 que consegui retornar e uma breve discussão sobre para onde vamos a seguir.

Software de computação científica

Explicando como usá-lo para casos específicos

Prisma (análise geral de dados)

Geneious (bioinformática)

DeepLabCut (neurociência comportamental)

NAMD (simulações de dinâmica molecular)

Saiba mais sobre as tarefas que o software de computação científica pode realizar

Conceder escrita

Você pode perguntar sobre colaborações anteriores entre diferentes tipos de laboratórios

Escreva sobre o estado atual da arte em um campo

Você sempre pode pedir para fornecer referências

Tarefas práticas de laboratório

Informe a quantidade de reagente químico que você deve usar

Forneça a você uma receita (e discussão) de mídia celular

Informar quais anticorpos você deve usar para uma finalidade específica

Montando um laboratório

Requisitos básicos para configurar

Um orçamento detalhado para esse laboratório

Como obter financiamento

Criar materiais instrucionais

Plano de estudos para um tipo específico de seminário

Aqui está a resposta (truncada) quando pedi leituras:

E quando eu perguntei para questões de discussão:

E as respostas para essas perguntas:

Criatividade e estética

Perguntei ao ChatGPT3 como fazer figuras atraentes no MATLAB e, separadamente, no Python. As respostas se alinharam com as práticas padrão (aumento do tamanho da fonte, largura da linha, uso de cores) - mas nada excepcionalmente interessante. Não há formas criativas de animar gráficos ou destacar recursos dos dados. Existem muitos pacotes para criar figuras em Python, mas o ChatGPT3 apenas me disse como ajustar figuras com a biblioteca matplotlib padrão em vez de recomendá-los. Em uma pergunta de acompanhamento, pedi pacotes e ele sugeriu Seaborn, Plotly, Bokeh e ggplot, que é uma lista relativamente completa dos pacotes usados ​​com mais frequência.

Também perguntei ao ChatGPT3 como ser criativo usando o Inkscape, uma ferramenta padrão para criar e editar gráficos vetoriais. As respostas foram nada assombrosas, para dizer o mínimo.

Pedi que fornecesse vários exemplos de uso criativo do Inkscape. Não vou compartilhar, mas, novamente, não havia nada atraente ou bonito.

Infelizmente, ChatGPT3 também inventa coisas.

Quando perguntado sobre um pacote de código aberto

O pacote existia antes do final do período de treinamento do ChatGPT3. Ele foi totalmente carregado no GitHub e foi apresentado em um artigo da Nature Methods. No entanto, o ChatGPT3 fornece uma resposta totalmente inventada:

smCellFRET é, antes de tudo, um pacote em MATLAB - não R. Dito isso, o dano seria mínimo neste caso, pois você notaria rapidamente que nada sobre este pacote de software não pode ser usado em R.

Quando perguntado sobre literatura específica

Pedi ao ChatGPT3 para resumir a publicação da minha tese de pós-graduação.

Estava quase certo, exceto a parte destacada. Todo o trabalho no artigo foi feito em fatias completamente inanimadas de tecido cerebral. Eu adoraria descobrir que os pontos quentes de dopamina no globo pálido estavam envolvidos em diferentes aspectos do controle do movimento. Mas isso não aconteceu aqui.

Então pedi ao ChatGPT3 para resumir alguns trabalhos de meus colegas, e ele cometeu um erro ainda mais traiçoeiro.

A pesquisa nesse artigo foi realizada em roedores, não em macacos. Isso faria uma enorme diferença para qualquer pessoa em neurociência e faria você parecer muito bobo em uma reunião de laboratório ou discussão com seus colegas. Mas fica pior:

O jornal não usou optogenética. Ele usou quimiogenética, um método substancialmente diferente. Agora, um projeto que usava quimiogenética em roedores virou um projeto que usava optogenética em macacos, o que nem era possível na época da publicação. A optogenética como técnica raramente foi usada com sucesso em primatas, então pedi ao ChatGPT3 exemplos de referências onde ele acredita ter:

Os dois primeiros papéis literalmente não existem. ChatGPT3 os inventou. O segundo artigo é sobre roedores. Apenas os dois últimos trabalhos são sobre optogenética em primatas. Portanto, nunca confiaria no ChatGPT para resumir um artigo individual ou mesmo para resumir os desenvolvimentos mais recentes em um campo da ciência. O tempo que você gasta tentando coagir o ChatGPT3 a lhe dizer a verdade sobre um campo científico seria melhor gasto aprendendo a estruturar cuidadosamente as pesquisas no PubMed - algo que o ChatGPT3 pode ajudá-lo a fazer !

O que vem depois?

Inevitavelmente, algumas pessoas verão essas inovações como uma usurpação de suas habilidades ou conhecimentos e reagirão com atitude defensiva, incredulidade e hostilidade. Mas a atitude mais produtiva em relação ao uso do ChatGPT3 e da futura IA nas ciências será aprender as limitações da tecnologia e usar o ChatGPT3 para liberar seu tempo para aprimorar as habilidades necessárias para atender a essas limitações. Por exemplo, o ChatGPT3 não pode ser usado para limpar um repositório do GitHub de uma forma em que as solicitações pull sejam abordadas com frequência e de forma concisa, vinculadas a documentação atualizada e apoiadas pelo envolvimento da comunidade. Ele também não pode usar um conjunto de dados como entrada e dizer onde estão seus artefatos, como melhorar sua relação sinal-ruído ou dizer quais hipóteses podem ser testadas com base na estrutura e nas limitações dos resultados de sua análise. E claro, claramente ChatGPT3 não pode resumir um artigo científico para a vida dele. Isso pode mudar facilmente no futuro, e imagino que os executivos da Elsevier já estejam salivando com os altos custos de assinatura que podem cobrar por uma IA que supera essas falhas fatais.

No contexto do laboratório úmido, o ChatGPT3 pode acelerar as tarefas básicas do laboratório, evitar que os reagentes sejam calculados e misturados incorretamente e orientá-lo na obtenção e preparação corretas dos materiais de que você precisa. Ele pode explicar quais são as melhores práticas para realizar seus experimentos. Se você não tiver certeza sobre as respostas do ChatGPT3, peça referências. Se você ainda não tiver certeza ou se o passo que está prestes a dar for de alto risco, consulte seus colegas ou supervisor. Mesmo um ChatGPT3 perfeito não pode compensar a falta de atenção, o desvio de técnicas estéreis e assépticas, a falta de acompanhamento ou práticas colaborativas ruins (ser bagunçado, mesquinho, ganancioso, egocêntrico, etc.).

Por enquanto, a avaliação de medidas subjetivas como beleza, simplicidade ou utilidade permanece exclusivamente no reino dos humanos. Na ciência, isso significa que o ChatGPT3 não pode produzir uma figura, pôster ou apresentação de conferência altamente memorável e compreensível, uma concessão que responda exatamente à pergunta certa no momento certo para seu campo ou um pacote de software que será usado por muitos. Além disso, o ChatGPT3 não possui processamento cognitivo inerente. Se houver inconsistências na literatura, ela não irá ponderá-las, pesar a qualidade da evidência ou fazer deduções lógicas sobre como resolver inconsistências com base nas premissas que seus dados de treinamento contêm. Você pode pedir que crie uma hipótese, mas isso apenas recombinará a literatura anterior de maneiras previsíveis. Não descobrirá as soluções para questões em aberto na ciência. É muito mais próximo do preenchimento automático em seu software de processamento de texto do que de um ser senciente. Essas são as verdades que devem ser lembradas ao nos familiarizarmos com essa nova tecnologia.

Aqui está uma ideia de como você pode pensar sobre quais tarefas são apropriadas e seguras para o ChatGPT3 realizar. Você vai querer usar o ChatGPT3 com tarefas em que há uma alta concordância entre os humanos e onde o custo de errar é baixo. Existem áreas cinzentas, onde você deve ter cuidado e consultar seus colegas ou seu supervisor. Depois, há a “Zona de Perigo”, que são tarefas que você certamente deve consultar e trabalhar com outras pessoas para fazer.

O ChatGPT3 pode mudar as expectativas sobre o que o trabalho científico envolve

Por exemplo, as expectativas podem ser maiores para os trabalhadores de laboratório desenvolverem habilidades mais gerais relacionadas a aspectos de seu trabalho. Assim como um contador no passado teve que aprender a usar o Excel, também os trabalhadores da ciência podem ver uma expansão nas competências necessárias para serem percebidos como fazendo ciência. Por exemplo, os laboratórios em que os funcionários tomam a iniciativa de usar o ChatGPT3 para entender o GitHub e seus casos de uso podem desenvolver código de análise que recebe mais engajamento e até adoção. O mesmo vale para esperar que os trabalhadores de laboratório tenham alguma proficiência básica usando linguagens de computação como MATLAB ou Python. Com o potencial para um vai-e-vem ilimitado entre o usuário e o console ChatGPT3, pode haver uma expectativa maior de que os trabalhadores desenvolvam pelo menos uma familiaridade rudimentar dessas áreas.

Uma última pergunta, sobre a qual todos devemos pensar como trabalhadores da ciência, é como o aprendizado por meio do ChatGPT3 se compara ao aprendizado entre pares ou ao aprendizado por meio de comunidades científicas? E talvez mais importante, como podemos garantir os aspectos da aprendizagem entre pares que a tornam distinta e especial em comparação com o uso do ChatGPT3? Ambos sempre existirão, mas é importante entendê-los lado a lado.

A resposta do ChatGPT3 é longa, mas um pouco incompleta. Como vimos, pode errar muito ao tentar resumir a pesquisa científica. Como resultado, devemos estar absolutamente cansados ​​de usá-lo para pesquisas de literatura, escrever subsídios ou preparar apresentações.

Como definitivamente não há substituto para o conhecimento de crowdsourcing, sinta-se à vontade para usar a seção de comentários para adicionar seus próprios usos do ChatGPT3 dentro (e fora) do laboratório!