AI 탐지기가 잘못 판단합니다. 어쨌든 작가들은 해고되고 있다

Kimberly Gasuras는 AI를 사용하지 않습니다. “필요 없어요.” 그녀가 말했다. “저는 24년 동안 뉴스 기자로 일했습니다. 내가 그 모든 일을 어떻게 했다고 생각하세요?” 그 논리로는 그녀의 직업을 구하기에는 충분하지 않았습니다.

오하이오 주 부사이러스(Bucyrus)의 지역 언론인인 Gasuras는 부업에 의존하여 비용을 지불합니다. 한동안 그녀는 WritersAccess라는 프리랜서 글쓰기 플랫폼에서 중소기업을 위한 블로그와 기타 콘텐츠를 작성하면서 많은 돈을 벌었습니다. 그러나 2023년 중반에 일부 고객이 글쓰기 요구 사항을 위해 ChatGPT로 전환하면서 수입이 급감했습니다. 이미 어려운 시기였습니다. 그러다가 이메일이 왔습니다.

Gasuras는 “경고는 딱 한 번만 받았습니다.”라고 말했습니다. “그들이 '독창성'이라는 도구를 사용하여 내 작업을 AI로 표시했다는 메시지를 받았습니다.” 그녀는 어이가 없었습니다. Gasuras는 자신의 결백을 변호하기 위해 답장을 보냈지만 응답을 받지 못했습니다. 독창성은 비용이 들지만 Gasuras는 실수로 문제가 발생하지 않았는지 확인하기 위해 제출하기 전에 다른 AI 감지기를 통해 작업을 실행하기 시작했습니다. 몇 달 후 WritersAccess는 어쨌든 그녀를 플랫폼에서 쫓아냈습니다. “AI를 과도하게 사용해서 내 계정이 정지되었다고 하더군요. 나는 그것을 믿을 수 없었다”고 Gasuras가 말했다. WritersAccess가 의견 요청에 응답하지 않았습니다.

ChatGPT가 1년 반 전 전 세계를 불태웠을 때 AI 텍스트를 자신의 글인 것처럼 속이려는 사람들을 잡는 방법에 대한 열광적인 검색이 촉발되었습니다. AI 감지 도구를 통해 공백을 메우기 위해 Copyleaks, GPTZero, Originality.AI, Winston AI 등의 이름을 가진 수많은 스타트업이 출시되었습니다. AI 부기맨이 가득한 환경에서 깔끔한 비즈니스가 가능합니다.

이들 회사는 '증거'와 '책임'을 통해 통제권을 되찾는 방법인 마음의 평화를 광고합니다. 일부 광고 정확도는 99.98%에 달합니다. 그러나 점점 더 많은 전문가, 연구 및 업계 내부자들은 이러한 도구가 제조업체가 약속하는 것보다 훨씬 덜 신뢰할 수 있다고 주장합니다. AI 탐지기가 빈번한 실수를 저지르고, 무고한 방관자들이 총격전을 당하게 된다는 것은 의심의 여지가 없습니다. 수많은 학생들이 AI 표절 혐의로 기소되었지만 , 전문 분야에서는 보다 조용한 전염병이 일어나고 있습니다. 일부 글쓰기 공연은 챗봇 덕분에 건조해지고 있습니다 . 사람들이 줄어들고 있는 직업 분야를 놓고 싸우면서 작가들은 AI 탐지기의 거짓 비난으로 인해 일자리를 잃고 있습니다.

"이 기술은 사람들이 광고하는 방식으로 작동하지 않습니다."라고 사람들이 AI 텍스트를 인간화하여 감지 소프트웨어를 통과하도록 돕는 도구를 만드는 UnDetectable AI의 공동 창립자인 Bars Juhasz가 말했습니다. “우리는 이러한 AI 탐지기가 사용하는 훈련 프로세스의 신뢰성에 대해 많은 우려를 갖고 있습니다. 이 사람들은 99%의 정확도를 가지고 있다고 주장하는데, 우리의 연구에 따르면 그것은 불가능하다고 생각합니다. 하지만 그것이 사실이라 하더라도 이는 100명당 하나의 잘못된 깃발이 있다는 것을 의미합니다. 우리는 사람들의 생계와 평판에 대해 이야기하고 있습니다.”

보호 장치입니까, 아니면 뱀 기름입니까?

일반적으로 AI 탐지기는 완벽한 문법, 구두점 등 AI 서법의 특징을 찾아내는 방식으로 작동합니다. 실제로 작업에 플래그를 지정하는 가장 쉬운 방법 중 하나는 철자와 문법 오류를 확인하는 도구인 Grammarly를 사용하는 것입니다. 인공 지능을 사용하여 명확성을 위해 문장을 다시 작성하는 방법도 제안합니다. 설상가상으로 Gizmodo는 Grammarly를 사용해야 하는 플랫폼 때문에 해고되었다고 말하는 작가들과 이야기를 나눴습니다. (Gizmodo는 이러한 이야기의 세부 사항을 확인했지만 작가가 비공개 계약을 체결했기 때문에 특정 프리랜서 플랫폼의 이름을 제외하고 있습니다.)

감지기는 '폭발'과 같은 더 많은 요소도 찾습니다. 인간 작가는 클러스터나 버스트에서 특정 단어를 재사용할 가능성이 더 높은 반면, AI는 문서 전체에 단어를 균등하게 배포할 가능성이 더 높습니다. AI 탐지기는 또한 모델의 훈련 데이터를 바탕으로 AI가 텍스트 조각을 생성했을 가능성을 측정하도록 AI에 요청하는 "복잡성"을 평가할 수도 있습니다. 업계 리더인 Originaility.AI와 같은 일부 회사는 다른 AI의 작업을 감지하기 위해 특별히 제작된 자체 AI 언어 모델을 훈련합니다. 이는 인간의 마음으로는 너무 복잡한 패턴을 찾아내기 위한 것입니다.

그러나 이러한 기술 중 완벽한 기술은 없으며 많은 주요 기관에서 이러한 종류의 도구를 사용하지 않습니다. OpenAI는 자사 제품에 대한 두려움을 잠재우기 위해 2023년 자체 AI 탐지기를 출시했지만 불과 몇 달 뒤 " 낮은 정확도 로 인해" 이 도구를 시장에서 철수했습니다 . 학계에서 가장 먼저 AI 탐지기를 채택했지만 잘못된 비난으로 인해 밴더빌트, 미시간 주립대, 노스웨스턴대, 텍사스 대학교 오스틴 등 많은 대학 에서 AI 탐지 소프트웨어 사용을 금지하게 되었습니다.

AI 탐지의 효율성에 관한 최근 논문을 공동 집필한 베를린 응용과학대학교의 데보라 웨버-불프(Debora Weber-Wulff) 교수는 AI 탐지 회사들이 “뱀기름을 판매하는 사업을 하고 있다”고 말했습니다 . Weber-Wulff에 따르면 연구에 따르면 AI 탐지기는 부정확하고 신뢰할 수 없으며 속이기 쉽습니다. “사람들은 자신들의 문제를 해결해주는 마법의 소프트웨어가 있을 수 있다고 믿고 싶어합니다.”라고 그녀는 말했습니다. 그러나 “컴퓨터 소프트웨어는 사회 문제를 해결할 수 없습니다. 다른 해결책을 찾아야 합니다.”

AI 탐지기를 만드는 회사들은 로봇이 생성한 텍스트가 범람하는 세상에서 AI 탐지기가 필요하지만 불완전한 도구라고 말합니다. 효과적인지 여부에 관계없이 이러한 서비스에 대한 수요가 상당합니다.

AI 감지 회사인 GPTZero의 최고 기술 책임자인 Alex Cui는 감지기에 상당한 단점이 있지만 단점보다 장점이 더 크다고 말했습니다. “우리는 아무것도 변하지 않으면 뉴스, 동료 검토 기사, 마케팅 등 인터넷이 점점 더 AI에 의해 좌우되는 미래를 봅니다. 소셜 미디어에서 대화하고 있는 사람이 실제 사람인지조차 알 수 없습니다.”라고 Cui는 말했습니다. “지식을 일괄 확인하고, 콘텐츠의 품질이 높고, 정품이며, 합법적인 저작물인지 판단할 수 있는 솔루션이 필요합니다.”

필요악?

직업적인 반향을 피하기 위해 자신의 이름을 공개하지 말라고 요청한 오하이오에 거주하는 또 다른 카피라이터 Mark는 AI 탐지기로 인해 일자리를 잃은 후 지역 상점에서 유지 관리 작업을 해야 했다고 말했습니다.

Mark는 “가장 최근 기사에서 AI 생성 가능성이 95%에 달했다는 이메일을 받았습니다.”라고 말했습니다. “나는 충격을 받았습니다. ChatGPT가 제공되기 훨씬 전인 3년 동안 함께 일했는데 그들이 나를 비난한다는 것이 우스꽝스럽게 느껴졌습니다.”

그는 뒤로 물러서려고 노력했습니다. Mark는 자신이 기사 초안을 작성한 Google 문서의 사본을 고객에게 보냈습니다. 여기에는 그가 문서를 직접 작성했음을 보여주는 타임스탬프가 포함되어 있습니다. 충분하지 않았습니다. Mark와 글쓰기 플랫폼의 관계가 무너졌습니다. 그는 직장을 잃으면 소득의 90%가 손실되었다고 말했습니다.

Originality.AI의 CEO인 Jonathan Gillham은 "우리는 우리가 기대했던 것보다 이러한 이야기를 더 많이 듣습니다. 그리고 우리는 작가가 마음과 영혼을 쏟은 작업이 거짓 비난을 받을 때 작가가 겪는 고통을 이해합니다."라고 말했습니다. "저희는 작가를 돕기 위한 도구를 만들고 있다고 생각하지만 때로는 이로 인해 어떤 결과가 따른다는 것을 알고 있습니다."

그러나 Gillham에 따르면 문제는 작가를 돕거나 책임을 제공하는 것 이상입니다. “Google은 공격적으로 AI 스팸을 추적하고 있습니다.”라고 그는 말했습니다. "Google에서 전체 사이트의 색인을 해제한 회사에서는 작성자가 AI를 사용하고 있다는 사실조차 몰랐다고 말했습니다."

검색 결과를 조작하고, 클릭을 얻고, 이러한 시선에서 광고 수익을 창출하기 위해 정크 AI 기사를 쏟아내는 저노력 콘텐츠 팜이 인터넷에 넘쳐나는 것은 사실입니다 . Google은 이러한 사이트를 단속하고 있으며 이로 인해 일부 회사에서는 Google이 AI 글을 감지하면 웹 사이트의 순위가 낮아질 것이라고 믿게 됩니다. 이는 웹 기반 비즈니스의 문제이며 점점 더 AI 탐지기의 1위 판매 포인트가 되고 있습니다. 독창성은 홈페이지의 혜택 목록 상단에서 'Google에서 귀하의 사이트를 미래에 대비하는' 방법으로 홍보합니다.

구글 대변인은 이것이 회사의 정책을 완전히 잘못 해석하는 것이라고 말했습니다. AI를 제공하는 기업 구글은 AI 콘텐츠 자체에는 문제가 없다고 밝혔다. 대변인은 “단순히 AI 생성 콘텐츠를 사용할 수 있다는 이유만으로 웹사이트에 불이익을 준다고 말하는 것은 정확하지 않다”고 말했다. “우리가 분명히 밝혔듯이, 검색 순위를 조작하기 위해 대규모로 생성된 가치가 낮은 콘텐츠는 생성되기는 하지만 스팸입니다. 우리의 자동화 시스템은 콘텐츠가 유용하고 품질이 높은지 나타내는 신호를 기반으로 상위 검색 결과에 무엇이 표시되는지 결정합니다."

혼합된 메시지

AI 탐지기를 만드는 회사를 포함해 어느 누구도 AI 탐지기가 완벽하다고 주장하지 않습니다. 그러나 Originality와 기타 AI 탐지기는 도구를 어떻게 사용해야 하는지에 대해 혼합된 메시지를 보냅니다. 예를 들어 Gillham은 "우리는 이 도구가 학계 내에서 사용되는 것을 권장하지 않으며 징계 조치에 사용되는 것을 강력히 권장합니다"라고 말했습니다. 그는 학생들이 학년 내내 적은 수의 에세이를 제출하기 때문에 오탐의 위험이 너무 높지만 전문 작가가 생산하는 작업량이 많기 때문에 알고리즘이 올바른 결과를 얻을 가능성이 더 높다고 설명했습니다. 그러나 회사의 블로그 게시물 중 하나에서 Originality는 AI 감지가 교실에서 "필수적"이라고 말합니다.

그렇다면 결과가 어떻게 제시되는지에 대한 질문이 있습니다. Gizmodo와 인터뷰한 많은 작가들은 고객이 AI 탐지기의 한계나 결과가 실제로 무엇을 말하는지 이해하지 못한다고 말했습니다. 누군가가 어떻게 혼란스러워하는지 쉽게 알 수 있습니다. 나는 Originality의 AI 탐지기를 통해 내 기사 중 하나를 실행했습니다. 결과는 '오리지널 70%', 'AI 30%'였다. 이는 Originality가 기사의 30%가 챗봇에 의해 작성된 것으로 판단했음을 의미한다고 가정할 수 있습니다. 특히 도구가 의심스러운 특정 문장을 강조 표시하기 때문입니다. 그러나 실제로는 신뢰도 점수입니다. 독창성은 인간이 텍스트를 썼다는 것을 70% 확신합니다. (모든 내용은 제가 직접 썼지만 제 말만 믿으시면 됩니다.)

그리고 회사가 알고리즘을 설명하는 방식이 있습니다. Originality에 따르면 도구의 최신 버전은 98.8%의 정확도를 가지고 있지만 Originality는 또한 오탐률이 2.8%라고 말합니다. 계산기를 손에 쥐고 있다면 그 합이 100%를 넘는다는 것을 알게 될 것입니다. Gillham은 이 수치가 두 가지 다른 테스트에서 나온 것이기 때문이라고 말했습니다.

Originality의 변호에서 회사는 도구 사용 방법에 대한 더 자세한 글에 대한 링크와 함께 결과 바로 아래에 정보를 해석하는 방법에 대한 자세한 설명을 제공합니다. 하지만 그것만으로는 충분하지 않은 것 같습니다. Gizmodo는 Originality 도구를 오해한 고객과 논쟁을 벌여야 한다고 말한 여러 작가와 이야기를 나눴습니다.

Originality는 자체 도구를 개발하고 측정하는 데 사용한 데이터 세트와 방법론을 포함하여 정확성 및 기타 문제에 대한 수많은 블로그 게시물 과 연구를 게시했습니다 . 그러나 베를린 응용과학대학의 Weber-Wulff는 Originality의 방법론에 대한 세부 사항이 "그렇게 명확하지 않다"고 말했습니다.

UnDetectable AI의 Juhasz와 같은 Gizmodo의 여러 전문가는 AI 탐지 산업 전반의 기업이 정확도를 부풀리고 고객을 오도하는 것에 대해 우려하고 있다고 말했습니다. GPTZero와 Originality AI의 대표자들은 그들의 회사가 개방성과 투명성을 위해 노력하고 있다고 말했습니다. 두 회사 모두 자사 도구의 한계와 단점에 대한 명확한 정보를 제공하기 위해 최선을 다하고 있다고 말했습니다.

AI 탐지기에 반대하는 것이 작가 편인 것처럼 느껴질 수도 있지만 Gillham에 따르면 그 반대가 사실입니다. “탐지기가 없으면 글쓰기 경쟁이 치열해지고 결과적으로 급여가 떨어집니다.”라고 그는 말했습니다. "탐지기는 작가가 작업을 수행하고 콘텐츠를 제출하고 보상을 받을 수 있는 것과 누군가가 ChatGPT에서 무언가를 복사하여 붙여넣을 수 있는 것의 차이입니다."

반면 기즈모도와 대화한 카피라이터들은 모두 AI 탐지기가 문제라고 말했다.

“AI가 미래다. 이를 막기 위해 우리가 할 수 있는 일은 아무것도 없지만 내 생각에는 그게 문제가 아니다. AI가 유용할 수 있는 많은 방법을 알 수 있습니다.”라고 Mark는 말했습니다. “이 탐지기들이야. 그들은 AI 글쓰기를 감지할 수 있다고 가장 확실하게 말하는 사람들이고, 우리 고객을 불안과 편집증에 빠뜨리고 우리를 일자리에서 쫓아내는 사람들입니다.”