성인용 콘텐츠를 식별하는 데 그리 좋지 않은 알고리즘

Dec 13 2018
우리 인간은 '보면 알 수 있지만'봇은 알지 못합니다. 적어도 아직은.
봇 신고 아티스트 Georgia O'Keeffe의 상징적 인 그림 인 "Grey Lines with Black, Blue and Yellow"(여기 Tate Modern에서 사진)를 성인용 콘텐츠로 상상하는 것은 어렵지 않습니다. Rob Stothard / Getty 이미지

Tumblr 플랫폼은 더 이상 성인용 콘텐츠를 허용하지 않기로 결정했습니다 . 금지 효과 2018년 12월 17일로 전환하고이를 시행하기 위해, 텀블러입니다 봇 배포 한 것으로 보인다 유일하게 나쁜 봇은 왜 자연 포르노와 같은 무고한 내용을 신고하고 놀라운 사용자 및 기술 전문가 모두를 자극하는 그 직장에서을 그것이하는 일에 너무 나쁩니다. 대답의 일부는 인공 지능 을 통한 조정이 매우 어려운 작업이라는 것입니다.

우리가 수용 할 수 있거나 불쾌하다고 생각하는 콘텐츠를 결정하는 데 관련된 많은 미묘한 부분은 돌로 기록해야하며,이를 수행 한 우리의 실적은 그리 크지 않습니다. 사실, 우리는 애초에 어떤 것을 포르노로 식별하는 데 어려움을 겪습니다. 고 미국 대법원 판사 인 포터 스튜어트는 음란 사건 (Jacobellis v. Ohio)에 대한 판결에서 " 나는 그것을 보면 알아요 "라는 문구로 감정을 요약 했습니다 .

그 감정은 의미가있는 것처럼 실제로 모호한 것으로 입증되었습니다. 여기에 예가 있습니다. 발기 한 남자의 사진은 본질적으로 음란해야합니다. 그러나 이것이 발기 기간을 연장시키는 종종 고통스러운 상태 인 발기 부전증에 대한 의학적 설명을위한 것이고 의료 현장에 나타난다면 어떨까요? 외음부의 표현이 외설적이라면 꽃 그림이 여성 해부학에 대한 시각적 은유로 자주 여겨지는 예술가 조지아 오키프의 작품이 미술사 기사에 표시되어야 함을 의미합니까?

소셜 네트워크와 콘텐츠 플랫폼은 항상 이러한 상황에 직면합니다. 예를 들어, 2016 년의 주요 홍보 사건에서 페이스 북 은 베트남 전쟁 중 네이팜 공격으로 공포에 질린 9 살의 나체 Kim Phuc 사진 을 퓰리처 상을 수상한 사진 을 검열했습니다 . 이 사진은 전쟁 관련 기사로 노르웨이의 가장 유명한 신문에 게재되었습니다. 대조적으로 트위터 사용자는 2017 년 말까지 해당 플랫폼이 네오 나치 계정을 폐쇄하도록 설득 할 수 없었습니다 . 인간 중재자조차도 혼동 할 수 있는 다양한 철학과 겉보기에는 임의적이고 컨텍스트없는 규칙으로 인해 알고리즘이 신고 할 항목을 파악하는 데 문제가있는 것은 당연합니다.

Tumblr의 시스템은 이미지에서 노출 된 피부로 간주되는 양이나 젖꼭지 또는 성기일 수 있다고 생각되는 모양을 찾는 것으로 보입니다. 안타깝게도 댄 팰론이 Digg의 글을 쓴 것처럼 인체의 비 성감 부위에 대한 많은 양의 클로즈업은 이미지가 보여주는 맨살의 한계를 초과하고 있습니다. 나무와 같은 특정 물체도 남근처럼 보일 수 있습니다. 그리고 겉보기에 설명 할 수없는 한 사례에서 Fallon은 풍경 사진 작가의 매우 순수한 자연 사진도 문제가있는 것으로 표시되었다고 썼습니다. 그러나 이것은 그러한 알고리즘에서 드문 일이 아닙니다. 다른 검열 봇은 훈련 데이터 세트에 따라 모래의 색이 피부의 색과 비슷했기 때문에 모래 언덕 과 해변의 사진을 표시 했습니다.

이 체계적인 오류는 인간의 피부 톤 수를 고려할 때도 의미가 있습니다. 밝은 베이지 색에서 거의 검은 색에 이르는 색상은 모두 자연적으로 발생하며 AI가 어떻게 훈련되었는지 또는 센서가 보정되었는지에 따라 더 어두운 피부색이 존재한다는 사실을 이해하지 못할 수도 있습니다. 결과적으로 백인 연기자들과 함께 포르노 이미지를 찾아 내고 검열하도록 훈련 된 알고리즘은 피부가 어두운 모델에서는 똑같이 노골적인 이미지에 플래그를 지정하지 못할 수 있습니다. 이를위한 쉬운 해결책 중 하나는 과도하게 보상하고, 모든 것을 표시하고, 오탐을 충분한 성인 콘텐츠를 포착하지 않는 것보다 낫다고 정당화하는 것입니다. 이는 Tumblr가 콘텐츠를 삭제하기 위해 스크램블에서 한 것처럼 보입니다. Tumblr는 중재에 추가 레이어가 있는지 여부에 대한 의견 요청을 반환하지 않았습니다.

궁극적으로 과도한 검열 알고리즘이 플랫폼에서 성인 콘텐츠를 게시하지 않는 사용자를 유도 할지 아니면 전화를 걸지 여부는 아직 미지수 입니다. 그러나 Tumblr의 매우 공개적이고 공격적인 과도한 플래그는 온라인 미디어를 조정하는 데있어 많은 어려움을 강조합니다. 따라서 실수는 계속되고 자주 발생합니다. 이러한 문제를 해결하는 방법을 알아낼 때까지 인간은 진정으로 성공적인 중재 노력을 감독해야합니다.

이제 흥미 롭 네요

수많은 기사가 언급했듯이 불쾌한 Garfield조차도 초기 청소에서 Tumblr에서 금지되었습니다 .