AI '블랙박스'란?

어떤 사람들에게 "블랙 박스"라는 용어는 생각할 수 없는 일이 발생할 경우 사후 분석에 유용한 비행기의 기록 장치를 떠올리게 합니다. 다른 사람들에게는 작고 최소한으로 갖춰진 극장을 떠올리게 합니다. 하지만 블랙박스는 인공지능 세계에서도 중요한 용어입니다.

AI 블랙박스는 사용자에게 보이지 않는 내부 동작을 하는 AI 시스템을 말한다. 입력을 제공하고 출력을 얻을 수 있지만 출력을 생성한 시스템 코드나 논리를 검사할 수는 없습니다.

기계 학습은 인공 지능의 지배적인 하위 집합입니다. ChatGPT 및 DALL-E 2 와 같은 생성 AI 시스템의 기반이 됩니다 . 기계 학습에는 알고리즘 또는 알고리즘 집합, 교육 데이터 및 모델의 세 가지 구성 요소가 있습니다. 알고리즘은 일련의 절차입니다. 머신 러닝에서 알고리즘은 많은 양의 예제(훈련 데이터)에 대해 훈련을 받은 후 패턴을 식별하는 방법을 배웁니다. 기계 학습 알고리즘이 훈련되면 결과는 기계 학습 모델입니다. 모델은 사람들이 사용하는 것입니다.

예를 들어 기계 학습 알고리즘은 이미지의 패턴을 식별하도록 설계될 수 있으며 훈련 데이터는 개 이미지가 될 수 있습니다. 결과 기계 학습 모델은 개 관찰자가 될 것입니다. 이미지를 입력으로 제공하고 이미지에서 픽셀 집합이 개를 나타내는지 여부와 위치를 출력으로 얻습니다.

기계 학습 시스템의 세 가지 구성 요소 중 하나를 숨기거나 블랙 박스에 숨길 수 있습니다. 종종 그렇듯이 알고리즘은 공개적으로 알려져 있기 때문에 블랙박스에 넣는 것이 덜 효과적입니다. 따라서 지적 재산을 보호하기 위해 AI 개발자는 종종 모델을 블랙 박스에 넣습니다. 소프트웨어 개발자가 취하는 또 다른 접근 방식은 모델 훈련에 사용되는 데이터를 모호하게 만드는 것입니다. 즉, 훈련 데이터를 블랙 박스에 넣는 것입니다.

블랙박스 알고리즘은 AI가 어떻게 작동하는지 이해하기 매우 어렵게 만들지만 상황은 완전히 흑백이 아닙니다.

블랙박스의 반대말은 글래스박스 라고도 합니다 . AI 글래스박스는 알고리즘, 훈련 데이터, 모델을 누구나 볼 수 있는 시스템이다. 그러나 연구자들은 때때로 이것들의 측면을 블랙박스로 규정하기도 합니다.

연구원들이 기계 학습 알고리즘, 특히 딥 러닝 알고리즘이 작동하는 방식을 완전히 이해하지 못하기 때문입니다 . 설명 가능한 AI 분야는 반드시 유리 상자는 아니지만 인간이 더 잘 이해할 수 있는 알고리즘을 개발하기 위해 노력하고 있습니다.

AI 블랙박스가 중요한 이유

많은 경우 블랙박스 기계 학습 알고리즘과 모델을 경계해야 할 타당한 이유가 있습니다. 기계 학습 모델이 귀하의 건강에 대한 진단을 내렸다고 가정합니다. 모델을 블랙박스로 하시겠습니까, 유리박스로 하시겠습니까? 치료 과정을 처방하는 의사는 어떻습니까? 아마도 그녀는 모델이 어떻게 결정에 도달했는지 알고 싶을 것입니다.

은행에서 기업 대출을 받을 자격이 있는지 여부를 결정하는 기계 학습 모델이 거절하면 어떻게 됩니까? 그 이유를 알고 싶지 않으세요? 그렇게 했다면 결정에 대해 더 효과적으로 항소하거나 상황을 변경하여 다음에 대출을 받을 가능성을 높일 수 있습니다.

블랙박스는 또한 소프트웨어 시스템 보안에 중요한 영향을 미칩니다. 수년 동안 컴퓨팅 분야의 많은 사람들은 소프트웨어를 블랙박스에 보관하면 해커가 검사하는 것을 방지할 수 있으므로 안전할 것이라고 생각했습니다. 이 가정은 해커가 소프트웨어를 리버스 엔지니어링 할 수 있기 때문에 (즉, 소프트웨어의 작동 방식을 면밀히 관찰하여 팩시밀리를 구축하고) 악용할 취약점을 발견할 수 있기 때문에 잘못된 것으로 입증되었습니다 .

소프트웨어가 유리 상자에 있으면 소프트웨어 테스터와 선의의 해커가 소프트웨어를 검사하고 제작자에게 약점을 알려 사이버 공격을 최소화할 수 있습니다.

AI, 챗봇 및 기계 학습의 미래에 대해 더 알고 싶으십니까? 인공 지능 에 대한 전체 내용을 확인하거나 최고의 무료 AI 아트 생성기 및 OpenAI의 ChatGPT에 대해 우리가 알고 있는 모든 것에 대한 가이드를 찾아보세요 .

Saurabh Bagchi , Purdue University 전기 및 컴퓨터 공학과 교수

이 기사는 Creative Commons 라이선스에 따라 The Conversation 에서 다시 게시되었습니다. 원본 기사를 읽으십시오 .