Google과 같은 Big Tech 검색 엔진에 영향을 미치는 ChatGPT 및 인공 지능(AI)에 대한 모든 소문과 함께 커뮤니티 구성원은 Presearch가 AI를 어떻게 활용할 것인지에 대한 질문을 받았습니다.

기회를 탐색하고 Presearch가 현재와 미래에 어떻게 AI를 사용하는지 논의하기 위해 이 블로그 게시물을 준비했습니다.

AI 기반 검색

검색 엔진은 수년 동안 기계 학습(ML) 알고리즘 위에 구축된 AI 공간의 선구자입니다. 검색할 대량의 데이터, 의도를 나타내는 사용자의 쿼리 입력, 진행 중인 사용자 상호 작용(클릭, 페이징, 스크롤 등)의 실시간 피드백 가능성으로 인해 AI 기반 검색 엔진은 새로운 데이터와 상호 작용을 통해 지속적으로 학습하고 개선할 수 있는 능력.

AI는 매일 수십억 명의 검색 및 소셜 미디어 경험을 지원합니다.

OpenAI가 시작한 ChatGPT 인터페이스를 통해 AI 응답에 노출된 결과 AI의 힘에 대한 대중의 이해가 극적으로 높아진 것은 불과 최근 몇 달입니다. 이로 인해 현재 AI가 작동하는 인상적인 단계와 빠르게 진화하는 AI의 미래 가능성에 대한 많은 인식이 이루어졌습니다.

11월에 출시된 chatGPT는 AI 기술의 "iPhone 순간"이었습니다. 매우 지능적이고 인간적인 느낌을 주는 매력적인 채팅 경험을 공개하여 대중의 관심과 채택률이 과거의 모든 최고의 기술 출시를 훨씬 능가했습니다. 단 5일 만에 백만 명이 넘는 사용자.

ChatGPT는 (OpenAI와 함께) 다양한 회사 및 연구원에 걸쳐 대규모 언어 모델에 대한 수년간의 개방형 혁신을 패키지화하고 향후 몇 년 동안 인공 지능의 상당한 혁신의 물결을 위한 길을 닦고 있습니다.

Presearch CTO인 Trey Grainger 는 검색 경험의 맥락에서 인공 지능을 구현하는 방법에 대해 2019년부터 장별로 발표하고 있는 책 AI-Powered Search 의 저자입니다. Trey는 AI 기반 검색 회사의 엔지니어링 SVP와 최고 알고리즘 책임자로 수년을 보냈으며, 세계 최고의 수백 개 기업을 지원하는 검색 및 AI 기능을 구축했습니다. 그는 또한 검색과 AI의 교차점에서 수많은 책, 저널 기사 및 연구 간행물을 출판했습니다. Trey는 이 새로운 검색 시대로 프로젝트를 이끌 완벽한 사람입니다.

이 기사에서는 현재 우리가 AI를 어떻게 사용하고 있는지, 그리고 앞으로 Presearch의 분산형 검색 엔진에서 AI가 어떻게 중요한 역할을 할 것인지에 대한 높은 수준의 개요를 제공할 계획입니다.

참고: 이 기사는 높은 수준의 개요입니다. Presearch는 업데이트된 로드맵과 프로젝트의 AI 사용에 대해 자세히 설명하는 백서를 곧 발표할 예정입니다.

LLM은 무엇이며 Presearch에서 중요한 이유는 무엇입니까?

Presearch는 현재 OpenAI의 GPT-3를 사용하여 2022년 12월에 비공개 베타로 처음 출시된 AI 검색 경험 프로토타입을 구동하고 있습니다. OpenAI는 2015년 설립 이후 AI 작업을 해왔지만 대규모 언어 모델(LLM)에 중점을 두었습니다. Google에서 게시한 유명한 "Attention is all you need" 기사가 발표된 후. 이 논문은 여러 단어나 문장에 걸쳐 있는 언어의 패턴을 식별하기 위해 어텐션 메커니즘을 사용하는 Transformer라고 하는 언어 모델을 위한 새로운 아키텍처를 제안했습니다. 트랜스포머는 대규모 데이터 세트(대부분 텍스트)에 대한 딥 러닝을 사용하여 훈련되어 데이터 세트에 존재하는 언어 관계와 개념적 관계를 모두 학습합니다.

구조적으로 트랜스포머는 일반적 으로 텍스트(또는 이미지나 오디오와 같은 다른 입력)를 숫자 컨텍스트 벡터에 매핑할 수 있는 인코더와 이러한 컨텍스트 벡터를 가져와 텍스트로 다시 매핑할 수 있는 디코더 로 구성됩니다 . 컨텍스트 벡터 또는 임베딩을 생각할 수 있습니다., 언어 모델이 이해하는 입력의 의미를 숫자로 표현한 것입니다. 따라서 "그녀는 길을 걷기 위해 밖에 나갔다"라는 텍스트는 [0.12, 9.51, 6.42, ... 0.32]와 같은 임베딩으로 인코딩될 수 있으며, 동일한 임베딩은 "the girl walk out and down"과 같은 유사한 텍스트로 디코딩될 수 있습니다. 거리". 모델이 훈련된 텍스트가 다국어인 경우 다른 언어에서 동일한 의미를 가진 텍스트도 동일한 의미를 전달하기 때문에 매우 유사한 임베딩에 매핑됩니다. 트랜스포머는 기본적으로 서로 다른 컨텍스트 내에서 단어와 구의 의미뿐만 아니라 단어와 구가 결합되는 방식을 결정하는 언어 구조를 학습할 수 있습니다.

이 아키텍처는 기계 번역, 언어 모델링, 질문 답변을 비롯한 다양한 작업에서 이전 모델보다 뛰어난 성능을 발휘할 수 있습니다.

Transformer 아키텍처는 모델이 입력의 다른 부분에 동시에 주의를 기울일 수 있도록 하는 self-attention의 아이디어를 기반으로 합니다. 이를 통해 모델은 입력에서 장기적인 종속성을 캡처할 수 있으며, 이는 잠재적으로 큰 컨텍스트에서 사용되는 언어에서 발견되는 복잡한 관계를 이해하는 데 필수적입니다. Transformer는 또한 멀티 헤드 어텐션 메커니즘을 사용하여 모델이 입력의 다른 부분을 병렬로 처리할 수 있도록 합니다. 이를 통해 모델은 단어 간의 보다 복잡한 관계를 캡처할 수 있습니다.

Transformers를 세상에 선보인 후 Google은 2019년부터 Transformer 기반 BERT 언어 모델로 검색 엔진을 강화했으며 많은 검색 엔진이 쿼리 해석 및 순위 계층에서 이러한 종류의 언어 모델을 지속적으로 개선하고 활용했습니다. 그 이후로 Transformer 아키텍처는 더 큰 언어 모델(GPT-3 또는 Flan t5와 같은 오픈 소스 모델)의 개발을 가능하게 했습니다. 입력 컨텍스트를 기반으로 올바른 응답을 프롬프트한 다음 단어별로(또는 더 정확하게는 토큰별로) 예측합니다.

이것이 OpenAI가 세계를 사로잡은 제품을 만들 수 있게 한 ChatGPT의 핵심입니다.

완전히 분산된 인덱스를 통한 AI 활용

Presearch의 장기 목표가 완전히 분산된 검색 엔진을 구축하는 것이라는 것은 비밀이 아닙니다. 이것의 핵심 구성 요소는 전 세계 정보의 분산형 인덱스입니다. 아직 여기에 있지는 않지만 적극적으로 설계하고 있으며 이 혁신적인 기술이 다음 인터넷 반복에서 중요한 역할을 할 것이라고 믿습니다.

AI 기술은 소비자 경험으로서 인덱스 맨 위에 위치할 뿐만 아니라 데이터를 분할 및 인덱싱하고 적절하게 저장 및 복제하고 쿼리를 적절한 인덱스 파티션으로 라우팅하는 데 적극적으로 사용될 것입니다. Presearch는 현재 AI 경험을 강화하기 위해 OpenAI를 사용하고 있지만 궁극적으로 이것은 세계 최고의 엔지니어와 데이터 과학자가 Presearch 커뮤니티의 일부로 구축, 교육 및 통합하는 데 도움을 줄 수 있는 개방형 모델로 대체될 것입니다.

OpenAI의 모델은 우리가 매우 강력한 AI 경험으로 시장에 빠르게 진출할 수 있게 함으로써 Presearch에 큰 부가 가치가 되었지만, Presearch 네트워크는 궁극적으로 분산형 인덱스에 깊숙이 통합된 오픈 소스 모델을 활용하여 자체 AI 기술로 구동될 것입니다. . Presearch는 AI 기술을 강화하기 위해 분산된 교육의 힘을 활용하여 분산되고 개방적인 AI 기술 구축에 근본적으로 다른 접근 방식을 취하고 있습니다.

분산 교육은 여러 컴퓨터에서 동시에 AI 모델을 교육하는 방법입니다. 이를 통해 분산형 아키텍처에서 교육 시간을 단축할 수 있으므로 사용자 쿼리 주변의 컨텍스트를 더 잘 이해하고 궁극적으로 더 관련성 높은 검색 결과를 제공할 수 있는 더 정확한 모델로 이어집니다.

Presearch는 또한 이렇게 훈련된 AI 모델의 임베딩이 깊이 통합된 전 세계적으로 분산된 인덱스를 활용하려고 합니다. 이렇게 하면 사용자 쿼리에 대한 더 깊은 이해를 제공하고 지정된 검색을 수행하는 데 필요한 노드 수를 제한하여 더 빠르고 정확한 검색이 가능합니다. Presearch는 AI 기반 임베딩을 기반으로 분할된 전 세계적으로 분산된 인덱스를 활용하여 쿼리 속도를 최적화하고 네트워크 리소스를 최대화하는 동시에 가장 관련성 높은 결과를 제공할 수 있습니다.

분산 교육과 전 세계적으로 분산된 인덱스의 조합을 통해 Presearch는 최고의 오픈 소스 및 커뮤니티 구축 AI 모델로 구동되는 진정으로 분산된 검색 엔진을 제공할 수 있습니다.

대규모 언어 모델은 현재 매우 인기가 있지만 검색 엔진에서 일반적으로 사용되는 유일한 AI 기능과는 거리가 멉니다. Presearch는 기계 학습 순위(순위 학습이라고도 함), 신호 부스팅 모델, 지식 그래프 생성 및 기타 여러 기술을 위한 분산 교육을 활용하여 향상된 순위 요소를 학습하고 생성합니다. 그러나 대규모 언어 모델은 사려 깊고 유용한 방식으로 결과를 해석하고 요약하는 데 중요한 역할을 합니다.

Presearch는 개방형 협업 및 분산화에 중점을 두어 OpenAI 및 기타 검색 엔진과 근본적으로 다른 접근 방식을 취하고 있습니다. Bitcoin이 디지털 통화를 위해 한 일을 Presearch는 세계 정보에 대한 액세스를 위해 할 것입니다. 프로젝트에 참여하고 싶거나, 탈중앙화 노드를 실행하거나, 빌드를 돕거나, 자세히 알아보고 싶다면 커뮤니티의 일원이 되어 환영합니다!

프리서치AI 트위터

인공 지능에 대한 진행 상황과 통찰력을 공유하기 위해 전용 계정을 만들었습니다. 여기를 따라오세요 —https://twitter.com/PresearchAI

질문이 있는 경우 아래 커뮤니티 링크 중 하나에 가입하십시오.

노드 실행 :https://nodes.presearch.com
키워드 지분 :https://keywords.presearch.com
정보 사이트 :https://presearch.io
프리서치로 검색 :https://presearch.com

커뮤니티 채널:

텔레그램 : t.me/Presearch
트위터 :https://twitter.com/presearchnews
PresearchAI 트위터:https://twitter.com/PresearchAI
유튜브 :https://www.youtube.com/c/Presearch/videos
럼블 :https://rumble.presearch.io
디스코드 :https://discord.presearch.io
마음 :https://www.minds.com/presearch
레딧:https://www.reddit.com/r/Presearch/
트위터(커뮤니티) :https://twitter.com/TeamPresearch
텔레그램 (뉴스) : t.me/PresearchNews
페이스북 :https://www.facebook.com/presearch.io
이메일 : [email protected]
파트너쉽에 관심이 있으신가요? 다음 주소로 이메일을 보내주세요 — [email protected]