NeuML은 사용하기 쉬운 오픈 소스 시맨틱 워크플로우 애플리케이션을 구축합니다. 우리는 연구와 생산 사이의 격차를 해소합니다. 또한 오픈 소스 스택에 대한 컨설팅 서비스도 제공합니다.

NeuML은 2022년에도 강력한 오픈 소스 시맨틱 검색 스택을 계속 구축했습니다. 또한 일련의 컨설팅 노력을 통해 프로젝트를 강화했습니다. 이 기사에서는 2022년의 진행 상황을 요약하고 2023년을 내다봅니다.

txtai

txtai는 기계 학습 워크플로를 실행하여 데이터를 변환하고 AI 기반 시맨틱 검색 애플리케이션을 구축합니다. 이것은 우리의 모든 작업이 기반이 되는 기본 소프트웨어입니다.

2022년 txtai 하이라이트:

• ⭐ GitHub의 별 1,748 개로 총 별 수 ⭐ 3,130
• GitHub의 총 385 개 커밋
• GitHub에서 해결된 총 179개의 문제
• 12 출시. v3.7.0에서 연도를 입력하고 v5.2.0에서 완료
• 16개의 기사 및 예제 노트북 추가됨

txtai 4.0

txtai 4.0은 2022년 1월에 릴리스되었습니다. 이 릴리스에는 콘텐츠 스토리지, SQL 쿼리, 개체 스토리지, 재인덱싱 및 인덱스 압축이 추가되었습니다.

콘텐츠 스토리지는 벡터 인덱스와 함께 추가 메타데이터를 저장합니다. 이를 통해 SQL을 사용한 표현 쿼리가 가능하고 쿼리 시간에 추가 필드를 다시 가져올 수 있습니다. 4.0까지 txtai 쿼리는 텍스트 스니펫에 대한 벡터 검색을 엄격하게 실행했습니다. 이 릴리스에서는 이제 다른 필드에 대한 SQL 문 필터링이 가능합니다. 콘텐츠 저장소가 활성화되면 재인덱싱도 가능하므로 새로운 설정으로 더 빠르게 재구축할 수 있습니다.

콘텐츠 스토리지 외에 오브젝트 스토리지도 추가됐다. 이로 인해 바이너리 콘텐츠 저장소(오디오/이미지/비디오/문서)가 활성화되었습니다. 압축 인덱스(zip, gzip 및 bzip2)도 추가되어 저장소 요구 사항이 크게 줄어듭니다.

현재 이 기능이 얼마나 많이 구축되어 있는지를 고려할 때 2022년까지 이 기능이 존재하지 않았다는 것은 믿기 어렵습니다.

4.0에 대한 전체 요약은 아래 문서에서 확인할 수 있습니다.

txtai 4.0의 새로운 기능

txtai 5.0

txtai 5.0은 2022년 9월에 릴리스되었습니다. 이 릴리스에는 시맨틱 그래프와 외부 통합이 추가되었습니다.

지식 그래프 또는 시맨틱 네트워크라고도 하는 시맨틱 그래프는 노드를 연결하는 시맨틱 관계로 그래프 네트워크를 구축합니다. txtai에서는 임베딩 인덱스에서 본질적으로 학습된 관계를 활용할 수 있습니다. 이를 통해 데이터 세트의 주제 및 상호 연결과 같은 관계를 탐색할 수 있는 흥미로운 가능성이 열립니다. txtai의 시맨틱 그래프는 주제 모델링, 그래프 순회 및 분석에 사용할 수 있습니다.

외부 통합은 벡터, 콘텐츠, 그래프 및 벡터화 백엔드를 연결하기 위한 후크를 추가했습니다. 예를 들어 Weaviate는 Faiss 대신 벡터, SQLite 대신 PostgreSQL, NetworkX 대신 Neo4j, 로컬 Transformers 모델 대신 OpenAI를 사용할 수 있습니다. 이렇게 하면 시스템이 커짐에 따라 txtai의 다른 부분을 확장할 수 있는 유연성이 추가됩니다.

5.0에 대한 전체 요약은 아래 문서에서 확인할 수 있습니다.

txtai 5.0의 새로운 기능

지역 사회

txtai에는 훌륭하고 성장하는 커뮤니티가 있습니다. 이를 수행할 때 가장 좋은 부분 중 하나는 다른 사람들이 새롭고 혁신적인 방식으로 txtai를 사용하는 것을 보는 것입니다. 소프트웨어 개발에 종사하는 모든 사람은 오픈 소스의 혜택을 받았고 무언가를 돌려줄 수 있다는 것은 좋은 일입니다.

2022년 커뮤니티의 하이라이트.

커뮤니티 기사, 프로젝트 및 프레젠테이션

LinkedIn 및 Twitter 에서 Philip Vollet 이 공유함

시맨틱 검색의 예측을 설명하는 방법은 무엇입니까? ( 모히트 마얀크 )

오픈 소스 스마트 글래스 ( Cayden Pierce )

OpenBBTerminal 언어 번역

txtai는 Hackathon에서 우승한 두 솔루션에서 사용되었습니다.

txtai에 대한 비디오 자습서 ( Dr. WJB Mattingly )

txtai로 셰익스피어 검색 ( Dr. WJB Mattingly )

PyBerlin에서 밋업 프레젠테이션 ( Gerald Schuller )

txtai 및 Qdrant를 사용한 시맨틱 검색 시스템 ( Kacper Lukawski )

커뮤니티에서 관리하는 txtai용 Conda 패키지 ( Matt Chan )

의료 채팅을 위한 기계 번역 ( Keith Trnka )

EACL에 제출 ( Allen Roush )

txtai와 Weaviate로 시맨틱 검색 시스템 구축 ( Mohd S )

신경 검색 프레임워크 ( Dmitry Kan )

인기 게시물

해커 뉴스: 7월 , 11월 , 11월

Reddit: 7월 , 11월 , 11월

GitHub: 1월 및 4월

기타: LinkedIn 및 Twitter

Github에 풀 리퀘스트/이슈를 제출한 사람, Slack에 연락한 사람, 그리고 우리가 놓친 다른 사람을 포함하여 올해 기여한 모든 사람에게 감사합니다!

2023년 계획

2023년을 내다보며 txtai는 여러 가지 흥미로운 이니셔티브를 수행할 것입니다.

작게 가기
유형 A 기술 세계에서 진언은 종종 크게 가거나 집으로 돌아가는 것입니다. 많은 사람들이 FAANG 규모의 솔루션을 개발하기를 열망하거나 필요하다고 생각합니다. 데이터 세트 분석에 시간을 투자하면 종종 적은 비율의 데이터만 관련성이 있음을 알 수 있습니다.

많은 사람들이 이 규모를 필요로 하지 않으며 txtai는 필요에 따라 쉽게 확장할 수 있는 옵션을 사용하여 중소형 시스템을 쉽게 구축할 수 있기를 원합니다. 기본이 아닌 필요한 경우 복잡성을 추가합니다.

마이크로모델
여기에서도 같은 주제로 작게 진행됩니다. 이번에 소규모로 진행한다는 것은 마이크로컨트롤러와 같은 리소스가 제한된 시스템에서 모델을 실행하는 것을 의미합니다. Raspberry Pi 4와 같은 대형 단일 보드 장치에서 실행할 수 있는 ARMv8용 Docker 이미지가 추가되어 2022년에 일부 작업이 완료되었습니다.

리소스가 제한된 장치에 대해 1MB 미만의 벡터 및 유사성 검색 모델을 만들 수 있습니까? 계속 지켜봐!

생성적 의미론적 검색
2022년 생성적 기계 학습의 발전은 경이로웠습니다. 안정적인 확산, DALL-E 2 및 ChatGPT가 그 길을 이끌었습니다. 시맨틱 검색은 특히 지식 기반 콘텐츠를 생성할 때 유용합니다. 이것은 내년에 초점이 될 것입니다.

다중 모드 인덱싱
txtai가 콘텐츠를 인덱싱하는 방법에 유연성을 추가하기 위해 올해 작업이 완료될 예정입니다. 이렇게 하면 다중 모달 인덱스를 더 쉽게 구축할 수 있습니다.

클라우드 제공
txtai 설치는 간단 pip install txtai하고 사용하기 쉬운 Docker 모델을 사용할 수 있지만 여전히 시간 투자가 필요합니다. 클라우드 오퍼링을 추가하면 특히 소규모 및/또는 과부하된 기술 팀이 있는 사람들을 위해 신속한 개발이 가능합니다.

이것은 또한 NeuML의 컨설팅 서비스에 도움이 될 것이며 호스트 결과물에 대한 추가 옵션을 제공합니다.

페이퍼라이

paperai 는 의학/과학 논문을 위한 AI 기반 문헌 검색 및 검토 엔진입니다. 연구자들이 핵심 작업에 집중할 수 있도록 지루한 문헌 검토를 자동화하는 데 도움이 됩니다.

paperai는 2022년에 다음과 같은 하이라이트를 가졌습니다.

• ⭐ GitHub에서 별 125 개를 획득하여 총 ⭐ 820이 되었습니다.
• GitHub의 총 44 개 커밋
• GitHub에서 해결된 총 15개의 문제

2022년에 paperai와 paperetl은 모두 주요 2.0 릴리스를 가졌습니다. 이 릴리스에는 새로운 데이터 소스 및 더 나은 보고서 생성에 대한 지원이 추가되었습니다.

2023년을 내다보면서 paperai와 paperetl은 계속해서 1년에 몇 차례 릴리스될 것입니다. 쉽게 시작할 수 있도록 하는 작업이 있을 것입니다.

기타 프로젝트

2022년 대부분의 노력은 txtai와 paperai를 중심으로 통합되었습니다. 그러나 아래에서 논의된 바와 같이 다른 다운스트림 txtai 프로젝트에 대한 기여가 있었습니다.

공동 질문

codequestion은 개발자 질문에 대한 시맨틱 검색 애플리케이션입니다.

개발자는 일반적으로 작업하는 동안 웹 브라우저 창을 열어두고 질문이 있을 때 웹 검색을 실행합니다. codequestion을 사용하면 로컬 컨텍스트에서 이 작업을 수행할 수 있습니다. 이 응용 프로그램은 유사성 쿼리를 실행하여 입력 쿼리와 유사한 질문을 찾습니다.

codequestion의 2022년 하이라이트는 다음과 같습니다.

• ⭐ GitHub의 별 122 개로 총 별 수 ⭐ 383
• GitHub의 총 50 개 커밋
• GitHub에서 해결된 총 8개의 문제

2023년을 앞두고 예상되는 유일한 작업은 txtai의 주요 새 기능을 통합하는 것입니다.

tldrstory

tldrstory 는 스토리와 관련된 헤드라인 및 텍스트 콘텐츠를 AI로 이해하기 위한 프레임워크입니다.

tldrstory는 2022년에 다음과 같은 하이라이트를 가졌습니다.

• ⭐ GitHub의 별 54 개로 총 ⭐ 298개 획득

노이스포

뉴스포는 객관적이고 서술적이며 실시간 스포츠 정보를 발굴하겠다는 마음에서 시작되었습니다. neuspo가 실행 중이며 정기점검을 받고 있습니다. 2023년에는 주요 업데이트가 예정되어 있지 않습니다.

상담 서비스

NeuML은 다음과 같이 오픈 소스 스택에 대한 컨설팅 서비스를 제공합니다.

• 맞춤형 시맨틱 애플리케이션 txtai 스택으로 맞춤형 시맨틱 애플리케이션 구축
• 모델 개발 산업별 도메인에서 뛰어난 AI, 기계 학습 및/또는 NLP 모델 생성
• 자문 및 전략 지원 전문 지식을 활용하여 데이터 및 AI 전략 계획
• 클라우드 네이티브 워크플로우 시맨틱 검색, 요약, 번역 등을 위한 확장 가능한 NLP 워크플로우
• AI 기반 문헌 검토 대규모 비정형 의학, 과학 및 연구 문헌 검토 자동화
• 미디어 분석 감성 분석, 이벤트 발견 및 트렌드 감지

2023년을 내다보면서 우리는 현재 프로젝트의 성공을 기반으로 계속 발전할 것입니다. 우리는 또한 txtai가 재무 및 마케팅과 같은 다른 영역에 어떻게 적용될 수 있는지 보여주기 위한 홍보 활동을 강화할 것입니다. 우리는 가능한 것에 대해 표면을 긁었습니다!

NeuML을 찾는 방법

NeuML과 상호 작용하는 전체 방법 목록은 다음과 같습니다.

문의
웹사이트 | 이메일 | 느슨하게

코드
GitHub | 도커 허브 | HF 스페이스

소셜 미디어
링크드인 | 트위터 | 페이스북 | 유튜브

기사
매체 | 해시노드 | dev.to | 뉴스 레터

Slack, Docker Hub, YouTube, Hashnode 및 Newsletter(Substack)가 모두 2022년에 추가되었습니다!

마무리

이 기사에서는 2022년 NeuML의 프로젝트 및 노력과 2023년 계획에 대해 다루었습니다.

예상대로 2022년 우리의 오픈 소스 작업은 txtai를 중심으로 통합되었습니다. 그러나 다운스트림 txtai 프로젝트의 새로운 릴리스가 있었습니다. 이 패턴은 2023년에도 계속될 것으로 예상됩니다. 내년에는 여러 흥미로운 txtai 이니셔티브가 있을 것입니다. 기계 학습 커뮤니티는 빠르게 발전하고 있으며 다른 초점 영역이 싹트게 될 것입니다!

우리의 컨설팅 노력은 우리 프로젝트가 실제 문제를 해결할 수 있음을 증명하는 데 중요합니다. 이러한 노력은 지속 가능한 비즈니스 모델을 갖춘 균형 잡힌 회사를 구축하는 데 매우 중요합니다. 우리는 스택을 사용하여 중요한 일상 문제를 해결하는 방법을 계속 모색할 것입니다.

읽어 주셔서 감사합니다. 팔로우하고 2023년 동안 우리가 어떻게 지내고 있는지 확인하세요!