NeuMLสร้างแอปพลิเคชันเวิร์กโฟลว์เชิงความหมายแบบโอเพ่นซอร์ส ใช้งานง่าย เราเชื่อมช่องว่างระหว่างการวิจัยและการผลิต เรายังให้บริการให้คำปรึกษาเกี่ยวกับสแตกโอเพ่นซอร์สของเรา

NeuML ยังคงสร้าง semantic search stack แบบโอเพ่นซอร์สที่แข็งแกร่งในปี 2022 นอกจากนี้ เรายังเสริมความแข็งแกร่งให้กับโครงการของเราผ่านความพยายามในการให้คำปรึกษา บทความนี้จะสรุปความคืบหน้าที่เกิดขึ้นในปี 2022 และมองไปข้างหน้าถึงปี 2023

แท็ก

txtaiดำเนินการเวิร์กโฟลว์การเรียนรู้ของเครื่องเพื่อแปลงข้อมูลและสร้างแอปพลิเคชันการค้นหาความหมายที่ขับเคลื่อนด้วย AI นี่คือซอฟต์แวร์พื้นฐานของการทำงานทั้งหมดของเรา

ไฮไลท์สำหรับ txtai ในปี 2022:

• ⭐ 1,748ดาวบน GitHub ทำให้ยอดรวมเป็น ⭐ 3,130
• คอมมิชชันทั้งหมด 385รายการบน GitHub
• 179ปัญหาทั้งหมดได้รับการแก้ไขบน GitHub
• 12รุ่น เข้าสู่ปีที่ v3.7.0 และสิ้นสุดที่ v5.2.0
• เพิ่ม16 บทความและสมุดบันทึกตัวอย่าง

txtai 4.0

txtai 4.0 เปิดตัวในเดือนมกราคม 2022 รุ่นนี้เพิ่มพื้นที่จัดเก็บเนื้อหา การสืบค้น SQL พื้นที่จัดเก็บวัตถุ การทำดัชนีใหม่ และการบีบอัดดัชนี

ที่จัดเก็บเนื้อหาบันทึกข้อมูลเมตาเพิ่มเติมควบคู่ไปกับดัชนีเวกเตอร์ สิ่งนี้เปิดใช้งานการสืบค้นแบบด่วนด้วย SQL และดึงฟิลด์เพิ่มเติมกลับมาในเวลาสืบค้น จนถึง 4.0 ข้อความค้นหา txtai จะค้นหาเวกเตอร์อย่างเข้มงวดเพื่อหาตัวอย่างข้อความ เมื่อใช้รุ่นนี้ คำสั่ง SQL สามารถกรองฟิลด์อื่นได้แล้ว การจัดทำดัชนีซ้ำยังเป็นไปได้เมื่อเปิดใช้พื้นที่จัดเก็บเนื้อหา นำไปสู่การสร้างใหม่เร็วขึ้นด้วยการตั้งค่าใหม่

นอกจากพื้นที่จัดเก็บเนื้อหาแล้ว ยังมีการเพิ่มพื้นที่จัดเก็บวัตถุอีกด้วย สิ่งนี้เปิดใช้งานการจัดเก็บเนื้อหาไบนารี (เสียง/ภาพ/วิดีโอ/เอกสาร) มีการเพิ่มดัชนีบีบอัด (zip, gzip และ bzip2) ซึ่งช่วยลดความต้องการในการจัดเก็บลงอย่างมาก

ยากที่จะเชื่อว่าฟังก์ชันนี้ไม่มีอยู่จริงจนถึงปี 2022 เมื่อพิจารณาจากจำนวนที่มีอยู่ในปัจจุบัน

ข้อมูลสรุปฉบับเต็มเกี่ยวกับ 4.0 มีอยู่ในบทความด้านล่าง

มีอะไรใหม่ใน txtai 4.0.1

txtai 5.0

txtai 5.0 เปิดตัวในเดือนกันยายน 2022 รุ่นนี้เพิ่มกราฟความหมายและการรวมภายนอก

กราฟความหมาย หรือที่เรียกว่ากราฟความรู้หรือเครือข่ายความหมาย สร้างเครือข่ายกราฟที่มีความสัมพันธ์เชิงความหมายที่เชื่อมต่อโหนดต่างๆ ใน txtai พวกเขาสามารถใช้ประโยชน์จากความสัมพันธ์ที่เรียนรู้โดยธรรมชาติในดัชนีการฝัง สิ่งนี้เปิดโอกาสที่น่าตื่นเต้นสำหรับการสำรวจความสัมพันธ์ เช่น หัวข้อและการเชื่อมต่อระหว่างกันในชุดข้อมูล กราฟเชิงความหมายใน txtai สามารถใช้สำหรับการสร้างแบบจำลองหัวข้อ การข้ามผ่านกราฟ และการวิเคราะห์

การผสานรวมภายนอกเพิ่ม hooks เพื่อเสียบส่วนแบ็คเอนด์ของเวกเตอร์ เนื้อหา กราฟ และ vectorization ตัวอย่างเช่น สามารถใช้ Weaviate เพื่อจัดเก็บเวกเตอร์แทน Faiss, PostgreSQL แทน SQLite, Neo4j แทน NetworkX และ OpenAI แทนโมเดล Transformers ในเครื่อง สิ่งนี้จะเพิ่มความยืดหยุ่นในการขยายส่วนต่าง ๆ ของ txtai เมื่อระบบของคุณเติบโตขึ้น

ข้อมูลสรุปฉบับเต็มเกี่ยวกับ 5.0 มีอยู่ในบทความด้านล่าง

มีอะไรใหม่ใน txtai 5.0.1

ชุมชน

txtai มีชุมชนที่ยอดเยี่ยมและกำลังเติบโต หนึ่งในส่วนที่ดีที่สุดของการทำเช่นนี้คือการได้เห็นผู้อื่นใช้ txtai ในรูปแบบที่แปลกใหม่ ทุกคนในการพัฒนาซอฟต์แวร์ได้รับประโยชน์จากโอเพ่นซอร์สและเป็นเรื่องดีที่สามารถตอบแทนบางสิ่งได้

ไฮไลท์จากชุมชนในปี 2565

บทความชุมชน โครงการ และการนำเสนอ

แบ่งปันโดยPhilip VolletบนLinkedInและTwitter

จะอธิบายการคาดคะเนการค้นหาความหมายได้อย่างไร ( โมหิต มะยังก์ )

แว่นตาอัจฉริยะโอเพ่นซอร์ส ( Cayden Pierce )

การแปลภาษา OpenBBTerminal

txtai ใช้โดยโซลูชันที่ชนะสองรายการใน Hackathon

วิดีโอสอนสำหรับ txtai ( Dr. WJB Mattingly )

ค้นหา Shakespeare กับ txtai ( Dr. WJB Mattingly )

การนำเสนอ Meetup ที่ PyBerlin ( Gerald Schuller )

ระบบค้นหาความหมายด้วย txtai และ Qdrant ( Kacper Lukawski )

แพ็คเกจ Conda ที่ดูแลโดยชุมชนสำหรับ txtai ( Matt Chan )

การแปลด้วยเครื่องสำหรับ Medical Chat ( Keith Trnka )

การส่งไปยัง EACL ( Allen Roush )

สร้างระบบค้นหาความหมายด้วย txtai และ Weaviate ( Mohd S )

กรอบการค้นหาประสาท ( Dmitry Kan )

โพสต์ยอดนิยม

ข่าวแฮ็กเกอร์ : กรกฎาคมพฤศจิกายนและพฤศจิกายน

Reddit : กรกฎาคมพฤศจิกายนและพฤศจิกายน

GitHub: มกราคมและเมษายน

อื่นๆ: LinkedInและTwitter

ขอบคุณทุกคนที่มีส่วนร่วมในปีนี้ รวมถึงผู้ที่ส่งคำขอดึงข้อมูล/ปัญหาบน Github ติดต่อมาที่ Slack และใครก็ตามที่เราคิดถึง!

แผนสำหรับปี 2566

มองไปข้างหน้าถึงปี 2023 txtai จะดำเนินการริเริ่มที่น่าตื่นเต้นมากมาย

ไปเล็ก ๆ น้อย ๆ
ในโลกเทคโนโลยีประเภท A มนต์มักจะไปใหญ่หรือกลับบ้าน หลายคนใฝ่ฝันหรือคิดว่าพวกเขาจำเป็นต้องพัฒนาโซลูชันในระดับ FAANG การลงทุนเวลาในการวิเคราะห์ชุดข้อมูลมักจะแสดงให้เห็นข้อมูลเพียงเล็กน้อยเท่านั้นที่เกี่ยวข้อง

หลายคนไม่ต้องการสเกลนี้และ txtai ต้องการให้การสร้างระบบขนาดเล็กถึงขนาดกลางเป็นเรื่องง่ายด้วยตัวเลือกที่เปิดใช้งานได้ง่ายเพื่อปรับขนาดตามต้องการ เพิ่มความซับซ้อนเมื่อจำเป็นโดยค่าเริ่มต้น

Micromodels
ธีมเดียวกันที่นี่จะเล็ก การมีขนาดเล็กลงในครั้งนี้หมายถึงการรันโมเดลบนระบบที่มีทรัพยากรจำกัด เช่น ไมโครคอนโทรลเลอร์ งานบางอย่างเสร็จสิ้นในปี 2022 โดยเพิ่มอิมเมจ Docker สำหรับ ARMv8 ซึ่งสามารถรันบนอุปกรณ์บอร์ดเดียวขนาดใหญ่ เช่น Raspberry Pi 4

เราสามารถสร้างโมเดลการค้นหาเวกเตอร์และความคล้ายคลึงกันที่มีขนาดต่ำกว่า 1MB สำหรับอุปกรณ์ที่มีทรัพยากรจำกัดได้หรือไม่ คอยติดตาม!

การค้นหาความหมายเชิงกำเนิด
ความก้าวหน้าในการเรียนรู้เชิงกำเนิดของเครื่องในปี 2565 นั้นยอดเยี่ยมมาก การแพร่กระจายที่เสถียร DALL-E 2 และ ChatGPT เป็นผู้นำ การค้นหาความหมายมีอยู่ที่นี่ โดยเฉพาะอย่างยิ่งในการสร้างเนื้อหาที่มีพื้นฐานความรู้ ซึ่งจะเป็นจุดสนใจในปีหน้า

งาน จัดทำดัชนีต่อเนื่องหลายรูปแบบ
จะดำเนินการในปีนี้เพื่อเพิ่มความยืดหยุ่นให้กับวิธีการจัดทำดัชนีเนื้อหาของ txtai ซึ่งจะนำไปสู่การสร้างดัชนีต่อเนื่องหลายรูปแบบได้ง่ายขึ้น

ข้อเสนอระบบคลาวด์
แม้ว่าการติดตั้ง txtai นั้นง่ายพอๆ กับpip install txtaiรุ่น Docker ที่ใช้งานง่าย แต่ก็ยังต้องใช้เวลาในการลงทุน การเพิ่มข้อเสนอระบบคลาวด์ช่วยให้สามารถพัฒนาได้อย่างรวดเร็ว โดยเฉพาะอย่างยิ่งสำหรับทีมที่มีทีมเทคนิคขนาดเล็กและ/หรือมีงานล้นมือ

สิ่งนี้จะเป็นประโยชน์ต่อบริการให้คำปรึกษาของ NeuML ทำให้มีตัวเลือกเพิ่มเติมในการโฮสต์การส่งมอบ

กระดาษ

Paperaiเป็นเครื่องมือค้นหาและตรวจสอบวรรณกรรมที่ขับเคลื่อนโดย AI สำหรับเอกสารทางการแพทย์/วิทยาศาสตร์ ช่วยให้การทบทวนวรรณกรรมที่น่าเบื่อหน่ายเป็นไปโดยอัตโนมัติ ช่วยให้นักวิจัยสามารถมุ่งเน้นไปที่งานหลักของตนได้

paperai มีไฮไลท์ดังต่อไปนี้สำหรับปี 2022:

• ⭐ 125ดาวบน GitHub เพื่อให้ยอดรวมเป็น ⭐ 820
• คอมมิชชันทั้งหมด 44รายการบน GitHub
• 15ปัญหาทั้งหมดได้รับการแก้ไขบน GitHub

ในปี 2022 paperai และ paperetl ต่างก็มีการเปิดตัว 2.0 ที่สำคัญ รุ่นนี้เพิ่มการรองรับแหล่งข้อมูลใหม่และการสร้างรายงานที่ดีขึ้น

เมื่อมองไปข้างหน้าถึงปี 2023 paperai และ paperetl จะยังคงออกสองสามครั้งต่อปี จะมีงานช่วยให้เริ่มต้นได้ง่ายขึ้น

โครงการอื่นๆ

ความพยายามส่วนใหญ่ของเราในปี 2022 รวมไว้ที่ txtai และ paperai แต่มีส่วนสนับสนุนโครงการ txtai ปลายน้ำอื่น ๆ ตามที่กล่าวไว้ด้านล่าง

คำถามรหัส

codequestionเป็นแอปพลิเคชั่นค้นหาความหมายสำหรับคำถามของนักพัฒนา

นักพัฒนามักจะเปิดหน้าต่างเว็บเบราว์เซอร์ในขณะที่ทำงานและเรียกใช้การค้นหาเว็บเมื่อมีคำถามเกิดขึ้น ด้วยคำถามโค้ด สิ่งนี้สามารถทำได้จากบริบทในเครื่อง แอ็พพลิเคชันนี้ดำเนินการค้นหาความคล้ายคลึงกันเพื่อค้นหาคำถามที่คล้ายคลึงกันกับข้อความค้นหาที่ป้อนเข้า

codequestion มีไฮไลท์ดังต่อไปนี้สำหรับปี 2022:

• ⭐ 122ดาวบน GitHub เพื่อให้ยอดรวมเป็น ⭐ 383
• คอมมิชชันทั้งหมด 50รายการบน GitHub
• 8ปัญหาทั้งหมดได้รับการแก้ไขบน GitHub

มองไปข้างหน้าถึงปี 2023 งานเดียวที่คาดหวังคือการรวมคุณสมบัติใหม่ที่สำคัญจาก txtai

tldrstory

tldrstoryเป็นเฟรมเวิร์กสำหรับการทำความเข้าใจพาดหัวข่าวและเนื้อหาข้อความที่เกี่ยวข้องกับเรื่องราวโดยใช้ AI

tldrstory มีไฮไลท์ในปี 2022 ดังต่อไปนี้:

• ⭐ 54ดาวบน GitHub เพื่อให้ยอดรวมเป็น ⭐ 298

นูสโป

neuspoเริ่มต้นด้วยความมุ่งมั่นในการค้นหาข้อมูลกีฬาที่เป็นเป้าหมาย บรรยาย และเรียลไทม์ neuspo กำลังทำงานและได้รับการบำรุงรักษาตามปกติ ไม่มีแผนอัปเดตที่สำคัญสำหรับปี 2023

บริการให้คำปรึกษา

NeuML ให้บริการให้คำปรึกษาเกี่ยวกับสแตกโอเพ่นซอร์สของเราดังต่อไปนี้:

• แอปพลิเคชันความหมายที่กำหนดเองสร้างแอปพลิเคชันความหมายที่กำหนดเองด้วย txtai stack
• การพัฒนาโมเดลสร้างโมเดล AI, แมชชีนเลิร์นนิง และ/หรือ NLP ที่มีความเป็นเลิศในโดเมนเฉพาะอุตสาหกรรม
• คำแนะนำและ การสนับสนุนกลยุทธ์ใช้ประโยชน์จากความเชี่ยวชาญของเราในการวางแผนข้อมูลและกลยุทธ์ AI ของคุณ
• เวิร์กโฟลว์ NLP ที่ปรับขนาดได้สำหรับ Cloud-native Workflowsสำหรับการค้นหาความหมาย การสรุป การแปล และอื่นๆ
• การทบทวนวรรณกรรมที่ขับเคลื่อนด้วย AIทำการตรวจสอบวรรณกรรมทางการแพทย์ วิทยาศาสตร์ และการวิจัยขนาดใหญ่แบบไม่มีโครงสร้างโดยอัตโนมัติ
• Media Analyticsการวิเคราะห์ความรู้สึก การค้นพบเหตุการณ์ และการตรวจจับแนวโน้ม

มองไปข้างหน้าถึงปี 2566 เราจะสานต่อความสำเร็จของโครงการปัจจุบันของเรา นอกจากนี้ เราจะเพิ่มความพยายามในการขยายงานเพื่อแสดงให้เห็นว่าสามารถนำ txtai ไปใช้กับโดเมนอื่นๆ เช่น การเงินและการตลาดได้อย่างไร เราเพิ่งขีดข่วนสิ่งที่เป็นไปได้!

วิธีค้นหา NeuML

รายการวิธีการโต้ตอบกับ NeuML ทั้งหมดแสดงอยู่ด้านล่าง

ติดต่อเรา
เว็บไซต์ | อีเมล | หย่อน

รหัส
GitHub | ฮับนักเทียบท่า | HF สเปซ

โซเชียลมีเดีย
LinkedIn | ทวิตเตอร์ | เฟสบุ๊ค | ยูทูบ

บทความ
ขนาดกลาง | แฮชโหนด | dev.to | จดหมายข่าว

เพิ่ม Slack, Docker Hub, YouTube, Hashnode และ Newsletter (Substack) ในปี 2022!

ห่อ

บทความนี้กล่าวถึงสถานะของโครงการและความพยายามของ NeuML ในปี 2022 และแผนสำหรับปี 2023

ตามที่คาดไว้ งานโอเพ่นซอร์สของเราในปี 2565 รวมเป็น txtai แต่มีการเปิดตัวโครงการ txtai ดาวน์สตรีมใหม่ รูปแบบนี้คาดว่าจะดำเนินต่อไปในปี 2566 จะมีการริเริ่ม txtai ที่น่าตื่นเต้นมากมายในปีหน้า ชุมชนแมชชีนเลิร์นนิงกำลังพัฒนาอย่างรวดเร็วและรับประกันได้ว่าพื้นที่โฟกัสอื่นๆ จะเติบโตขึ้น!

ความพยายามในการให้คำปรึกษาของเรามีความสำคัญต่อการพิสูจน์ว่าโครงการของเราสามารถแก้ปัญหาในโลกแห่งความเป็นจริงได้ ความพยายามเหล่านี้มีความสำคัญอย่างยิ่งในการสร้างบริษัทที่มีความรอบรู้ด้วยรูปแบบธุรกิจที่ยั่งยืน เราจะค้นหาวิธีแก้ปัญหาที่สำคัญในชีวิตประจำวันต่อไปโดยใช้สแต็คของเรา

ขอบคุณสำหรับการอ่าน. โปรดติดตามและตรวจสอบว่าเราเป็นอย่างไรบ้างในปี 2023!