เราแนะนำแนวคิดของ Neural Graph Databases ซึ่งเป็นขั้นตอนต่อไปในวิวัฒนาการของฐานข้อมูลกราฟ ปรับให้เหมาะกับกราฟขนาดใหญ่ที่ไม่สมบูรณ์และการอนุมานของขอบที่ขาดหายในขณะใช้งานโดยใช้การเรียนรู้การแสดงกราฟ การให้เหตุผลทางประสาทจะรักษาการแสดงออกในระดับสูง และรองรับการสืบค้นเชิงตรรกะที่ซับซ้อนซึ่งคล้ายกับภาษาการสืบค้นด้วยกราฟมาตรฐาน

โพสต์นี้เขียนร่วมกับHongyu Ren , Michael CochezและZhaocheng Zhuจากเอกสารใหม่ล่าสุดของเราNeural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases คุณสามารถติดตามฉัน , Hongyu , MichaelและZhaochengบน Twitter ตรวจสอบเว็บไซต์โครงการ ของเรา สำหรับวัสดุเพิ่มเติม

โครงร่าง :

1. ฐานข้อมูลกราฟประสาท: อะไรและทำไม
2. พิมพ์เขียวของ NGDB
3. การจัดเก็บกราฟประสาท
4. Neural Query Engine
5. เหตุผลของกราฟประสาทสำหรับเครื่องมือสืบค้น
6. เปิดความท้าทายสำหรับ NGDB
7. เรียนรู้เพิ่มเติม

ฐานข้อมูลกราฟวานิลลามีอยู่ทุกที่ ต้องขอบคุณกราฟที่เติบโตอย่างต่อเนื่องในการผลิต โมเดลข้อมูลกราฟที่ยืดหยุ่น และภาษาคิวรีที่แสดงความรู้สึก DBs กราฟสัญลักษณ์แบบคลาสสิกนั้นรวดเร็วและยอดเยี่ยมภายใต้สมมติฐานที่สำคัญประการหนึ่ง:

ความสมบูรณ์ เอ็นจิ้นการสืบค้นถือว่ากราฟในฐานข้อมูลกราฟแบบคลาสสิกเสร็จสมบูรณ์แล้ว

ภายใต้สมมติฐานความสมบูรณ์ เราสามารถสร้างดัชนี จัดเก็บกราฟในรูปแบบต่างๆ ที่ปรับให้เหมาะสมสำหรับการอ่าน/เขียน และคาดว่า DB จะส่งคืนข้อมูลที่มีอยู่

แต่ข้อสันนิษฐานนี้มักไม่เกิดขึ้นจริง (เราจะบอกว่าไม่บ่อยนัก) หากเราดูที่กราฟความรู้ที่โดดเด่น (KGs): ใน Freebase ผู้คน 93.8% ไม่มีถิ่นกำเนิด และ78.5% ไม่มีสัญชาติผู้คนประมาณ 68% ไม่มีอาชีพขณะที่ใน Wikidata ประมาณ50% ของ ศิลปินไม่มีวันเกิดและมีเพียง0.4% ของอาคารที่รู้จักเท่านั้นที่มีข้อมูลเกี่ยวกับความสูง และนั่นสำหรับ KG ที่ใหญ่ที่สุดที่ดูแลโดยผู้ที่ชื่นชอบหลายร้อยคนอย่างเปิดเผย แน่นอนว่า 100M โหนดและคำสั่ง 1B ไม่ใช่กราฟที่ใหญ่ที่สุดเท่าที่เคยมีมาในอุตสาหกรรม คุณจึงสามารถจินตนาการถึงระดับของความไม่สมบูรณ์ได้

เห็นได้ชัดว่าเพื่ออธิบายถึงความไม่สมบูรณ์นอกเหนือจาก"มีอะไร" เราต้องถามด้วยว่า“ขาดอะไร” (หรือ "จะมีอะไรได้บ้าง") ลองดูตัวอย่าง:

ที่นี่ ให้กราฟที่ไม่สมบูรณ์ (ขอบ(Turing Award, win, Bengio)และ(Deep Learning, field, LeCun)ขาดหายไป) และข้อความค้นหา"ผู้ชนะรางวัล Turing Award ในสาขาการเรียนรู้เชิงลึกทำงานในมหาวิทยาลัยใดบ้าง" (แสดงในรูปแบบลอจิคัลหรือในบางภาษา เช่น SPARQL) DB กราฟสัญลักษณ์จะส่งคืนเพียงคำตอบเดียวที่UofTเข้าถึงได้โดยการสำรวจกราฟ เราเรียกคำตอบดังกล่าวว่า คำตอบ ง่ายๆหรือคำตอบที่มีอยู่แล้ว เมื่อคำนึงถึงขอบที่ขาดหายไป เราจะกู้คืนคำตอบเพิ่มเติมอีกสองข้อจากUdeMและNYU ( คำตอบ ที่คาดเดายากหรือคำตอบที่อนุมาน)

จะสรุปขอบที่หายไปได้อย่างไร?

• ในฐานข้อมูลคลาสสิก เราไม่มีทางเลือกมากนัก ฐานข้อมูลที่ใช้ RDF มีความหมายที่เป็นทางการและสามารถสนับสนุนโดยออนโทโลยี OWL ที่แข็งแกร่ง แต่ขึ้นอยู่กับขนาดกราฟและความซับซ้อนของการอนุมาน อาจใช้เวลาไม่จำกัดในการอนุมานให้เสร็จสมบูรณ์ในระบอบการปกครองของSPARQL ฐานข้อมูลกราฟ Labeled Property Graph (LPG) ไม่มีวิธีการในตัวสำหรับการอนุมานขอบที่ขาดหายไปเลย
• ด้วยความก้าวหน้าใน Graph Machine Learning เรามักจะสามารถทำนายลิงก์ในพื้นที่แฝง (การฝัง) ในเวลาเชิงเส้นได้! จากนั้นเราสามารถขยายกลไกนี้เพื่อเรียกใช้งานคิวรีที่ซับซ้อนคล้ายฐานข้อมูลในพื้นที่การฝัง

นั่นคือ หลักการของ DB เช่น (1) กราฟในฐานะพลเมืองชั้นหนึ่ง (2) พื้นที่เก็บข้อมูลที่มีประสิทธิภาพ และ (3) อินเทอร์เฟซการสืบค้นแบบเดียวกันได้รับการสนับสนุนโดยเทคนิค Graph ML เช่น (1) การแทนค่าทางเรขาคณิต (2) ความทนทาน อินพุตที่มีสัญญาณรบกวน (3) การฝึกล่วงหน้าขนาดใหญ่และการปรับแต่งอย่างละเอียดเพื่อลดช่องว่างที่ไม่สมบูรณ์และเปิดใช้งานการให้เหตุผลและการอนุมานด้วยกราฟประสาท

โดยทั่วไป หลักการออกแบบสำหรับ NGDB คือ:

• สมมติฐานความไม่สมบูรณ์ของข้อมูล — ข้อมูลพื้นฐานอาจมีข้อมูลที่ขาดหายไปในระดับโหนด ลิงก์ และกราฟ ซึ่งเราต้องการอนุมานและใช้ประโยชน์จากการตอบคำถาม
• ความเหนี่ยวนำและความสามารถในการอัปเดต — คล้ายกับฐานข้อมูลแบบดั้งเดิมที่อนุญาตให้มีการอัปเดตและการสอบถามแบบทันที อัลกอริทึมการเรียนรู้การเป็นตัวแทนสำหรับการสร้างกราฟแฝงจะต้องเป็นแบบอุปนัยและทำให้เป็นข้อมูลทั่วไปกับข้อมูลที่มองไม่เห็น (เอนทิตีใหม่และความสัมพันธ์ ณ เวลาที่อนุมาน) ในแบบ zero-shot (หรือแบบ little-shot ) วิธีป้องกันการฝึกอบรมซ้ำที่มีค่าใช้จ่ายสูง (เช่น การฝังโหนดแบบตื้น)
• Expressiveness — ความสามารถในการเป็นตัวแทนแฝงเพื่อเข้ารหัสความสัมพันธ์เชิงตรรกะและความหมายในข้อมูลที่คล้ายกับ FOL (หรือแฟรกเมนต์) และใช้ประโยชน์จากข้อมูลเหล่านี้ในการตอบคำถาม ในทางปฏิบัติ ชุดของตัวดำเนินการเชิงตรรกะที่รองรับสำหรับการให้เหตุผลทางประสาทควรใกล้เคียงหรือเทียบเท่ากับภาษาฐานข้อมูลกราฟมาตรฐาน เช่น SPARQL หรือ Cypher
• Multimodalityนอกเหนือจากกราฟความรู้ — ข้อมูลที่มีโครงสร้างกราฟใด ๆ ที่สามารถจัดเก็บเป็นโหนดหรือบันทึกในฐานข้อมูลแบบดั้งเดิม (ประกอบด้วย เช่น รูปภาพ ข้อความ กราฟโมเลกุล หรือลำดับการประทับเวลา) และสามารถเติมเต็มด้วยการแทนเวกเตอร์คือ แหล่งที่มาที่ถูกต้องสำหรับ Neural Graph Storage และ Neural Query Engine

• การแสดงเวกเตอร์เป็นองค์ประกอบอะตอมในขณะที่ฐานข้อมูลกราฟแบบดั้งเดิมแฮชเมทริกซ์คำคุณศัพท์ (หรือรายการขอบ) ในดัชนีจำนวนมาก ข้อสันนิษฐานที่ไม่สมบูรณ์บ่งบอกเป็นนัยว่าทั้งขอบที่กำหนดและกราฟแฝง (การแสดงเวกเตอร์) กลายเป็นแหล่งที่มาของความจริงในNeural Graph Storage ;
• การดำเนินการเคียวรีแบบนิวรอลในพื้นที่แฝง – การดำเนินการพื้นฐาน เช่น การข้ามผ่านขอบไม่สามารถทำได้ในเชิงสัญลักษณ์เพียงอย่างเดียว เนื่องจากข้อสันนิษฐานที่ไม่สมบูรณ์ แต่Neural Query Engineจะทำงานบนทั้ง adjacency และ graph latents เพื่อรวมข้อมูลที่อาจขาดหายไปในการตอบแบบสอบถาม

พิมพ์เขียวของ NGDB

ก่อนที่จะดำดิ่งสู่ NGDB เรามาดูฐานข้อมูลประสาทโดยทั่วไปกันดีกว่า ปรากฎว่ามีมานานแล้วและคุณอาจสังเกตเห็นสิ่งนั้น ระบบแมชชีนเลิร์นนิงหลายระบบดำเนินการอยู่แล้วในกระบวนทัศน์นี้ เมื่อข้อมูลถูกเข้ารหัสเป็นพารามิเตอร์ของโมเดลและการสืบค้นจะเทียบเท่ากับการส่งต่อที่สามารถส่งออกการเป็นตัวแทนหรือการคาดคะเนใหม่สำหรับงานดาวน์สตรีม

ฐานข้อมูลประสาท: ภาพรวม

สถานะปัจจุบันของฐานข้อมูลประสาทคืออะไร? อะไรคือความแตกต่างระหว่างประเภทและอะไรพิเศษเกี่ยวกับ NGDB

1. ฐานข้อมูลเวกเตอร์อยู่ในกลุ่มของระบบที่เน้นการจัดเก็บข้อมูลซึ่งโดยทั่วไปสร้างขึ้นจากไลบรารีเพื่อนบ้านที่ใกล้ที่สุดโดยประมาณ (ANN) เช่นFaissหรือScaNN (หรือโซลูชันที่กำหนดเอง) เพื่อตอบคำถามตามระยะทางโดยใช้ Maximum Inner-Product Search (MIPS), L1, L2, หรือระยะทางอื่นๆ เนื่องจากตัวเข้ารหัสไม่ขึ้นกับตัวเข้ารหัส (นั่นคือตัวเข้ารหัสใด ๆ ที่ให้การแสดงเวกเตอร์สามารถเป็นแหล่งข้อมูลเช่น ResNet หรือ BERT) ฐานข้อมูลเวกเตอร์นั้นรวดเร็ว แต่ขาดความสามารถในการตอบคำถามที่ซับซ้อน
2. ด้วยการเพิ่มขึ้นของโมเดลสำเร็จรูปขนาดใหญ่หรือโมเดลพื้นฐานเราได้เห็นความสำเร็จอย่างมากในการประมวลผลภาษาธรรมชาติและงานการมองเห็นด้วยคอมพิวเตอร์ เราโต้แย้งว่าโมเดลพื้นฐานดังกล่าวเป็นตัวอย่างที่โดดเด่นของฐานข้อมูลประสาท ที่นั่นโมดูลหน่วยเก็บข้อมูลอาจแสดงโดยตรงกับพารามิเตอร์โมเดลหรือจ้างภายนอกไปยังดัชนีภายนอกซึ่งมักใช้ในโมเดลที่ดึงข้อมูลมาเสริมเนื่องจากการเข้ารหัสความรู้ทั้งหมดของโลกแม้แต่พารามิเตอร์โมเดลหลายพันล้านตัวก็เป็นเรื่องยาก โมดูลเคียวรีดำเนินการเรียนรู้ในบริบทผ่านการเติมลงในช่องว่างในโมเดลตัวเข้ารหัส (รูปแบบ BERT หรือ T5) หรือผ่านข้อความแจ้งในรูปแบบตัวถอดรหัสเท่านั้น (รูปแบบ GPT) ที่สามารถขยายรูปแบบต่างๆ ได้หลากหลาย เช่นโทเค็นที่เรียนรู้ได้สำหรับแอปพลิเคชันการมองเห็นหรือแม้แต่การเรียกใช้เครื่องมือภายนอก
3. ฐานข้อมูลภาษาธรรมชาติ (NLDB)นำเสนอโดยThorne et al model องค์ประกอบอะตอมเป็นข้อเท็จจริงที่เป็นข้อความเข้ารหัสไปยังเวกเตอร์ผ่านแบบจำลองภาษาที่ได้รับการฝึกฝนล่วงหน้า (LM) ข้อความค้นหาไปยัง NLDB จะถูกส่งเป็นคำพูดภาษาธรรมชาติซึ่งได้รับการเข้ารหัสเป็นเวกเตอร์ และการประมวลผลข้อความค้นหาใช้วิธีรีทรีฟเวอร์-รีดเดอร์

ในทางตรงกันข้าม เราวางตัวว่า NGDB สามารถทำงานได้โดยไม่มีดัชนีสัญลักษณ์ในพื้นที่แฝง ดังที่เราแสดงด้านล่าง มีอัลกอริทึม ML ที่สามารถจำลองพฤติกรรมที่เหมือนการข้ามผ่านขอบได้อย่างแม่นยำในการฝังพื้นที่เพื่อดึงข้อมูล "มีอะไรอยู่ " รวมทั้งใช้เหตุผลเชิงประสาทเพื่อตอบ " สิ่งที่ขาดหายไป "

ฐานข้อมูลกราฟประสาท: สถาปัตยกรรม

ในระดับที่สูงขึ้น NGDB ประกอบด้วยองค์ประกอบหลัก 2 ส่วน ได้แก่Neural Graph StorageและNeural Query Engine ไปป์ไลน์การตอบแบบสอบถามเริ่มต้นด้วยแบบสอบถามที่ส่งโดยบางแอปพลิเคชันหรืองานดาวน์สตรีมในรูปแบบที่มีโครงสร้างอยู่แล้ว (ได้รับ เช่น ผ่านการแยกวิเคราะห์ความหมายหากการสอบถามเริ่มต้นเป็นภาษาธรรมชาติเพื่อแปลงเป็นรูปแบบที่มีโครงสร้าง)

ข้อความค้นหาจะมาถึง Neural Query Engine ก่อน และโดยเฉพาะอย่างยิ่ง ไปยังโมดูลQuery Planner งานของ Query Planner คือการได้รับกราฟการคำนวณที่มีประสิทธิภาพของการดำเนินการระดับปรมาณู (การฉายภาพและการดำเนินการเชิงตรรกะ) ที่เกี่ยวข้องกับความซับซ้อนของคิวรี งานการคาดคะเน และการจัดเก็บข้อมูลพื้นฐาน เช่น การแบ่งกราฟที่เป็นไปได้

จากนั้นแผนที่ได้รับจะถูกส่งไปยังQuery Executorซึ่งจะเข้ารหัสการสืบค้นในพื้นที่แฝง ดำเนินการกับอะตอมเหนือกราฟและการแสดงข้อมูลแฝง และรวมผลลัพธ์ของการดำเนินการปรมาณูเป็นชุดคำตอบสุดท้าย การดำเนินการจะกระทำผ่าน โมดูล การดึงข้อมูลที่สื่อสารกับNeural Graph Storage

ชั้นเก็บข้อมูลประกอบด้วย

1️⃣ Graph Storeสำหรับเก็บเมทริกซ์คำเชื่อมหลายความสัมพันธ์ในลักษณะพื้นที่และเวลาอย่างมีประสิทธิภาพ (เช่น ในรูปแบบกระจัดกระจายต่างๆ เช่น COO และ CSR)

2️⃣ Feature Storeสำหรับเก็บฟีเจอร์หลายรูปแบบระดับโหนดและเอดจ์ที่เชื่อมโยงกับกราฟพื้นฐาน

3️⃣ Embedding Storeที่ใช้ประโยชน์จากโมดูล Encoder เพื่อสร้างการแสดงกราฟในพื้นที่แฝงโดยอิงตามคำเชื่อมพื้นฐานและคุณลักษณะที่เกี่ยวข้อง

โมดูลการดึงข้อมูลจะค้นหาการแสดงกราฟที่เข้ารหัสเพื่อสร้างการกระจายของคำตอบที่เป็นไปได้สำหรับการดำเนินการของปรมาณู

การจัดเก็บกราฟประสาท

ในฐานข้อมูลกราฟแบบดั้งเดิม การออกแบบพื้นที่เก็บข้อมูลมักขึ้นอยู่กับกระบวนทัศน์การสร้างแบบจำลองกราฟ

กระบวนทัศน์ที่ได้รับความนิยมสูงสุดสองแบบ ได้แก่ กราฟ Resource Description Framework (RDF) และ Labeled Property Graphs (LPG) อย่างไรก็ตาม เราคาดว่าRDF-star ใหม่ (และ SPARQL-star ที่ตามมาด้วย) กำลังจะรวมการแสดงออกเชิงตรรกะของกราฟ RDF เข้ากับลักษณะของ LPG KGs ที่มีอยู่จำนวนมากได้ปฏิบัติตามกระบวนทัศน์ RDF-star (-like) เช่นKGs แบบไฮเปอร์รีเลชันและWikidata Statement Model

หากเราต้องจินตนาการถึงกระบวนทัศน์การสร้างแบบจำลองกราฟแกนหลักในปีหน้า เราจะเลือก RDF-star

ใน Neural Graph Storage ทั้งกราฟอินพุตและการแสดงเวกเตอร์เป็นแหล่งที่มาของความจริง สำหรับการตอบคำถามในพื้นที่แฝง เราต้องการ:

• ตัวเข้ารหัสแบบสอบถาม
• ตัวเข้ารหัสกราฟ
• กลไกการดึงข้อมูลเพื่อให้ตรงกับการแสดงข้อความค้นหากับการแสดงกราฟ

การเข้ารหัสข้อความค้นหามักจะจับคู่กับการเข้ารหัสกราฟธรรมชาติเพื่อให้ทั้งคู่อยู่ในพื้นที่เดียวกัน เมื่อเรามีตัวแทนแฝงแล้ว โมดูลการดึงข้อมูลจะเริ่มทำงานเพื่อดึงคำตอบที่เกี่ยวข้อง

กระบวนการดึงข้อมูลสามารถมองได้ว่าเป็นการค้นหาเพื่อนบ้านที่ใกล้ที่สุดของเวกเตอร์อินพุตในพื้นที่ฝัง และมีประโยชน์โดยตรง 3 ประการ:

1. คะแนนความมั่นใจสำหรับแต่ละรายการที่ดึงมา — ด้วยฟังก์ชันระยะทางที่กำหนดไว้ล่วงหน้าในพื้นที่ฝัง
2. คำจำกัดความที่แตกต่างกันของพื้นที่แฝงและฟังก์ชันระยะทาง — รองรับกราฟที่แตกต่างกัน เช่น กราฟแบบต้นไม้จะทำงานได้ง่ายกว่าในปริภูมิไฮเพอร์โบลิก
3. ประสิทธิภาพและความสามารถในการปรับขนาด — การดึงข้อมูลจะปรับขนาดเป็นกราฟขนาดใหญ่มากที่มีโหนดและขอบนับพันล้าน

ใน DBs แบบดั้งเดิม เอ็นจินการสืบค้นทั่วไปดำเนินการหลักสามประการ (1) การแยกวิเคราะห์ข้อความค้นหาเพื่อตรวจสอบความถูกต้องของไวยากรณ์ (มักจะเสริมด้วยการวิเคราะห์ความหมายเชิงลึกของข้อความค้นหา) (2) การวางแผนการสืบค้นข้อมูลและการเพิ่มประสิทธิภาพเพื่อให้ได้มาซึ่งแผนการสืบค้นข้อมูลที่มีประสิทธิภาพ (โดยปกติคือแผนภูมิต้นไม้ของตัวดำเนินการเชิงสัมพันธ์) ที่ลดค่าใช้จ่ายในการคำนวณให้น้อยที่สุด (3) การดำเนินการค้นหาที่สแกนพื้นที่จัดเก็บและประมวลผลผลลัพธ์ระดับกลางตามแผนการค้นหา

ค่อนข้างตรงไปตรงมาที่จะขยายการดำเนินการเหล่านั้นไปยัง NGDB

1️⃣ การแยกวิเคราะห์แบบสอบถามสามารถทำได้ผ่านการแยกวิเคราะห์ความหมายเป็นรูปแบบแบบสอบถามที่มีโครงสร้าง เราตั้งใจปล่อยให้การสนทนาเป็นภาษาแบบสอบถามสำหรับ NGDB สำหรับงานในอนาคตและการอภิปรายสาธารณะที่ร้อนแรง

2️⃣ Query Planner มาจากแผนการสืบค้นที่มีประสิทธิภาพของการดำเนินการระดับปรมาณู (การฉายภาพและตัวดำเนินการเชิงตรรกะ) เพิ่มความสมบูรณ์ให้สูงสุด (ต้องส่งคืนคำตอบทั้งหมดสำหรับขอบที่มีอยู่) และการอนุมาน (ของขอบที่ขาดหายไปซึ่งคาดการณ์ได้ทันที) โดยคำนึงถึงความซับซ้อนของการค้นหาและกราฟพื้นฐาน

3️⃣ เมื่อแผนแบบสอบถามเสร็จสิ้น ตัวดำเนินการแบบสอบถามจะเข้ารหัสแบบสอบถาม (หรือส่วนต่างๆ ของแบบสอบถาม) ในพื้นที่แฝง สื่อสารกับ Graph Storage และโมดูลการดึงข้อมูล และรวบรวมผลลัพธ์ขั้นกลางเป็นชุดคำตอบสุดท้าย มีสองกลไกทั่วไปสำหรับการดำเนินการค้นหา:

• Atomicคล้ายกับ DBs แบบดั้งเดิม เมื่อแผนการสืบค้นถูกดำเนินการตามลำดับโดยการเข้ารหัสรูปแบบอะตอม ดึงคำตอบ และดำเนินการตัวดำเนินการเชิงตรรกะเป็นขั้นตอนกลาง
• Globalเมื่อกราฟแบบสอบถามทั้งหมดถูกเข้ารหัสและดำเนินการในพื้นที่แฝงในขั้นตอนเดียว

อนุกรมวิธานของการให้เหตุผลของกราฟประสาทสำหรับเครื่องมือสืบค้นข้อมูล

วรรณกรรมเกี่ยวกับวิธีการทางประสาทสำหรับการตอบแบบสอบถามเชิงตรรกะที่ซับซ้อน (หรือที่เรียกว่าการฝังแบบสอบถาม ) มีมากขึ้นตั้งแต่ปี 2018 และผลงาน NeurIPS ของHamilton และคณะเกี่ยวกับการฝังการสืบค้นกราฟ (GQE) GQE สามารถตอบคำถามที่เชื่อมต่อกันด้วยจุดตัดและคาดการณ์ลิงก์ที่ขาดหายไปได้ทันที

GQE ถือได้ว่าเป็นครั้งแรกที่ใช้ Neural Query Engines สำหรับ NGDB

GQE เริ่มต้นฟิลด์ย่อยทั้งหมดของ Graph Machine Learning ตามด้วยตัวอย่างที่โดดเด่น เช่นQuery2Box (ICLR 2020)และ Continuous Query Decomposition (ICLR 2021) เราพยายามอย่างมากในการจัดหมวดหมู่งานทั้งหมด (ประมาณ 50 ชิ้น) ตาม 3 ทิศทางหลัก:

⚛️ กราฟ — อะไรคือโครงสร้างพื้นฐานที่เราตอบคำถาม
️ การสร้างแบบจำลอง — เราตอบคำถามอย่างไรและใช้อคติอุปนัยแบบใด
️ ข้อความค้นหา — สิ่งที่เราตอบ โครงสร้างข้อความค้นหาคืออะไร และคำตอบที่คาดหวังคืออะไร

⚛️ เมื่อพูดถึงกราฟเราจะแบ่งพวกมันออกเป็นModality (กราฟแบบสามเท่าแบบคลาสสิก กราฟเชิงสัมพันธ์แบบไฮเปอร์กราฟ ไฮเปอร์กราฟ และอื่นๆ) โดเมนเหตุผล (เอนทิตีที่ไม่ต่อเนื่องหรือรวมถึงเอาต์พุตต่อเนื่อง) และซีแมนติกส์ (วิธีที่ตัวเข้ารหัสประสาทจับภาพได้สูงกว่า- ลำดับความสัมพันธ์เช่น OWL ontology)

️ ในการสร้างแบบจำลองเราปฏิบัติตามกระบวนทัศน์ตัวเข้ารหัส-ตัวประมวลผล-ตัวถอดรหัส ซึ่งจำแนกอคติแบบอุปนัยของแบบจำลองที่มีอยู่ เช่น ตัวเข้ารหัสแบบทรานดักทีฟหรือแบบอุปนัยกับตัวประมวลผลประสาทหรือสัญลักษณ์ประสาท

️ ในQueryเราตั้งเป้าที่จะแมปชุดของ Query ที่ตอบได้ด้วยวิธีทางประสาทกับภาษาของ Query ที่เป็นกราฟสัญลักษณ์ เราพูดถึงQuery Operators (เกินมาตรฐาน And/Or/Not), Query Patterns (ตั้งแต่ Query แบบลูกโซ่ไปจนถึง DAGs และรูปแบบวงกลม) และProjected Variables (พีชคณิตเชิงสัมพันธ์ที่คุณชื่นชอบ)

เปิดความท้าทายสำหรับ NGDB

จากการวิเคราะห์อนุกรมวิธาน เราพบว่าไม่มีสัญลักษณ์แสดงหัวข้อย่อยใดๆ ในขณะนี้ เช่น โปรเซสเซอร์ส่วนใหญ่สามารถทำงานในโหมดแยกเฉพาะกับข้อความค้นหาแบบต้นไม้เท่านั้น แต่ก็หมายความว่ายังมีที่ว่างมากมายสำหรับงานในอนาคต — อาจเป็นผลงานของคุณ!

เพื่อให้แม่นยำยิ่งขึ้น นี่คือความท้าทายหลักของ NGDB ในปีต่อๆ ไป

ตาม สาขา กราฟ :

• Modality : รองรับ modalities ของกราฟมากขึ้น: ตั้งแต่กราฟแบบสามเท่าแบบคลาสสิกไปจนถึงกราฟเชิงสัมพันธ์แบบไฮเปอร์กราฟ ไฮเปอร์กราฟ และแหล่งหลายรูปแบบที่รวมกราฟ ข้อความ รูปภาพ และอื่นๆ
• โดเมนการใช้เหตุผล : รองรับการให้เหตุผลเชิงตรรกะและการตอบคำถามทางประสาทผ่านข้อมูลชั่วคราวและข้อมูลต่อเนื่อง (ข้อความและตัวเลข) — ตัวอักษรประกอบขึ้นเป็นส่วนใหญ่ของกราฟ เช่นเดียวกับข้อความค้นหาที่เกี่ยวข้องบนตัวอักษร
• ความหมายเบื้องหลัง : สนับสนุนสัจพจน์ที่ซับซ้อนและความหมายที่เป็นทางการซึ่งเข้ารหัสความสัมพันธ์ลำดับที่สูงกว่าระหว่างคลาส (แฝง) ของเอนทิตีและลำดับชั้นของพวกมัน \eg เปิดใช้งานการให้เหตุผลเชิงประสาทเหนือตรรกะคำอธิบายและชิ้นส่วน OWL

• ตัวเข้ารหัส : ตัวเข้ารหัสแบบอุปนัยที่สนับสนุนความสัมพันธ์ที่มองไม่เห็นในเวลาอนุมาน — ซึ่งเป็นกุญแจสำคัญสำหรับ (1) ความสามารถในการอัปเดตของฐานข้อมูลประสาทโดยไม่จำเป็นต้องฝึกอบรมใหม่ (2) การเปิดใช้งาน กลยุทธ์ pretrain-finetuneสรุปแบบสอบถามที่ตอบกราฟที่กำหนดเองด้วยสคีมาเชิงสัมพันธ์ที่กำหนดเอง
• ตัวประมวลผล : เครือข่ายตัวประมวลผลแบบ Expressive สามารถดำเนินการตัวดำเนินการแบบสอบถามที่ซับซ้อนได้อย่างมีประสิทธิภาพและประสิทธิผล ซึ่งคล้ายกับตัวดำเนินการ SPARQL และ Cypher การปรับปรุงประสิทธิภาพตัวอย่างของตัวประมวลผลประสาทเป็นสิ่งสำคัญสำหรับเวลาในการฝึกฝนเทียบกับการแลกเปลี่ยนคุณภาพ — ลดเวลาการฝึกในขณะที่ยังคงคุณภาพการทำนายสูง
• ตัวถอดรหัส : จนถึงตอนนี้ ตัวถอดรหัสการตอบคำถามด้วยระบบประสาททั้งหมดทำงานเฉพาะบนโหนดแยก การขยายช่วงของคำตอบไปยังผลลัพธ์ที่ต่อเนื่องเป็นสิ่งสำคัญสำหรับการตอบคำถามในโลกแห่งความเป็นจริง
• ความซับซ้อน : เนื่องจากปัญหาคอขวดในการคำนวณหลักของเครือข่ายโปรเซสเซอร์คือมิติของพื้นที่ฝัง (สำหรับโมเดลประสาทล้วน) และ/หรือจำนวนโหนด (สำหรับสัญลักษณ์ประสาท) อัลกอริธึมใหม่ที่มีประสิทธิภาพสำหรับตัวดำเนินการทางตรรกะของระบบประสาทและวิธีการดึงข้อมูลจึงเป็นกุญแจสำคัญในการ ปรับขนาด NGDB เป็นพันล้านโหนดและเอดจ์หลายล้านล้าน

• โอเปอเรเตอร์ : Neuralizing โอเปอเรเตอร์การสืบค้นที่ซับซ้อนมากขึ้นซึ่งตรงกับความหมายของภาษาการสืบค้นกราฟแบบประกาศ เช่น รองรับ Kleene plus และ star เส้นทางคุณสมบัติ ตัวกรอง
• รูปแบบ : การตอบรูปแบบที่ซับซ้อนมากขึ้นนอกเหนือจากข้อความค้นหาแบบต้นไม้ ซึ่งรวมถึง DAG และกราฟแบบวงกลม
• ตัวแปรที่คาดการณ์ไว้ : อนุญาตให้ฉายมากกว่าเอนทิตีโหนดปลายสุด นั่นคือ อนุญาตให้ส่งคืนตัวแปรกลาง ความสัมพันธ์ และตัวแปรหลายตัวที่จัดอยู่ในทูเพิล (การโยง)
• Expressiveness : ตอบคำถามนอก EPFO ​​และ EFO Fragments อย่างง่าย และมุ่งหมายให้ภาษาฐานข้อมูลมีความชัดเจน

• ความต้องการเกณฑ์มาตรฐานที่ใหญ่ขึ้นและหลากหลายซึ่งครอบคลุมโมดัลของกราฟมากขึ้น ความหมายของคิวรีที่สื่อความหมายมากขึ้น ตัวดำเนินการคิวรีมากขึ้น และรูปแบบคิวรี
• เนื่องจากโปรโตคอลการประเมินที่มีอยู่ดูเหมือนจะจำกัด (เน้นเฉพาะการสรุป คำตอบ ที่ยาก ) จึงมีความจำเป็นสำหรับกรอบการประเมินและเมตริกที่มีหลักการ มากขึ้น ซึ่งครอบคลุมแง่มุมต่างๆ ของเวิร์กโฟลว์การตอบคำถาม

• ความต้องการ กลไก การดึงข้อมูลที่ปรับขนาดได้เพื่อปรับขนาดเหตุผลทางประสาทให้เป็นกราฟของโหนดหลายพันล้านโหนด การดึงข้อมูลนั้นเชื่อมต่อกับ Query Processor และการสร้างแบบจำลองก่อนหน้าอย่างแน่นหนา ไลบรารี ANN ที่ปรับขนาดได้ที่มีอยู่สามารถทำงานได้เฉพาะกับระยะทาง L1, L2 และโคไซน์พื้นฐานที่จำกัดพื้นที่ของตัวประมวลผลที่เป็นไปได้ในเอ็นจิ้นคิวรีประสาท
• ปัจจุบัน ชุดข้อมูลคิวรีที่ซับซ้อนทั้งหมดมีแผนดำเนินการคิวรีแบบฮาร์ดโค้ดซึ่งอาจไม่เหมาะสม จำเป็นต้องมีตัววางแผนคิวรีประสาทที่จะแปลงคิวรีอินพุตเป็นลำดับการดำเนินการที่เหมาะสมที่สุด โดยคำนึงถึงงานการคาดคะเน ความซับซ้อนของคิวรี ประเภทของตัวประมวลผลนิวรัล และการกำหนดค่าของเลเยอร์สตอเรจ

เรียนรู้เพิ่มเติม

NGDB ยังคงเป็นแนวคิดใหม่ที่มีความท้าทายมากมายสำหรับการวิจัยในอนาคต หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ NGDB โปรดลองดู

• กระดาษของเรา ( arxiv )
• เว็บไซต์ของเรา ,
• GitHub repoพร้อมรายการเอกสารล่าสุด ชุดข้อมูล และการจัดหมวดหมู่ที่เกี่ยวข้อง อย่าลังเลที่จะเปิดประเด็นและประชาสัมพันธ์