หน่วยความจำ
การค้นหาข้อมูลที่อ้างอิงจากเอกสารของคุณเอง พร้อมหลักฐานอ้างอิง
หน้าที่การทำงาน
เอกสาร, บทสนทนา และไฟล์ที่อัปโหลดจะถูกแบ่งเป็นส่วนๆ (chunked) แปลงเป็นเวกเตอร์ฝังตัว (embedded) และทำดัชนี จากนั้นจะถูกค้นคืนด้วยการผสมผสานระหว่างความคล้ายคลึงของเวกเตอร์ (vector similarity) การจับคู่คำสำคัญ (keyword match) และความเป็นศูนย์กลางของกราฟ (graph centrality) ในเวลาที่ตอบคำถาม ข้อความที่ค้นคืนมาจะมีหลักฐานอ้างอิง เพื่อให้คำตอบสามารถชี้ไปยังแหล่งที่มาที่สร้างคำตอบนั้นได้ และกฎการเข้าถึงจะกรองคลังข้อมูลก่อนการค้นคืน ไม่ใช่หลังจากนั้น
ทำไมสิ่งนี้จึงสำคัญ
เอเจนต์ที่ไม่สามารถอ้างอิงแหล่งที่มาได้คือเอเจนต์ที่คุณไม่สามารถตรวจสอบได้ การค้นคืนข้อมูลพร้อมหลักฐานอ้างอิงจะเปลี่ยนจาก "AI บอกมาแบบนี้" เป็น "เอกสารนี้ระบุไว้แบบนี้ และนี่คือเอกสารอ้างอิง" ซึ่งเป็นความแตกต่างระหว่างเวอร์ชันทดลองกับระบบที่คุณจะยอมปล่อยให้คุยกับลูกค้าจริง
วิธีการทำงาน
การกรองการเข้าถึงเกิดขึ้นก่อนการค้นคืนข้อมูล
คลังข้อมูลที่เอเจนต์สามารถค้นหาได้จะถูกจำกัดโดยนโยบายอยู่แล้ว ดังนั้นข้อผิดพลาดเกี่ยวกับสิทธิ์การใช้งานจึงไม่สามารถหลุดรอดออกมาเป็นแหล่งอ้างอิงที่รั่วไหลได้
การให้คะแนนแบบไฮบริด ไม่ใช่แค่เวกเตอร์เพียงอย่างเดียว
ความคล้ายคลึงของเวกเตอร์จะถูกนำมารวมกับการจับคู่คำสำคัญและความเป็นศูนย์กลางของกราฟ ซึ่งช่วยให้ยังคงค้นหาตัวระบุที่ตรงเป๊ะและคำที่พบได้ยากเจอ
คำตอบมาพร้อมหลักฐานอ้างอิงข้อมูล
ข้อความที่เป็นที่มาของข้อกล่าวอ้างจะถูกแนบไปกับข้อกล่าวอ้างนั้นโดยตรง แทนที่จะถูกสร้างขึ้นใหม่ในภายหลัง
คำถาม
- เอเจนต์จำการสนทนาของเราได้หรือไม่?
- ไม่ใช่ในแบบที่ "หน่วยความจำ" มักจะหมายถึง นี่คือการค้นคืนข้อมูลจากเอกสารที่คุณจัดเตรียมไว้ ประวัติการสนทนาจะถูกเก็บไว้เป็นรายเซสชัน และจะไม่ถูกกลั่นกรองเป็นโปรไฟล์ถาวร
- How does retrieval work?
- Documents are chunked, embedded and indexed. At answer time a hybrid of vector similarity, keyword match and graph centrality selects the best passages, and each one carries a receipt back to its source.
The rest of the bag
การกำหนดสิทธิ์รายเอกสารที่กรองคำตอบ ไม่ใช่แค่หน้าเว็บ
การประมวลผลนโยบายจะถูกแคชไว้ต่อเซสชันเพื่อความรวดเร็ว การเปลี่ยนแปลงสิทธิ์จะส่งผลเมื่อแคชถูกล้างข้อมูล แทนที่จะส่งผลทันทีกับทุกคำขอที่กำลังดำเนินการอยู่
ทุกโฟลเดอร์และเอกสารย่อยจะมีนโยบายการเข้าถึง: สาธารณะ, ลงชื่อเข้าใช้แล้ว, หรือได้รับการอนุมัติจากเจ้าของ นโยบายเหล่านี้จะถูกประมวลผลเป็นกรอบข้อมูลต่อเซสชันเพื่อกรองสิ่งที่เอเจนต์สามารถดึงข้อมูลได้ก่อนที่จะตอบกลับ ทะเบียนความสามารถ (capability registry) จะควบคุมฟีเจอร์ทั้งหมดตามผู้เช่า (tenant) และการตรวจสอบการเข้าถึงที่สำคัญจะถูกปิดกั้นการเข้าถึงเมื่อเกิดข้อผิดพลาด (fail closed)
เอกสาร
โครงสร้างโฟลเดอร์ที่เอเจนต์ใช้อ่าน และไฟล์กำหนดค่าที่เอเจนต์ปฏิบัติตาม
การดึงข้อมูลครอบคลุมไฟล์ PDF, สเปรดชีต และบันทึกการสนทนา ส่วนไฟล์ไบนารีรูปแบบพิเศษจะไม่ถูกแยกวิเคราะห์
เหตุการณ์
บัญชีแยกประเภทที่ทนทานซึ่งบันทึกสิ่งที่เอเจนต์ทำและเหตุผล
event bus ภายในกระบวนการ (in-process) เป็นตัวส่งสัญญาณแบบโหนดเดียว (single-node emitter) ไม่ใช่โบรกเกอร์แบบกระจายศูนย์ (distributed broker) ส่วนบันทึกข้ามเอเจนต์ที่ทนทานนั้นเป็นบัญชีแยกประเภทงาน Postgres ที่แยกต่างหาก
That was step 5 of 6: the agent consults its bag. Next, tasks, delegation edges, decisions and artifacts persist as rows you can replay, and the spend is already accounted for.