Đường ống dữ liệu (Data pipeline)
vbpl vbplnew
phapdien
- Văn bản luật (PDF, DOC, HTML)
Chunking
Bước 2: Embedding
Chuyển text → vector
-
Dùng:
-
text-embedding-3-large - hoặc open-source như
bge,e5
👉 Lưu vào Vector DB:
- FAISS
- Chroma
- Weaviate
Bước 3: Retrieval
Khi user hỏi:
"Tội lừa đảo chiếm đoạt tài sản bị phạt bao nhiêu?"
→ hệ thống:
- embed câu hỏi
- tìm top-k đoạn luật liên quan