Jr Tester - AI Chatbot Systems (Python)

Job description

• Viết và duy trì bộ integration test cho toàn bộ pipeline RAG / GraphRAG / local LLM
• Thiết kế test case đánh giá chất lượng output của Chatbot (accuracy, hallucination, latency, format)
• Xây dựng automation test suite tích hợp CI/CD, chạy tự động khi deploy phiên bản mới
• Phối hợp với Research Team để định nghĩa tiêu chí đánh giá cho từng tính năng AI mới
• Trace và báo cáo bug trong pipeline OCR → Embedding → Retrieval → LLM → Response
• Test các inference endpoint của local LLM (vLLM, Ollama…) về tốc độ, độ ổn định, resource usage
• Kiểm thử tính năng GraphRAG: truy vấn quan hệ thực thể, độ chính xác kết quả trả về
• Theo dõi và đánh giá chất lượng hệ thống theo thời gian (regression test, performance benchmark)
• Đề xuất cải tiến quy trình test dựa trên LLM Evaluation framework hiện đại (RAGAS, DeepEval…)

Your skills and experience

• Nền tảng tốt về kiểm thử phần mềm: test case design, test plan, bug report
• Thành thạo Python cơ bản (đủ để viết script automation)
• Có kinh nghiệm viết Integration Test cho REST API (Postman, pytest, requests)
• Hiểu pipeline request–response của hệ thống backend (HTTP, JSON, async flow)
• Có khái niệm cơ bản về RAG và hệ thống Chatbot (input → retrieval → LLM → output)

Ưu tiên (không bắt buộc)

• Có kinh nghiệm với Automation Testing (pytest, Selenium, Playwright hoặc tương đương)
• Biết thiết kế test case cho LLM output (đánh giá độ chính xác, hallucination, format)
• Đã từng test hệ thống RAG, QA system, Search Engine hoặc Chatbot
• Kiến thức cơ bản về Vector Database (FAISS, Qdrant, Milvus…)
• Có kinh nghiệm với CI/CD pipeline (GitHub Actions, GitLab CI)
• Hiểu sơ về local LLM (Ollama, LM Studio, vLLM) – đủ để test inference endpoint
• Biết đọc log, trace lỗi hệ thống AI (token limit, timeout, retrieval fail…)
• Có hứng thú nghiên cứu các phương pháp LLM Evaluation (RAGAS, DeepEval…)

Why you'll love working here

• Làm việc trực tiếp với team nghiên cứu AI tiên phong và được hướng dẫn trực tiếp từ Founder @ ProtonX
• Được tham gia kiểm thử và vận hành các hệ thống AI thực tế (RAG, GraphRAG, local LLM)
• Xây dựng năng lực testing chuyên sâu cho hệ thống AI: unit test → integration test → LLM evaluation
• Được đào tạo bài bản:
  • Kiểm thử phần mềm & tư duy hệ thống
  • RAG, GraphRAG & LLM từ góc độ QA
  • Automation Testing & CI/CD
  • LLM Evaluation Framework (RAGAS, DeepEval)
  • MLOps thực tế
• Lộ trình phát triển rõ ràng lên AI QA Engineer / Test Automation Engineer / MLOps Engineer