gbox: เซิร์ฟเวอร์ MCP ที่ให้ตัวแทนทำงานกับ GUI และอุปกรณ์จริง
gbox, จาก Babelcloud, เป็นเซิร์ฟเวอร์ MCP และเครื่องมือบรรทัดคำสั่งที่เชื่อมต่อโมเดลภาษาขนาดใหญ่กับส่วนติดต่อผู้ใช้กราฟิกเพื่อทำให้การทำงานอัตโนมัติใน Android, เบราว์เซอร์ และสภาพแวดล้อมเดสก์ท็อป มันเปิดเผยอินเทอร์เฟซโปรโตคอลและ CLI สำหรับการเขียนสคริปต์การทำงานหลายขั้นตอนและการควบคุมตัวแทนภายนอก เครื่องมือนี้มุ่งเป้าไปที่นักพัฒนาที่สร้างตัวแทนอิสระ วิศวกร QA ที่มุ่งเน้นการทดสอบมือถือและเว็บ และผู้ใช้ที่มีพลังที่รวม LLMs เข้ากับท่อการทำงานอัตโนมัติในท้องถิ่น.
GBox จัดการการทำงานอัตโนมัติของ GUI ที่ใช้งานได้จริงในมือถือ, เว็บ, และเดสก์ท็อป
ในฐานะที่เป็นตัวควบคุมข้ามแพลตฟอร์ม เซิร์ฟเวอร์รองรับอุปกรณ์ Android (ทั้งแบบจริงและอีมูเลเตอร์), เบราว์เซอร์ที่ใช้ Chromium ผ่าน Playwright หรือ Puppeteer, และสภาพแวดล้อมเดสก์ท็อป; สิ่งนี้ทำให้สามารถทำงานแบบ end-to-end เช่น การทดสอบแอปมือถือและเซสชันการวิจัยเบราว์เซอร์ ในทางปฏิบัติ เครื่องมือจะรับคำสั่งที่เขียนไว้หรือคำสั่งที่ขับเคลื่อนโดยตัวแทนและดำเนินการเวิร์กโฟลว์หลายขั้นตอน ทำให้สามารถใช้งานสำหรับงาน UI ที่ทำซ้ำและลำดับการทดสอบอัตโนมัติได้.
การรวมวิสัยทัศน์และการเข้าถึงกำหนดความน่าเชื่อถือของผลลัพธ์
GBox รวมการแปล UI ที่อิงจากวิสัยทัศน์เข้ากับการเข้าถึงต้นไม้การเข้าถึง ทำให้สามารถระบุข้อความและองค์ประกอบเชิงโต้ตอบได้อย่างแม่นยำตามพิกเซลและการโต้ตอบที่มีความหน่วงต่ำเมื่อมีต้นไม้การเข้าถึง สิ่งที่เป็นพื้นฐานทางวิสัย-เชิงความหมายนี้ได้รับเครดิตในอัตราความสำเร็จของงานที่สูงในเกณฑ์มาตรฐานเช่น WebArena ซึ่งแสดงให้เห็นว่าเครื่องมือผลิตการกระทำที่สามารถทำซ้ำได้และตรวจสอบได้เมื่อองค์ประกอบสามารถค้นพบได้ทั้งทางสายตาหรือโปรแกรม.
ข้อกำหนดการป้อนข้อมูลและการรวมแพลตฟอร์มกำหนดข้อจำกัดที่ชัดเจน
เซิร์ฟเวอร์ถูกส่งมอบในฐานะ CLI และส่วนประกอบโฮสต์ MCP และต้องการ Node.js พร้อม ADB สำหรับการรวมมือถือ; การควบคุม Android แบบจริงต้องเปิดโหมดนักพัฒนาและการเข้าถึงอุปกรณ์ มันถูกออกแบบมาให้ทำงานร่วมกับลูกค้าที่เข้ากันได้กับ MCP เช่น Claude Desktop และ Cursor และขึ้นอยู่กับเบราว์เซอร์ที่ใช้ Chromium สำหรับการควบคุมเว็บ ดังนั้นสภาพแวดล้อมที่ขาดชิ้นส่วนเหล่านั้นต้องการการตั้งค่าเพิ่มเติมก่อนการใช้งาน.
การพิจารณาเวิร์กโฟลว์ที่มุ่งเน้นนักพัฒนาและการดำเนินงาน
เครื่องมือมุ่งเป้าไปที่นักพัฒนาและวิศวกร QA ที่จัดการอุปกรณ์ท้องถิ่นและโครงสร้างพื้นฐานของตัวแทน; การปรับเข้ากับเวิร์กโฟลว์ถือว่ามีความคุ้นเคยกับเครื่องมือบรรทัดคำ, การดีบักอุปกรณ์, และโฮสต์ MCP การสนับสนุนคำสั่งในภาษาธรรมชาติช่วยลดการเขียนโค้ดตัวเลือกด้วยตนเอง แต่การรวมเซิร์ฟเวอร์เข้ากับการทดสอบอย่างต่อเนื่องหรือท่อของตัวแทนต้องการระยะการกำหนดค่าขั้นต้นและการตรวจสอบการทดสอบแบบวนซ้ำเพื่อจับกรณีขอบและความไม่เสถียร.
GBox เป็นทางเลือกที่เหมาะสมสำหรับทีมเทคนิคที่สร้างอินเทอร์เฟซที่ขับเคลื่อนด้วยตัวแทน
GBox เหมาะสำหรับทีมที่คุ้นเคยกับการจัดการอุปกรณ์ท้องถิ่นและเครื่องมือ CLI ที่ต้องการการควบคุมโปรแกรมเชิงซอฟต์แวร์จริง; คาดว่าจะมีการกำหนดค่าเริ่มต้นและรอบการทดสอบแบบวนซ้ำเพื่อยืนยันการทำงานอัตโนมัติที่ซับซ้อน ปฏิบัติต่อการกระทำของตัวแทนเป็นขั้นตอนที่สามารถทำให้เป็นอัตโนมัติได้ซึ่งยังคงต้องการการตรวจสอบจากมนุษย์สำหรับเวิร์กโฟลว์ที่มีความเสี่ยงสูง และรวมการทำงานซ้ำและการบันทึกลงในท่อเพื่อจับกรณีขอบก่อนการใช้งานจริง.
