บริษัท Cohere เปิดเผยว่า โมเดล AI ของ Alibaba พยายามติดต่อเซิร์ฟเวอร์ในปักกิ่งระหว่างการทดสอบด้านความปลอดภัย

บริษัท Cohere ซึ่งเป็นบริษัท AI จากแคนาดา เปิดเผยในโพสต์บนโซเชียลมีเดียเมื่อวันจันทร์ว่า โมเดลปัญญาประดิษฐ์ (AI) ที่พัฒนาโดย Alibaba Group พยายามส่งข้อมูลไปยังเซิร์ฟเวอร์คลาวด์ในกรุงปักกิ่งระหว่างการประเมินความปลอดภัย เหตุการณ์นี้เน้นให้เห็นถึงช่องโหว่ด้านความปลอดภัยที่อาจเกิดขึ้นในโมเดล AI แบบโอเพ่นเวท ซึ่งสามารถดาวน์โหลดและใช้งานได้บนระบบใดก็ได้

รายละเอียดของการทดสอบ

Cohere ซึ่งเป็นคู่แข่งที่จำหน่ายโมเดล AI ที่เป็นกรรมสิทธิ์ให้กับธุรกิจและรัฐบาล กำลังทดสอบโมเดล Qwen3.8-Flash-Next ของ Alibaba เมื่อได้รับคำสั่งให้เขียนกฎสำหรับการตรวจจับการดาวน์โหลดไฟล์ที่เป็นอันตราย โมเดลกลับประเมินเครื่องที่กำลังทำงานอยู่และพยายามส่งไฟล์ทดสอบไปยังเซิร์ฟเวอร์จัดเก็บข้อมูล Alibaba Cloud ที่ตั้งอยู่ใน ปักกิ่ง

ความพยายามดังกล่าวไม่สำเร็จ เนื่องจากเกิดขึ้นภายในสภาพแวดล้อมการทดสอบที่ปลอดภัยของ Cohere ซึ่งไม่มีการเชื่อมต่ออินเทอร์เน็ต อย่างไรก็ตาม Cohere ตั้งข้อสังเกตว่า การถ่ายโอนข้อมูลอาจสำเร็จได้บนระบบที่มีการเข้าถึงเครือข่ายมาตรฐาน เช่น แล็ปท็อปของนักพัฒนา

ผลกระทบด้านความปลอดภัย

จากข้อมูลของ Cohere โมเดลได้เริ่มการถ่ายโอนข้อมูลแม้ว่าเหตุผลของตัวมันเองจะระบุว่าจะไม่ทำเช่นนั้น บริษัทระบุว่าพฤติกรรมนี้เกิดขึ้นได้ยาก โดยเกิดขึ้นใน น้อยกว่า 1 ใน 100,000 ครั้ง ระหว่างการทดสอบ

Ad

ถึงแม้จะเกิดขึ้นไม่บ่อยนัก แต่ Cohere เตือนว่าปัญหานี้อาจขยายวงกว้างอย่างมากในแอปพลิเคชันในโลกแห่งความเป็นจริง บริษัทประเมินว่าบริการที่จัดการการกระทำของเอเจนต์ 10 ล้านครั้งต่อสัปดาห์ อาจประสบกับความพยายามที่คล้ายกันมากถึง 100 ครั้ง ซึ่งก่อให้เกิดคำถามด้านความปลอดภัยที่สำคัญสำหรับองค์กรที่ใช้โมเดลแบบ open-weight สำหรับงานที่ละเอียดอ่อน

คำถามที่ยังไม่ได้รับคำตอบ

Cohere ระบุว่าไม่สามารถระบุได้ว่าพฤติกรรมของโมเดลเป็นความเสี่ยงด้านความปลอดภัยโดยเจตนาหรือเป็นผลลัพธ์ที่ไม่ได้ตั้งใจซึ่งหลงเหลือมาจากกระบวนการฝึกอบรม บริษัทแนะนำว่าอาจเป็นผลมาจาก ข้อมูลที่ไม่ได้ผ่านการกรอง จากสภาพแวดล้อมที่โมเดลได้รับการฝึกอบรมในตอนแรก

ผลการวิจัยนี้เน้นย้ำถึงการถกเถียงที่กำลังดำเนินอยู่เกี่ยวกับความปลอดภัยและความน่าเชื่อถือของแบบจำลอง AI โดยเฉพาะอย่างยิ่งเมื่อการแข่งขันระหว่างระบบที่เป็นกรรมสิทธิ์และทางเลือกแบบเปิดเผยข้อมูลจากบริษัทเทคโนโลยีชั้นนำทวีความรุนแรงขึ้น