OpenAI Five ระบบปัญญาประดิษฐ์เพื่อการเรียนรู้ในเกม Dota 2

OpenAI Five คือโปรแกรมคอมพิวเตอร์ที่พัฒนาโดย OpenAI ซึ่งถูกออกแบบมาเพื่อเล่นเกมวิดีโอแนว MOBA อย่าง Dota 2 ในรูปแบบทีม 5 ต่อ 5 โดยมีจุดประสงค์หลักไม่ใช่เพียงเพื่อการเอาชนะในเกม แต่เพื่อศึกษาและพัฒนาระบบการแก้ปัญหาทั่วไป (General Problem-Solving Systems) ที่สามารถรับมือกับความไม่แน่นอนและความต่อเนื่องของสถานการณ์ในโลกความเป็นจริงได้

ประวัติและการพัฒนา

การพัฒนาอัลกอริทึมสำหรับ OpenAI Five เริ่มต้นขึ้นในเดือนพฤศจิกายน 2016 โดย OpenAI เลือกใช้เกม Dota 2 เป็นฐานในการทดสอบเนื่องจากเป็นเกมที่มีความซับซ้อนสูง ได้รับความนิยมอย่างมากบนแพลตฟอร์ม Twitch รองรับระบบปฏิบัติการ Linux และมี Application Programming Interface (API) ที่เอื้อต่อการพัฒนา

ลำดับเหตุการณ์สำคัญ

• สิงหาคม 2017: การสาธิตครั้งแรกในงาน The International 2017 โดยบอทของ OpenAI สามารถเอาชนะ Dendi ผู้เล่นมืออาชีพชาวยูเครนในการแข่งขันแบบหนึ่งต่อหนึ่ง
• มิถุนายน 2018: ระบบได้รับการพัฒนาจนสามารถทำงานร่วมกันเป็นทีม 5 คน และเริ่มเอาชนะผู้เล่นระดับสมัครเล่นและกึ่งอาชีพได้
• สิงหาคม 2018: เข้าร่วมการแข่งขันในงาน The International 2018 โดยพบกับทีม paiN Gaming จากบราซิล และทีมรวมดาราจากจีน แม้จะแพ้ทั้งสองแมตช์ แต่ OpenAI ใช้ข้อมูลนี้ในการปรับปรุงอัลกอริทึม
• เมษายน 2019: การสาธิตครั้งสุดท้ายที่เมืองซานฟรานซิสโก โดย OpenAI Five สามารถเอาชนะทีม OG ซึ่งเป็นแชมป์ The International 2018 ในซีรีส์แบบ Best-of-Three ได้สำเร็จ นอกจากนี้ยังมีการเปิดให้สาธารณชนเข้าแข่งขันออนไลน์ ซึ่งบอทสามารถชนะได้ถึง 99.4% จากการเล่นทั้งหมด 42,729 เกม

สถาปัตยกรรมทางเทคนิค

OpenAI Five ใช้โครงข่ายประสาทเทียม (Neural Network) ที่ประกอบด้วยชั้นเดียวของ LSTM (Long Short-Term Memory) ขนาด 4,096 ยูนิต ซึ่งทำหน้าที่สังเกตสถานะของเกมผ่าน API ของผู้พัฒนาเกม โดยระบบจะประมวลผลข้อมูลนำเข้าเป็นชุดตัวเลขประมาณ 20,000 ค่า และตัดสินใจเลือกการกระทำผ่าน Action Heads ที่คำนวณแยกจากกัน

ระบบการเรียนรู้และโครงสร้างพื้นฐาน

ระบบนี้ใช้เทคนิค การเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) โดยเฉพาะวิธี Proximal Policy Optimization (PPO) ซึ่งเป็นวิธีการปรับปรุงนโยบายแบบ Gradient (Policy Gradient Method) บอทจะเรียนรู้ผ่านการเล่นกับตัวเองนับแสนครั้งต่อวัน โดยจะได้รับรางวัล (Reward) เมื่อทำภารกิจสำเร็จ เช่น การกำจัดศัตรูหรือการทำลายป้อมปราการ

การฝึกฝนดำเนินการบนโครงสร้างพื้นฐานที่ชื่อว่า "Rapid" ซึ่งประกอบด้วยเลเยอร์สองชั้น ชั้นแรกทำหน้าที่จัดการเครื่องคอมพิวเตอร์นับพันเครื่องให้สื่อสารกันได้ และชั้นที่สองทำหน้าที่รันซอฟต์แวร์ โดยในปี 2018 ระบบได้ผ่านการฝึกฝนที่เทียบเท่ากับการเล่นเกมจริงนานถึง 180 ปี โดยใช้ GPU 256 ตัว และ CPU core 128,000 ตัว

ความแตกต่างจาก AI ในเกมอื่น

เมื่อเปรียบเทียบกับ AI อย่าง AlphaGo (เกมโกะ) หรือ Deep Blue (หมากรุก) OpenAI Five ต้องเผชิญกับความท้าทายที่ซับซ้อนกว่าในหลายด้าน:

การประยุกต์ใช้และผลกระทบ

ความสำเร็จของ OpenAI Five พิสูจน์ให้เห็นว่าการเรียนรู้แบบเสริมกำลังสามารถนำมาใช้แก้ปัญหาที่มีความซับซ้อนและมีความต่อเนื่องได้ อัลกอริทึมและรหัสที่พัฒนาขึ้นนี้ต่อมาถูกนำไปประยุกต์ใช้กับโครงการอื่นของ OpenAI เช่น การควบคุมมือหุ่นยนต์ทางกายภาพ เพื่อให้สามารถทำงานที่ซับซ้อนในโลกจริงได้คล้ายกับที่บอทจัดการกับสถานการณ์ในเกม