หลักการเอนโทรปีสูงสุด พื้นฐานการอนุมานทางสถิติและสารสนเทศ

หลักการเอนโทรปีสูงสุด (Principle of Maximum Entropy หรือ MaxEnt) คือหลักการในการเลือกการกระจายตัวของความน่าจะเป็น (Probability Distribution) ที่เหมาะสมที่สุด เมื่อเรามีข้อมูลจำกัดหรือมีข้อจำกัด (Constraints) บางประการ โดยหลักการนี้ระบุว่า ในบรรดาการกระจายตัวของความน่าจะเป็นทั้งหมดที่สอดคล้องกับข้อจำกัดที่กำหนดให้ การกระจายตัวที่ทำให้ค่า เอนโทรปีของแชนนอน (Shannon Entropy) มีค่าสูงสุดคือตัวเลือกที่เหมาะสมที่สุด

หัวใจสำคัญของหลักการนี้คือการสร้างการกระจายตัวที่ "ผูกมัดน้อยที่สุด" (Least Committal) ซึ่งหมายความว่าเราจะไม่เพิ่มโครงสร้างหรือสมมติฐานใดๆ ลงไปในข้อมูล นอกเหนือจากสิ่งที่ข้อมูลที่มีอยู่บ่งชี้อย่างชัดเจนทางตรรกะ เพื่อหลีกเลี่ยงการนำเข้าข้อมูลที่ไม่มีหลักฐานสนับสนุน

พื้นฐานทางทฤษฎีและการคำนวณ

เอนโทรปีในบริบทนี้ทำหน้าที่เป็นตัววัดปริมาณข้อมูลที่คาดหวัง หรือระดับความประหลาดใจ (Log-surprise) ของผลลัพธ์เมื่อเทียบกับมาตรวัดอ้างอิง การทำให้เอนโทรปีสูงสุดจึงเป็นการรับประกันว่าเราไม่ได้กำหนดระเบียบหรือรูปแบบเพิ่มเติมที่ข้อจำกัดไม่ได้ระบุไว้

ในการประยุกต์ใช้จริง จำเป็นต้องกำหนดเอนโทรปีเทียบกับมาตรวัดหรือความน่าจะเป็นก่อนหน้า (Prior) ที่ระบุไว้:

• กรณีไม่ต่อเนื่อง (Discrete cases): ใช้เอนโทรปีของแชนนอนเทียบกับมาตรวัดการนับ (Counting measure) หรือน้ำหนักก่อนหน้าที่กำหนด
• กรณีต่อเนื่อง (Continuous cases): เนื่องจากเอนโทรปีเชิงอนุพันธ์ (Differential entropy) ไม่มีความคงตัวภายใต้การเปลี่ยนตัวแปร จึงมีการใช้ เอนโทรปีสัมพัทธ์ (Relative Entropy) หรือการลดค่าความเบี่ยงเบนของคูลแบ็ค-ไลบ์เลอร์ (Kullback–Leibler divergence) ให้เหลือน้อยที่สุดเทียบกับความหนาแน่นอ้างอิง $m(x)$ โดยใช้สูตรการคำนวณดังนี้:

ประวัติและความเป็นมา

หลักการนี้ถูกนำเสนออย่างเป็นทางการโดย E. T. Jaynes ในปี ค.ศ. 1957 ผ่านบทความวิจัยสองฉบับ โดย Jaynes ได้ชี้ให้เห็นถึงความเชื่อมโยงอย่างเป็นธรรมชาติระหว่าง กลศาสตร์สถิติ (Statistical Mechanics) และ ทฤษฎีสารสนเทศ (Information Theory)

Jaynes โต้แย้งว่าวิธีการของ Gibbs ในกลศาสตร์สถิติมีความสมเหตุสมผล เพราะเอนโทรปีในทางฟิสิกส์และเอนโทรปีในทางสารสนเทศแท้จริงแล้วคือแนวคิดเดียวกัน ดังนั้น กลศาสตร์สถิติจึงควรถูกมองว่าเป็นกรณีเฉพาะของการใช้เครื่องมือการอนุมานทางตรรกะและทฤษฎีสารสนเทศในระดับทั่วไป

การประยุกต์ใช้และข้อมูลที่ทดสอบได้

ในทางปฏิบัติ ข้อมูลที่นำมาใช้มักอยู่ในรูปของปริมาณที่คงที่ (Conserved quantities) เช่น ค่าเฉลี่ยของฟังก์ชันโมเมนต์ ซึ่งเป็นวิธีที่ใช้บ่อยที่สุดในอุณหพลศาสตร์เชิงสถิติ นอกจากนี้ยังสามารถกำหนดผ่านสมมาตร (Symmetries) ของการกระจายตัวของความน่าจะเป็นได้เช่นกัน

ข้อมูลที่ทดสอบได้ (Testable Information)

หลักการเอนโทรปีสูงสุดจะมีประโยชน์ก็ต่อเมื่อนำไปใช้กับ "ข้อมูลที่ทดสอบได้" ซึ่งหมายถึงข้อความเกี่ยวกับการกระจายตัวของความน่าจะเป็นที่สามารถระบุความจริงหรือความเท็จได้อย่างชัดเจน ตัวอย่างเช่น:

• ข้อความที่ระบุค่าเฉพาะของตัวแปร $x$
• ข้อความที่ระบุว่าผลรวมของความน่าจะเป็นของเหตุการณ์บางอย่างมีค่ามากกว่าเกณฑ์ที่กำหนด เช่น $p_2 + p_3 > 0.6$

เมื่อได้รับข้อมูลที่ทดสอบได้เหล่านี้ กระบวนการของ MaxEnt จะเป็นการค้นหาการกระจายตัวของความน่าจะเป็นที่ทำให้ค่าเอนโทรปีสูงสุด ภายใต้ข้อจำกัดดังกล่าว ซึ่งมักจะใช้วิธีการหาค่าเหมาะสมที่สุดแบบมีเงื่อนไข (Constrained Optimization) เช่น วิธีตัวคูณลากรานจ์ (Lagrange multipliers)

ความสำคัญในเชิงญาณวิทยา

ในเชิงภาษาทั่วไป หลักการเอนโทรปีสูงสุดสะท้อนถึง ความถ่อมตัวทางพุทธิปัญญา (Epistemic modesty) หรือการยอมรับในความไม่รู้ (Maximum ignorance) โดยการเลือกการกระจายตัวที่อ้างว่า "รู้ข้อมูลน้อยที่สุด" นอกเหนือจากข้อมูลที่มีอยู่จริง เพื่อป้องกันการสร้างสมมติฐานที่เกินจริงและรักษาความเที่ยงตรงในการอนุมานทางสถิติ