11 · Information
11 · สารสนเทศ
Third hearing of Part II. Chapters 09 and 10 measured what computation can do and how long it takes; this one asks what computation actually moves when it runs at all — and whether that thing is the whole world, or a very useful abstraction from it.
การไต่สวนครั้งที่สามของภาค II บทที่ 09 และ 10 วัดไปแล้วว่าการคำนวณทำอะไรได้ และใช้เวลานานเท่าไร บทนี้ถามสิ่งที่อยู่ก่อนหน้านั้น: เวลาการคำนวณทำงาน มันเคลื่อนอะไรกันแน่ — และสิ่งนั้นคือโลกทั้งใบ หรือเป็นเพียง abstraction ที่สกัดออกมาจากโลกและใช้ได้ดีมาก
Is information the stuff the world is made of?
สารสนเทศคือเนื้อวัสดุที่โลกทั้งใบก่อขึ้นมาหรือไม่?
Claude Shannon opened "A Mathematical Theory of Communication" in the Bell System Technical Journal in July and October 1948 with a sentence that would outlive the telephone-switching problem it was written to solve: "Frequently the messages have meaning; that is, they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem." Chapter 00 quoted the line to mark computing's original forgetting; this chapter audits what the bracket actually bought, and what it cost. What Shannon needed was a way to quantify how much a signal could be compressed and how reliably it could survive noise, regardless of what it was about — and his measure, entropy, H = −Σp log p, does exactly that. A page of Shakespeare and a page of the same length generated by a fair coin flip can carry identical Shannon information if their symbol frequencies match, because the quantity is about surprise, not significance. The bracket was honest and correct for the problem in front of him. It has been treated as a metaphysics ever since — a discipline that can measure information without asking what it is of eventually builds systems it can quantify and cannot interpret, and that gap is this chapter's subject.
ประโยคเปิดของ Claude Shannon อยู่ยืนยาวกว่าปัญหาการสลับสายโทรศัพท์ที่มันถูกเขียนขึ้นมาแก้ เขาเปิดบทความ "A Mathematical Theory of Communication" ใน Bell System Technical Journal เดือนกรกฎาคมและตุลาคม 1948 ว่า "บ่อยครั้งที่ข้อความมีความหมาย นั่นคือ มันอ้างถึงหรือมีความสัมพันธ์กับสิ่งที่มีอยู่จริงทางกายภาพหรือทางมโนทัศน์บางระบบ แง่มุมเชิงความหมาย (semantic) เหล่านี้ของการสื่อสารไม่เกี่ยวข้องกับปัญหาเชิงวิศวกรรม" บทที่ 00 ยกประโยคนี้มาปักหมุดการลืมครั้งแรกของวงการคำนวณ บทนี้ตรวจบัญชีว่าวงเล็บนั้นซื้ออะไรมาได้ และจ่ายอะไรไป สิ่งที่ Shannon ต้องการคือเครื่องมือบอกว่าสัญญาณหนึ่งบีบอัดได้แค่ไหน และทนสัญญาณรบกวนได้แค่ไหน โดยไม่ต้องสนว่ามันพูดถึงอะไร เอนโทรปี (entropy) H = −Σp log p ของเขาทำงานนั้นได้พอดี หน้ากระดาษจากงานของ Shakespeare กับหน้ากระดาษยาวเท่ากันที่ได้จากการโยนเหรียญที่ยุติธรรม มีสารสนเทศแบบ Shannon เท่ากันได้ ถ้าความถี่ของสัญลักษณ์ตรงกัน เพราะปริมาณนี้วัดความประหลาดใจ ไม่ใช่ความสำคัญ วงเล็บนั้นซื่อตรงและถูกต้องกับปัญหาที่วางอยู่ตรงหน้าเขา แต่คนรุ่นหลังอ่านมันเป็นอภิปรัชญา สาขาวิชาที่วัดสารสนเทศได้โดยไม่ต้องถามว่าเป็นสารสนเทศ*ของ*อะไร ลงเอยด้วยการสร้างระบบที่วัดปริมาณได้แต่ตีความไม่ได้ และช่องว่างนั้นคือเรื่องของบทนี้
Shannon's entropy measures a message against a known probability distribution of possible messages; it says nothing about a single object's own intrinsic structure. Andrei Kolmogorov's "Three Approaches to the Quantitative Definition of Information" (Problems of Information Transmission 1, no. 1, 1965) supplied that: the complexity of a string is the length of the shortest program that outputs it and stops. A million zeros compresses to a short program ("print 0, one million times"); a string of the same length generated by fair coin flips compresses, with overwhelming probability, to nothing shorter than itself — a formal definition of randomness as incompressibility. Kolmogorov was not first. Ray Solomonoff had described algorithmic probability independently at Caltech in 1960 and published "A Formal Theory of Inductive Inference" (Information and Control 7, 1964: 1–22, 224–254) for a different purpose entirely: not measuring randomness but formalizing induction itself. Solomonoff's universal prior weights every hypothesis by the length of the shortest program that generates the observed data, turning "prefer the simplest explanation" from a maxim into an equation — Occam's razor with a ruler. Solomonoff's work went almost unnoticed until Kolmogorov's later, more rigorously presented papers cited it; priority runs one way, fame ran the other, and Jorma Rissanen's minimum description length principle (1978) turned the same idea into a working tool for choosing between statistical models.
เอนโทรปีของ Shannon วัดข้อความหนึ่งเทียบกับการแจกแจงความน่าจะเป็นที่รู้อยู่แล้วของข้อความที่เป็นไปได้ มันไม่บอกอะไรเลยเกี่ยวกับโครงสร้างในตัวของวัตถุชิ้นเดียว สิ่งที่บอกได้คือบทความ "Three Approaches to the Quantitative Definition of Information" ของ Andrei Kolmogorov (Problems of Information Transmission 1, no. 1, 1965) ความซับซ้อนโคลโมโกรอฟ (Kolmogorov complexity) ของสตริงหนึ่งคือความยาวของโปรแกรมที่สั้นที่สุดที่พิมพ์สตริงนั้นออกมาแล้วหยุด เลขศูนย์หนึ่งล้านตัวย่อลงเหลือโปรแกรมสั้นๆ ("พิมพ์ 0 หนึ่งล้านครั้ง") สตริงยาวเท่ากันที่ได้จากการโยนเหรียญยุติธรรม แทบทุกกรณีย่อให้สั้นกว่าตัวมันเองไม่ได้ นั่นคือนิยามเชิงรูปนัยของความสุ่ม: บีบอัดไม่ได้ (incompressibility) Kolmogorov ไม่ใช่คนแรก Ray Solomonoff อธิบายความน่าจะเป็นเชิงอัลกอริทึม (algorithmic probability) ด้วยตัวเองที่ Caltech ตั้งแต่ปี 1960 และตีพิมพ์ "A Formal Theory of Inductive Inference" (Information and Control 7, 1964: 1–22, 224–254) เพื่อจุดประสงค์คนละอย่าง ไม่ใช่วัดความสุ่ม แต่ทำให้การอุปนัยเป็นรูปนัย prior สากล (universal prior) ของ Solomonoff ให้น้ำหนักสมมติฐานทุกข้อตามความยาวของโปรแกรมที่สั้นที่สุดที่สร้างข้อมูลที่สังเกตได้ "เลือกคำอธิบายที่ง่ายที่สุด" จึงเลิกเป็นคติพจน์และกลายเป็นสมการ — มีดโกนของ Occam ที่มีไม้บรรทัดกำกับ งานของ Solomonoff แทบไม่มีใครเหลียวแล จนบทความรุ่นหลังของ Kolmogorov ที่เรียบเรียงเข้มงวดกว่าอ้างถึงมัน ความเป็นคนแรกไปทางหนึ่ง ชื่อเสียงไปอีกทาง ส่วนหลักความยาวคำอธิบายน้อยที่สุด (minimum description length, MDL) ของ Jorma Rissanen ปี 1978 ทำไอเดียเดียวกันให้เป็นเครื่องมือใช้งานจริงสำหรับเลือกระหว่างโมเดลทางสถิติ
Rolf Landauer supplied the fact that keeps information from floating free of physics altogether. "Irreversibility and Heat Generation in the Computing Process" (IBM Journal of Research and Development 5, 1961: 183–191) showed that erasing one bit of memory — a logically irreversible operation, since the bit's prior state cannot be recovered from its blank successor — necessarily dissipates a minimum quantity of heat, on the order of kT ln 2. The claim sat as a theoretical curiosity for half a century until Antoine Bérut and colleagues built a single colloidal particle in a bistable potential and measured the predicted heat directly, published as "Experimental Verification of Landauer's Principle Linking Information and Thermodynamics" (Nature 483, 2012: 187–189). Landauer's own slogan, "information is physical," is not a metaphor: a bit erased anywhere in the universe has a thermodynamic price tag, which is exactly why Maxwell's demon — the imagined creature that seems to violate the second law of thermodynamics by sorting fast molecules from slow ones for free — turns out to owe its debt not at the sorting but at the moment it must erase its own memory of which molecule went where.
สิ่งที่ยึดสารสนเทศไว้กับฟิสิกส์ไม่ให้ลอยหลุดไปเป็นอิสระ มาจาก Rolf Landauer และถูกเรียกภายหลังว่าหลักการแลนเดาเออร์ (Landauer's principle) บทความ "Irreversibility and Heat Generation in the Computing Process" (IBM Journal of Research and Development 5, 1961: 183–191) แสดงว่าการลบความจำหนึ่งบิตต้องปล่อยความร้อนออกมาอย่างน้อยในระดับ kT ln 2 — ปฏิบัติการนี้ย้อนกลับไม่ได้เชิงตรรกะ เพราะสถานะก่อนหน้าของบิตกู้คืนจากสถานะว่างที่ตามมาไม่ได้ ข้อกล่าวอ้างนี้นอนเป็นเรื่องน่าสนใจเชิงทฤษฎีอยู่ครึ่งศตวรรษ จน Antoine Bérut กับทีมสร้างอนุภาคคอลลอยด์เดี่ยวในศักย์แบบสองสถานะ (bistable potential) แล้ววัดความร้อนที่ทำนายไว้ได้ตรงๆ ตีพิมพ์เป็น "Experimental Verification of Landauer's Principle Linking Information and Thermodynamics" (Nature 483, 2012: 187–189) คำขวัญของ Landauer เอง "สารสนเทศคือสิ่งเชิงกายภาพ" ไม่ใช่คำอุปมา บิตที่ถูกลบ ไม่ว่าที่ไหนในเอกภพ มีป้ายราคาทางเทอร์โมไดนามิกส์ติดอยู่ ปีศาจของ Maxwell จึงจ่ายหนี้ในที่ที่ไม่มีใครคาด — สิ่งมีชีวิตในจินตนาการตัวนั้นดูเหมือนละเมิดกฎข้อที่สองของเทอร์โมไดนามิกส์ได้ ด้วยการแยกโมเลกุลเร็วออกจากโมเลกุลช้าโดยไม่เสียค่าใช้จ่าย แต่หนี้ไม่ได้เกิดตอนแยก มันเกิดตอนที่มันต้องลบความจำของตัวเองว่าโมเลกุลไหนไปทางไหน
John Archibald Wheeler took the physical entanglement of information and pushed it all the way to ontology. "Information, Physics, Quantum: The Search for Links," delivered at a Santa Fe Institute meeting in 1989 and published the following year, proposed that "every it — every particle, every field of force, even the spacetime continuum itself — derives its function, its meaning, its very existence entirely" from "the apparatus-elicited answers to yes-or-no questions, binary choices, bits." Existence, on this reading, is downstream of measurement. Luciano Floridi's philosophy of information generalizes the same instinct into a proposed successor discipline to metaphysics, built on the claim that reality is best described at "levels of abstraction" defined by the observables a system tracks — informational structure, not stuff, as what is ultimately real.
John Archibald Wheeler ผลักความพัวพันเชิงกายภาพของสารสนเทศไปจนสุดทางถึงภววิทยา (ontology) บทความ "Information, Physics, Quantum: The Search for Links" ที่เขาบรรยายในงานประชุมของ Santa Fe Institute ปี 1989 และตีพิมพ์ปีถัดมา เสนอว่า "ทุก it — อนุภาคทุกตัว สนามแรงทุกสนาม แม้แต่ตัวความต่อเนื่องของกาลอวกาศเอง — ได้รับหน้าที่ ความหมาย และการมีอยู่ของตัวมันทั้งหมด" มาจาก "คำตอบที่อุปกรณ์ดึงออกมาจากคำถามใช่หรือไม่ใช่ ตัวเลือกฐานสอง บิต" อ่านแบบนี้ การมีอยู่คือสิ่งที่ตามหลังการวัด ปรัชญาสารสนเทศของ Luciano Floridi ขยายสัญชาตญาณเดียวกันขึ้นเป็นสาขาที่เสนอตัวสืบทอดตำแหน่งของอภิปรัชญา ฐานของมันคือข้ออ้างว่าความเป็นจริงอธิบายได้ดีที่สุดที่ "ระดับของ abstraction" ที่นิยามด้วยสิ่งที่สังเกตได้ (observables) ที่ระบบหนึ่งติดตาม โครงสร้างเชิงสารสนเทศ ไม่ใช่วัตถุ คือสิ่งที่จริงในท้ายที่สุด
Here the examination turns, because a fact about physical cost is not the same claim as a fact about physical constitution, and philosophy is entitled to press exactly that distinction. Landauer proved that erasing information costs energy; he did not thereby prove that energy, mass, and spacetime are made of information rather than merely correlated with it whenever computation happens inside them. Floridi's own framework quietly concedes the point by making "information" relative to a chosen level of abstraction — a physicist's level and a biologist's level carve the same event into different informational units, which is difficult to square with information being the one substrate underneath both. Wheeler's participatory universe remains a research program rather than an established result, and most physicists who work on quantum foundations treat "it from bit" as a suggestive slogan, not a settled dependency. The identification overreaches exactly where Shannon's original bracket was most honest: a theory that measures information while setting meaning aside cannot, without further argument, turn around and claim that meaning was never there to set aside.
ตรงนี้การซักถามหันหัวกลับ เพราะข้อเท็จจริงเรื่องต้นทุนเชิงกายภาพไม่ใช่ข้ออ้างเดียวกับข้อเท็จจริงเรื่ององค์ประกอบเชิงกายภาพ และปรัชญามีสิทธิ์กดที่รอยแยกนั้นตรงๆ Landauer พิสูจน์ว่าการลบสารสนเทศมีต้นทุนเป็นพลังงาน เขาไม่ได้พิสูจน์ตามมาว่าพลังงาน มวล และกาลอวกาศ สร้างขึ้นจาก สารสนเทศ แทนที่จะเพียงสัมพันธ์กับมันทุกครั้งที่การคำนวณเกิดขึ้นข้างในนั้น กรอบคิดของ Floridi เองยอมรับประเด็นนี้อยู่กลายๆ ด้วยการทำให้ "สารสนเทศ" สัมพัทธ์กับระดับของ abstraction ที่เลือกไว้ — ระดับของนักฟิสิกส์กับระดับของนักชีววิทยาหั่นเหตุการณ์เดียวกันออกเป็นหน่วยสารสนเทศคนละชุด และชุดคนละอย่างนั้นเข้ากันได้ยากกับการที่สารสนเทศเป็นสารตั้งต้นหนึ่งเดียวใต้ทั้งสองระดับ เอกภพเชิงมีส่วนร่วม (participatory universe) ของ Wheeler ยังเป็นโครงการวิจัย ไม่ใช่ผลลัพธ์ที่ยืนยันแล้ว และนักฟิสิกส์ส่วนใหญ่ที่ทำงานด้านรากฐานควอนตัมถือว่า it from bit (สสารจากบิต) เป็นคำขวัญที่ชวนคิด ไม่ใช่การพึ่งพาที่ยุติแล้ว การระบุตัวตนแบบนี้ยื่นเกินไปตรงจุดที่วงเล็บดั้งเดิมของ Shannon ซื่อตรงที่สุดพอดี ทฤษฎีที่วัดสารสนเทศได้ด้วยการกันความหมายออกไป จะหันกลับมาอ้างว่าความหมายไม่เคยมีอยู่ให้กันออกตั้งแต่แรก โดยไม่มีข้อโต้แย้งเพิ่ม ไม่ได้
Connections
เชื่อมโยง
Chapter 00 quoted Shannon's bracket to mark computing's forgetting; this chapter audits it in full. Chapter 01 keeps to Shannon's earlier, narrower 1937 circuit work. Chapter 02 takes up Floridi's informational realism as a question about what a program is. Chapter 10 supplies the sibling notion — computational complexity measures time, Kolmogorov complexity measures description length, and the two rarely coincide. Chapter 15 takes digital physics — it-from-bit's descendants, from Zuse to Wolfram — to the question of whether the universe itself computes.
บทที่ 00 ยกวงเล็บของ Shannon มาปักหมุดการลืมของวงการคำนวณ บทนี้ตรวจบัญชีมันเต็มจำนวน บทที่ 01 อยู่กับงานวงจรปี 1937 ของ Shannon ที่เก่ากว่าและแคบกว่า บทที่ 02 หยิบสัจนิยมเชิงสารสนเทศ (informational realism) ของ Floridi มาตั้งเป็นคำถามว่าโปรแกรมหนึ่งคืออะไร บทที่ 10 ให้แนวคิดพี่น้องของมัน — ความซับซ้อนเชิงคำนวณวัดเวลา Kolmogorov complexity วัดความยาวคำอธิบาย ทั้งสองแทบไม่เคยตรงกัน บทที่ 15 พาฟิสิกส์เชิงดิจิทัล (digital physics) ทายาทของ it from bit ตั้งแต่ Zuse ถึง Wolfram ไปหาคำถามว่าเอกภพเองคำนวณหรือไม่
Open questions
คำถามที่ยังเปิดอยู่
If Kolmogorov complexity is uncomputable in general — no algorithm can determine the shortest program for an arbitrary string — what does that limit say about how far Occam's razor can ever be mechanized? Does Landauer's principle really license "information is physical," or only "erasing information has a physical cost," and is the difference between those two claims the whole of the dispute over digital physics? And if levels of abstraction are chosen by observers rather than discovered in nature, can philosophy of information still claim to be describing what is real rather than what is useful to track?
ความซับซ้อนโคลโมโกรอฟคำนวณไม่ได้โดยทั่วไป ไม่มีอัลกอริทึมใดหาโปรแกรมสั้นที่สุดของสตริงใดๆ ได้ — ขีดจำกัดนั้นบอกอะไรเกี่ยวกับว่ามีดโกนของ Occam จะกลายเป็นกลไกได้ไกลแค่ไหน? หลักการแลนเดาเออร์อนุญาตให้พูดว่า "สารสนเทศคือสิ่งเชิงกายภาพ" ได้จริงหรือ หรืออนุญาตแค่ "การลบสารสนเทศมีต้นทุนเชิงกายภาพ" และความต่างระหว่างสองข้ออ้างนี้คือข้อพิพาททั้งหมดเรื่องฟิสิกส์เชิงดิจิทัลใช่หรือไม่? และถ้าระดับของ abstraction ถูกผู้สังเกตการณ์เลือกขึ้น ไม่ใช่ถูกค้นพบในธรรมชาติ ปรัชญาสารสนเทศยังอ้างได้อยู่หรือว่ากำลังอธิบายสิ่งที่เป็นจริง ไม่ใช่สิ่งที่มีประโยชน์จะติดตาม?
Go deeper
อ่านต่อ
- James Gleick, The Information: A History, a Theory, a Flood (New York: Pantheon, 2011).
- Claude Shannon, "A Mathematical Theory of Communication," Bell System Technical Journal 27 (1948): 379–423, 623–656; Ray Solomonoff, "A Formal Theory of Inductive Inference," Information and Control 7 (1964): 1–22, 224–254.
- Stanford Encyclopedia of Philosophy, "Information" — plato.stanford.edu/entries/information.
- James Gleick, The Information: A History, a Theory, a Flood (New York: Pantheon, 2011).
- Claude Shannon, "A Mathematical Theory of Communication," Bell System Technical Journal 27 (1948): 379–423, 623–656; Ray Solomonoff, "A Formal Theory of Inductive Inference," Information and Control 7 (1964): 1–22, 224–254.
- Stanford Encyclopedia of Philosophy, "Information" — plato.stanford.edu/entries/information.