정말로 엉뚱한 생각 - Shannon's Channel Coding Theorem

내가 원하는 것이 무엇일까 하고 추구해온 지가 벌써 30년이 훌쩍 넘어버렸다^^.
하지만 아직도 공부할 것은 지천이고, 지금 하고 있는 것도 소화하기가 너무 어렵다.

그래도 용기를 잃지 않는 것은 꿈을 가지고 있기 때문인데,
그런 의미에서 Information Theory는 나에게 시사해 주는 점이 많다.

기본적으로 human intent의 발견을 주제로 하고 있는 나의 연구에서
지금 공부하고 있는 것이 시사하는 바를 압축적으로 나타내는 문장을 찾을 수 있었다.(p199)

Shannon used a number of new ideas to prove that information can be sent reliably over a channel
at all rates up to the channel capacity. These ideas include:
Shannon은 모든 범위의 체널 용량에서 정보를 신뢰성있게 보낼 수 있다는 새로운 생각을 정립했다.
이 생각에는 다음 사항이 포함된다:

1. Allowing an arbitrarily small but nonzero probability of error
   임의의 소량, 하지만 존재하는 에러를 허용한다.

2. Using the channel many times in succession,
   so that the law of large numbers comes into effect
   체널을 여러번 성공적으로 이용한다, 즉 강대수의 법칙이 유효하게 된다.

3. Calculating the average of the probability of error over a random choice of codebooks,
   which symmetrizes the probability, and which can then be used to show the existence
   of at least one good code
   무작위적인 코드북의 선택을 기초로 한 평균 에러확률의 계산은 확률을 평준화시키고,
   적어도 하나의 좋은 코드가 존재함을 보이는 데 사용될 수 있다.

조금 황당한 생각일 수도 있지만, 나는 사람의 시각 또는 생각을 noisy channel로 인식하고 있다.
즉, 시각(또는 시각을 포함한 지각)을 통한 input이 사람의 생각이라는 channel을 통해서
지식이라는 output으로 가는 과정을 겪는다는 것이고,
이 channel의 noise는 사람이 이미 가진 지식을 통해서 결정된다는 것이다.
(이는 output이 이전의 input과 output 모두에게서 영향을 받는다는 것을 의미하기도 한다.)
이러한 체널을 많이 사용하면 잘못 판단할 확률이 평준화되고, 좋은 정보를 판단할 능력을 가지게
된다는 논리가 되는가...? 나도 아직 헷갈리네^^

위 Shannon의 정리는 이런 의미에서 시사하는 바가 크다고 할 수 있다.