위너, [사이버네틱스] 요약 정리 02

 

 

3장 : 시계열(Time Series), 정보(Information), 의사소통(Communication)

  

   자연에는 시간 속에서 수치들 혹은 수치들의 계열(sequence)을 통한 분포(distribution)를 보이는 많은 종류의 현상들이 존재한다. 온도계에 의해 측정되는 온도치의 계열, 주식 시장에서 날마다 볼수 있는 주식 종가의 계열, 매일 기상청에 기록되는 기상학적 자료들이 보여주는 수치 등. 그런데 이와 같은 계열들은 전화라인에서의 전압 수치의 변화, 텔레비전 회로, 대공화망 시스템 등에서도 볼 수 있으며, 이와 같은 현상들을 통제하는 도구로 쓰이고 있다. 우리는 시계열을 통해 정보를 기록하고, 보존하고, 전달하고, 사용하고 있는 것이다.

  

   시계열과 정보를 수학적으로 표현해보자. 동전을 던져서 앞면이 나오면 0, 뒷면이 나오면 1이라고 표기한다면, 계속 동전을 던졌을 경우의 그 결과를 2진법으로 다음과 같이 표현할 수 있다.

하지만 이 결과를 완벽히 정확하게 측정할 수 없으므로, 정보는 다음과 같은 값으로 정의한다.

우리는 확률값이 (0,1) 사이에 있으리라는 것을 선험적으로 알지만, 그 값이 (a, b) 사이에 있다는 것을 후험적(경험적)으로 안다. 우리가 후험적 지식을 통해 얻게 되는 정보의 양은 다음과 같다.

후험적 확률을 통해 우리가 얻는 새로운 정보는 얼마나 되는가?

  

일 때,

는 곡선

과 관련된 정보의 양에 대한 합리적인 척도가 된다. 만약

가 구간 (a, b)에서 일정한 값을 가지고 나머지 구간에서는 그 값이 0인 경우, 위의 값은

이다.

2차원 공간의 경우 정보의 양은

로 표현된다. 만약

가

의 형식을 갖고 있다면

로 표현된다. 이는 독립된 정보원으로부터의 정보는 덧셈 규칙을 만족시킴을 의미한다.

  

   하나 또는 그 이상의 변수들을 고정시켰을 때의 정보는 어떻게 될까? 이는 다음과 같이 주어진다.

만약 a와 관계된 u를 전달정보(메세지)라고 하고 b와 관계된 v를 잡음이라고 할 때, 잡음이 없으면 정보는 무한대이고 잡음이 있을 경우 정보는 유한값을 가짐을 알 수 있다. 잡음이 커지면 정보는 급속하게 0에 가까워진다.

  

   앞선 장에서 정보를 음의 엔트로피라고 정의한 것을 기억한다면, 정보를 ‘잃는’ 과정은 엔트로피를 ‘얻는’ 과정과 유비시켜 생각할 수 있다. 전달정보에 어떤 작용을 가해도 평균 정보량을 증가시킬 수 없다. 역으로, 불명료한 상황을 최대한 구체화시키면 일반적으로 정보는 증가한다. 일반적으로 정보를 전달하는 방법들인 진폭 변조, 진동수 변조, 상 변조 중에서 진폭 변조가 가장 효과적이다. 이 때 각각의 방법들에 적합한 방식으로 정보를 수용해야 한다.

  

   정보를 시간 속에서 균질적인 형태로 표현하는 방법을 생각해보자...

  

   과거를 고정시켰을 경우, 우리는 어떤 통계적 매개변수 혹은 매개변수들의 집합에 대해서도 이에 대한 정보를 계산할 수 있다. 게다가 우리는 특정 시점 이후의 모든 미래 시점들에 대한 정보의 총량 또한 계산할 수 있다.

  

   주어진 시점에서의 전달정보가 갖는 가치의 분포를 결정할 수 있는가? 주어진 통계적 자료들을 근거로 오염된 전달정보로부터 가장 신빙성있는 참된 전달정보를 추려낼 수 있는가? 전달정보에 대해 갖고 있는 우리의 지식의 오류 정도에 대한 통계적인 평가가 가능한가? 전달정보가 갖고 있는 정보의 총량은 얼마인가?...

  

   다양한 종류의 시계열을 정준적인 형식으로 환원하는 문제를 해결하는 첫걸음을 내딛은 것, 정보를 측정하고 예측하는 이론을 구체적이고 형식적으로 적용하는 데 중요한 작업을 한 것... 어떤 조건들 하에서 우리는, 이미 알려진 통계적 매개변수들을 사용해서, 브라운 운동에 의해서 결정되는 시계열을 표현할 수 있는가?... 비선형 예측, 비선형 여과(filtering), 비선형적 상황 속에서의 정보의 전달을 평가하는 것, 밀집된 기체에서의 교란(turbulence) 이론 등과 관련된 많은 문제들을 합리적이고 일관적으로 다룰 수 있는 프로그램이라고 생각한다...

  

   연속적 시계열을 다루는 기법을 이산적 시계열을 다루는 데에도 유사하게 적용하는 것...

  

   선형 공명자의 응신에서 발견되는 전달정보와 소음의 문제를 해결하기 위한 가장 최적의 예측기와 파동 여과기를 고안하는 데 우리의 이론이 도움을 준다... 복수의 시계열과 연관된 문제들이 경제학, 기상학 등에서 굉장히 중요한데, 이 문제들을 다루기 위해서는 행렬이 사용되어야 하고 행렬에서는 일반적으로 교환법칙이 성립하지 않으므로 문제는 더 어려울 수밖에 없으나, 이미 일부 학자들에 의해 문제가 해결되었고...

양자역학의 문제. 양자역학에서는 고전역학에서와는 달리 과거의 시계열로부터 미래의 시계열이 정확하게 예측되지 않는다. 해당 계의 과거에 대한 충분한 정보를 제공해 줄 수 있는, 그리하여 미래에 대한 완전한 정보를 줄 수 있는 그러한 관측들의 집합이란, 일반적으로 존재하지 않는다는 것...

 

4장 : 되먹임(Feedback)과 진동(Oscillation)

  

   중추신경계는 작동체(effector)의 수행 결과를 검사(monitor)해서 검사 결과를 토대로 다시 정보를 조합하고, 이 정보를 감각 기관에 보내서 작동체를 통제한다. 이런 되먹임 작용은 현재 작동하고 있는 기관의 움직임을 억제하는(negative) 역할을 할 수 있다. 이와 같은 되먹임을 기술할 수 있는 수학적 기법들을 고안하는 것이 위너의 목표이다. 수학적 기술들은 상당히 전문적이라 이해하기가 어려움.

  

   대부분의 경우 계는 증가하지 않는 진폭을 갖고 진동하게 된다. 되먹임 작용을 이용해서, 어지간한 외부적 충격을 맞이해서도 특정 계의 평형을 이룰 수 있다는 것이 핵심적인 내용이다. 되먹임 작용이 가능하고 안정적일 경우, 이 되먹임과 관련된 신체 기관의 수행 능력이 이 기관의 부하(load)에 덜 의존적이라는 장점이 있다.

  

   몇몇 생리학적인 발작 현상은, 장기적으로 섭동을 일으키는 선형 계로 취급해서 다룰 수 있을지도 모른다...

  

   정보적인 되먹임에 의한 통제, ...우리의 신체가 보여주는 각종의 항상성(신진대사, 체온의 평형, 자동적인 수소이온농도 통제 등)을 일종의 되먹임에 의한 통제라고 이해할 수 있다.

  

<참고자료>

  

◎ 사이버네틱스 : 생물 및 기계를 포함하는 계(系)에서 제어와 통신 문제를 종합적으로 연구하는 학문. 1947년 미국 수학자 N.위너를 중심으로 하는 과학자 그룹을 사이버네틱스라고 이름지었는데, 어원은 키잡이[舵手]를 뜻하는 그리스어 kybernetes이다.

  

   위너의 정의에 따르면 사이버네틱스란 “어떤 체계에 포함되는 두 종류의 변량이 있는데, 그 하나는 우리가 직접 제어할 수 없는 것이고, 나머지는 우리가 제어할 수 있는 것으로 한다. 이때 제어할 수 없는 변량의 과거로부터 현재에 이르기까지의 값을 바탕으로 하여 제어할 수 있는 변량의 값을 적당히 정하여, 이 체계를 가장 바람직스러운 상태로 도달시키는 마법을 부여한다.”는 목적을 달성하기 위한 학문이라 하였다.

  

   이를 위하여 위너는 일반조화해석(一般調和解析), 예측(豫測)과 여파(濾波)의 이론, 비선형통계이론(非線形統計理論) 등 수학상의 새로운 이론을 많이 발전시켰다. 제어와 통신 문제에 관련된 종합적인 과학이므로 이와 관련된 학문의 분야는 매우 광범위하다. 그 중에서 대표적인 것에는 자동계산기의 이론, 제어의 이론, 정보통신이론 등이 있다.

  

   응용 분야도 광범위하여 그 경계를 분명하게 표시할 수는 없으나 중요한 것은 다음과 같다. ① 자동 계산기를 응용하여 문장이나 도형을 이해시키는 인공지능과 관련된 일, ② 전철의 자동운전이나 공장의 자동운전 등 모든 종류의 자동화와 관련된 제어공학, ③ 전화·텔레비전·우주중계·데이터전송(傳送) 등의 응용과 관련된 통신공학, ④ 생체정보의 해명, 인간공학, 인간·기계계(機械系)의 연구, 피로와 안전의 문제, 학습이나 교육기계 등과 같은 생리 및 심리학과 그밖에 경제학·사회학에의 응용 등을 들 수 있다.

  

   컴퓨터 분야에서는 생물체의 신경계를 연구하여 기계의 제어시스템에 도입하기 위한 학문으로서 정보이론, 자동제어 이론, 자동 컴퓨터 이론 등에서 사용한다. 인공 두뇌를 위해 뉴론(neuron)이라는 신경 세포를 사용하거나 인조인간인 사이보그를 연구하는 학문으로 발전하고 있다. (네이버 백과사전)

 

  

◎ 인공생명 : 유전·돌연변이·교배 등 생물의 진화과정을 적용시켜 만든 컴퓨터 프로그램이다. 생명현상의 특징인 유전자 알고리즘을 응용해 만들었다.

  

   인공생명 연구는 미국 샌타페이연구소의 크리스토퍼 랭턴이 기초를 닦았는데, 그는 1987년 9월, 미국 로스앨러모스에서 제1회 인공생명 워크숍을 개최하며 인공생명에 대한 정의를 발표하였다. 정의에 따르면 인공생명은 생명체의 특징을 갖는 인공체를 창조하기 위한 과학의 한 분야로, 유기체가 아닌 물질을 재료로 하며 본질은 정보라는 것이다.

  

   이 분야의 연구자들은 인간 중심주의와 하나의 생명 형태, 하나의 우주라는 고정관념을 부정한다. 우주에는 수많은 생명 형태가 존재한다는 것을 전제로, 탄소를 기초로 하는 생명 형태 이후의 생명 형태를 연구한다. 컴퓨터 프로그램으로 가상세계를 만들고, 이 가상세계 안에서 생명체의 탄생·성장·진화과정 등 생명활동의 본질을 연구하고 재현함으로써 인공생명을 탄생시킨다.

  

   인공생명과 비슷한 개념으로 인공지능(AI:Artificial Intelligence)이 있는데, 인공지능은 인공생명처럼 생명활동을 컴퓨터 프로그램으로 재현하는 기술이다. 하지만 인공지능은 인간의 지능구조와 의식을 이해함으로써 스스로 판단하고 행동하는 시스템 개발을 목적으로 한다는 점에서 인공생명과는 다르다.

  

   인공생명의 적용사례로는 라이프 게임(Game of Life)과 보이드(Boid), 컴퓨터 바이러스 등을 들 수 있다.