액체 상태 기계 (Liquid State Machine)

한 줄 정의: 저수지 안의 유닛이 스파이킹 뉴런으로 이루어진 저수지 컴퓨팅의 한 종류로, 저수지의 활동 패턴만 읽어내면 복잡한 시계열도 예측할 수 있는 신경망 구조입니다.

쉽게 풀면

물통에 돌을 던지면 물결 패턴이 생기고, 그 물결 패턴만 관찰해도 어떤 돌이 어떻게 던져졌는지 짐작할 수 있습니다. Liquid State Machine(LSM)이라는 이름은 여기서 나왔습니다. 무작위로 서로 연결된 스파이킹 뉴런 집합("저수지")에 시계열 데이터를 흘려 넣으면, 저수지 내부의 뉴런들이 그 신호를 복잡하고 고차원적인 활동 패턴으로 바꿔줍니다. 이 저수지의 연결 가중치는 학습시키지 않고 고정해두며, 오직 저수지의 활동을 읽어내는 출력층(readout)만 학습시킵니다. 그래서 일반 순환신경망보다 학습할 파라미터가 훨씬 적고 학습이 빠릅니다.

왜 중요한가

Liquid State Machine은 저수지 컴퓨팅(reservoir computing)이라는 큰 흐름 속에서 뉴로모픽 컴퓨팅과 신경과학을 잇는 대표적인 모델이기 때문에, 시계열 예측뿐 아니라 생물학적으로 그럴듯한 신경망 학습 방식을 탐구하는 논문에서 자주 다뤄집니다. 저수지 자체는 학습시키지 않고 출력층만 학습시키는 구조 덕분에 학습 비용이 적고 하드웨어로 구현하기 쉬워, 저전력 뉴로모픽 칩이나 실시간 신호처리 응용을 연구하는 논문에서 실용적인 대안으로 제시되기도 합니다. 또한 실제 생물의 뇌에서 관찰되는 스파이킹 뉴런의 동작 방식을 모사한다는 점에서, 계산신경과학 연구에서 뇌의 정보처리 방식을 설명하는 이론적 모델로도 활용됩니다.

논문에서는 이렇게 쓰입니다

"우리는 뉴런 유사 유닛과 아스트로사이트 유사 유닛으로 구성된 저수지를 Liquid State Machine으로 구현하고, 로렌츠 시스템의 카오스적 궤적을 예측하도록 학습시켰다."

이 문장은 스파이킹 유닛으로 이루어진 저수지를 만들고, 그 저수지의 활동만으로 카오스 시계열의 미래를 예측하는 실험 설계를 설명하고 있다는 뜻입니다.

"제안된 Liquid State Machine은 뉴로모픽 하드웨어 상에서 구현되어, 기존 순환신경망 대비 소비 전력을 크게 절감하면서도 음성 명령어 인식 과제에서 유사한 정확도를 유지하였다."

이 문장은 저수지 신경망을 저전력 전용 칩에서 동작하도록 구현했더니, 전력은 훨씬 적게 쓰면서도 음성 인식 성능은 기존 방식과 비슷하게 나왔다는 뜻입니다.

"Liquid State Machine의 저수지 상태를 이용해 뇌파(EEG) 신호로부터 운동 의도를 분류하는 뇌-컴퓨터 인터페이스 시스템을 구성하였다."

이 문장은 저수지 신경망이 만들어낸 활동 패턴을 이용해, 뇌파 신호만으로 사용자가 어떤 동작을 하려는지를 구분해내는 시스템을 만들었다는 뜻입니다.

조금 더 깊게 보면

저수지의 성능은 흔히 분리성(separation property, 서로 다른 입력을 얼마나 다른 상태로 구분해내는지)과 근사 성능(approximation property, 출력층이 원하는 함수를 얼마나 잘 근사할 수 있는지)이라는 두 가지 특성으로 평가됩니다. 저수지가 지나치게 활발하게 반응하면 혼돈스러운 상태로 빠지고, 반대로 너무 둔감하면 입력 정보가 금방 사라져버리기 때문에, 두 극단 사이의 적절한 동작 영역(흔히 "혼돈의 경계" 근방)을 찾는 것이 중요하다고 알려져 있습니다. 실제 구현에서는 뉴런의 개수, 연결 밀도, 시간 상수 같은 저수지의 하이퍼파라미터를 조정하여 이 동작 영역을 맞추는 경우가 많습니다.

주의할 점

LSM의 핵심 전제는 "저수지가 다 해주고 출력층은 단순한 선형 판독기로 충분하다"는 것입니다. 만약 출력층에 다층 퍼셉트론 같은 비선형 구조를 쓴다면, 성능 향상이 저수지 자체의 능력 때문인지 비선형 출력층의 능력 때문인지 분리하기 어려워집니다. 저수지의 유닛이 실수값으로 동작하면 LSM이 아니라 에코 상태 네트워크라고 부릅니다.