Neural representation learning이란?

■ 표현 학습(representation learning)

representation learning은 원시 데이터(raw data)로부터 유용한 표현(representation)을 자동으로 학습하는 방법론으로, Machine learning의 하위 분야로서 데이터의 핵심 정보를 추출하고 이를 컴퓨터가 처리할 수 있는 형식으로 변환하는 과정입니다.

 

▷ 세상을 표현하는 방식의 중요성

머신러닝에서 다루는 데이터는 매우 고차원적이고 복잡한 구조를 띠고 있습니다.

raw data를 그대로 처리하는 것은 비효율적이거나 불가능하기에, 중요한 패턴이나 구조를 발견하고 이를 압축하여 변환하는 과정이 필요합니다.

Representation은 이러한 과정을 통해 추출된 정보의 압축된 형태로, 데이터의 핵심적인 특성을 잃지 않고도 단순화된 결과물입니다.

이러한 표현이 잘 만들어질수록 머신러닝 모델의 성능은 향상되며, 새로운 데이터에 대한 예측 능력도 강화됩니다.

 

▷ 세상을 표현하는 두 가지 방식

인간은 복잡한 사물이나 개념을 추상화하고 구조화된 방식으로 이해하지만, 기계는 그렇게 자연스럽게 추상화 할 수 있는 능력이 없기에 representation learning은 데이터로부터 자동으로 특징(feature)을 발견하여 추상화하는 역할을 합니다.

그림 1.

전통적인 머신러닝 방법에서는 인간이 세상을 받아들이는 방법대로, 사람이 직접 데이터를 분석하고 feature를 추출하는 방식이 사용되었습니다.

예를 들어, 과거에는 사과와 같은 물체를 표현하기 위해 사람이 직접 color, shape, leaf presence와 같은 특징을 정의하고, 이를 컴퓨터가 처리할 수 있는 형태로 가공했습니다.

이를 handcrafted feature engineering이라고 부릅니다. 예를 들어, 사과의 색을 'red', 모양을 'round', 잎이 있는지를 'yes'로 설정하는 방식입니다.

 

그러나 이 방식은 모든 데이터에 대해 각각의 feature를 사람이 정의해야 하므로, 매우 많은 시간과 노력이 요구됩니다. 또한, 사람이 정의한 feature는 고차원적이고 복잡한 데이터에서 중요한 정보를 놓칠 수 있습니다.

따라서, representation learning은 이러한 한계를 극복하고자 등장한 방법입니다. representation learning은 이런 과정을 자동화하여, 모델이 데이터를 입력받아 스스로 중요한 feature를 학습하는 방식입니다.

이 방식에서는 사과를 벡터 형태의 숫자로 표현합니다. 이 숫자 덩어리는 사람이 직관적으로 이해하기 어렵지만, 기계에게는 의미 있는 정보를 담고 있습니다.

이는 사람이 미리 정의하지 않은 잠재적인 특징도 자동으로 발견할 수 있기 때문에 더 복잡한 문제에서도 유연하게 적용됩니다.

 

이렇게 세상을 표현하는 방식에는 과거 인공지능에 적용된 사람의 방식과, 최근 인공지능에 적용되고 있는 방식 두 가지가 존재합니다.

 

▷ 분산 표현(Distributed Representation)

representation learning에서 핵심적인 개념 중 하나는 분산 표현(Distributed Representation)입니다.

이는 데이터의 각 요소가 독립적으로 표현되는 것이 아니라, 여러 차원에 걸쳐 나누어져 표현되는 방식을 의미합니다.

고양이라는 한 객체를 대상으로 사람의 방식과 인공지능의 방식을 상세하게 살펴보겠습니다. 

 

그림 2.

예를 들어, 단어를 one-hot encoding 방식에서는 우리가 사용 가능한 어휘가 10만 개 있다고 가정할 때, ‘고양이’라는 단어가 4번째에 해당한다면, 'cat'이라는 단어를 [0, 0, 0, 1, 0, 0...]과 같은 이진 벡터로 표현합니다.

이 방식은 각 단어를 명확하게 구분할 수 있지만, 방금 예시의 경우 고양이 한 마리를 표현하기 위해 공간적으로 10만 개의 차원이 필요한 것처럼 벡터가 매우 고차원이며 단어 간의 의미적 유사성을 반영하지 못합니다.

 

반면, distributed representation에서는 100차원 정도의 낮은 차원의 벡터로도 고양이를 표현할 수 있습니다.  'cat'이라는 단어를 [34.2, 93.2, 45.3...]과 같은 연속된 실수 벡터로 표현합니다. 이러한 벡터는 고차원 공간에서 단어 간의 유사성을 반영할 수 있어, 기계가 더 깊은 수준의 의미를 학습할 수 있게 해줍니다.

이런 방식은 정보가 여러 차원에 걸쳐 분산되어있기에 분산 표현, distributed representation라고 부르는 것입니다. 즉, distributed representation는 고차원 데이터를 더 효율적으로 표현하고, 나아가 데이터의 내재적인 관계를 파악하는 데 매우 유용한 방식입니다.

 

distributed representation의 대표적인 예로는 Word2Vec와 같은 임베딩 기법이 있습니다.

Word2Vec은 단어를 벡터로 변환하여, 의미적으로 유사한 단어들이 벡터 공간에서 더 가깝게 위치하도록 학습합니다.

이러한 방식은 자연어 처리(NLP)에서 유용하게 활용되며, 이미지나 음성 데이터에서도 비슷한 원리로 적용될 수 있습니다.

 

▷잠재 변수(Latent Variable)

representation learning에서 또 중요한 개념으로는 잠재 변수(Latent Variable)가 있습니다. Latent Variable는 직접적으로 관측되지 않지만, 모델이 학습을 통해 추론해내는 변수로, 데이터의 중요한 내재적 특성을 반영하는 숨겨진 변수입니다.

Latent Variable은 데이터를 설명하는 숨겨진 특성이나 패턴을 반영하며, 이를 통해 모델은 더 나은 추론과 일반화를 할 수 있습니다.

 

일반적으로 우리가 다루는 데이터는 두 가지 형태로 나뉩니다.

첫 번째는 실제로 관측 가능한 데이터로, 측정할 수 있는 수치나 명확한 정보입니다. 예를 들어, 날씨 데이터에서 비가 온 날의 수나 온도와 같은 값은 관측 가능한 데이터입니다.

그러나 두 번째 유형의 데이터는 잠재 변수(Latent Variable)로, 직접 관측할 수 없는 숨겨진 변수입니다.

이러한 변수는 모델이 데이터를 통해 추론해야만 파악할 수 있는 정보입니다. 예를 들어, '기분'이나 '의도' 같은 추상적 개념은 관측할 수 없지만, 특정 행동 패턴을 통해 추론할 수 있는 잠재 변수입니다.

 

그림 3.

우리의 목표는 관측 가능한 데이터 x로부터 Latent Variable h를 추론하는 것입니다.

이 과정에서 중요한 점은, x가 변화할 때 h도 그에 맞춰 유사하게 변화해야 한다는 것입니다.

예를 들어, 그림 3에서 x와 h는 수학적으로 연결되어 있으며, x의 변화에 따라 h의 가능한 공간이 좁혀집니다.

초기에는 h가 가질 수 있는 값의 범위가 무한대에 가깝지만, x의 변화 추세에 따라 h의 범위도 점차 제한됩니다.

 

추론 도구 1: 데이터의 수

Latent Variable h의 값을 추정하는 첫 번째 중요한 도구는 데이터의 수입니다.

데이터 포인트가 많아질수록 x(관측 가능한 데이터)와 h(잠재 변수) 사이의 관계가 더욱 명확하게 드러나며, 모델은 더 정교하게 h를 추론할 수 있습니다.

이 과정은 특히 복잡한 데이터나 다양한 상황에서 h의 진정한 역할을 파악하는 데 중요한 역할을 합니다.

 

초기에 h는 관측 불가능한 변수이기 때문에, 우리가 가진 데이터 x만을 가지고 추론하는 것은 몹시 제한적일 수 있습니다.

만약 데이터 포인트가 적다면, h가 나타내는 패턴이 우연인지, 아니면 실제로 x와 연관이 있는지 판단하기 어렵습니다.

예를 들어, 비가 오는 날의 데이터가 3일 정도밖에 없다면, 그 데이터를 가지고 내일의 날씨를 정확하게 예측하는 것은 매우 어렵습니다.

 

또한, h가 관측 데이터 x의 원인인지, 결과인지 또는 그저 우연의 일치인지를 명확히 구분할 수 없습니다.

단 하나의 데이터 포인트만을 가지고 x와 h의 관계를 설명하는 것은 신뢰성이 떨어질 수 있기 때문에, 더 많은 데이터가 필요하게 됩니다.

그림 4.

그림 4에서 볼 수 있듯이, 데이터 포인트가 증가하면 h가 가질 수 있는 가능한 범위가 좁아지기 시작합니다.

예를 들어, x가 날씨와 관련된 데이터이고, h가 기후 상태를 나타내는 Latent Variable이라면, x 데이터가 많아질수록 h를 더 구체적으로 추론할 수 있게 됩니다.

 

데이터 포인트가 100개, 1000개, 혹은 그 이상으로 늘어나게 되면, x의 변화와 h의 변화를 연결하는 더 명확한 패턴을 발견할 수 있습니다.

이로써, h는 단순히 우연히 나타난 결과가 아니라, x와 실제로 관련이 있는 중요한 잠재 변수임을 확인할 수 있습니다.

예를 들어, 1000개의 날씨 데이터를 수집한 결과, h가 특정 패턴을 따라 변화한다면, 그 패턴은 x와 h 사이의 유의미한 관계를 반영하게 됩니다.

 

데이터가 적을 때는 x와 h 사이의 관계를 우연으로 판단할 가능성이 큽니다.

예를 들어, "까마귀가 날 때 사과가 떨어진다"라는 관계는 몇몇 경우에서는 일어날 수 있지만, 이를 인과 관계로 설명하기에는 무리가 있습니다.

하지만 더 많은 데이터가 주어질 때, x와 h 사이의 관계는 통계적으로 더 명확해지고, 이로 인해 우리는 우연과 실제 패턴을 구분할 수 있게 됩니다.

 

이러한 데이터 양의 증가는 모델이 h를 더 정확하게 추론할 수 있도록 돕고, Latent Variable이 데이터에서 어떤 역할을 하는지를 명확하게 밝혀줍니다.

여기서 중요한 점은, 단순히 데이터의 수가 많다고 해서 항상 더 좋은 추론 결과가 나오는 것은 아니라는 것입니다. 데이터의 품질 또한 매우 중요한 역할을 합니다.

즉, 데이터가 많을수록 h와 x의 관계를 더 명확하게 파악할 수 있지만, 그 데이터가 정확하고 신뢰성이 있어야만 의미 있는 추론이 가능합니다.

 

추론 도구 2: 구조적 연관성

구조적 연관성은 Latent Variable h의 가능한 값을 더 정밀하게 추론하기 위한 또 하나의 중요한 도구입니다.

관측 가능한 추가 변수 y를 도입하여 h와 x의 관계를 더욱 세밀하게 분석함으로써, h가 가질 수 있는 공간을 좁히고 더 구체적으로 추론할 수 있습니다.

그림 5에서 볼 수 있듯이, 여러 변수들의 상호 연관성을 고려함으로써 h의 의미를 보다 정확하게 파악할 수 있습니다.

그림 5.

처음에 우리는 x와 h의 관계만을 고려하였지만, 이 경우 h가 가질 수 있는 공간은 여전히 넓고 불확실성이 큽니다.

x의 변화만으로는 h가 정확히 어떤 의미를 가지는지 명확하게 알 수 없는 경우가 많습니다.

이런 한계를 극복하기 위해 추가적인 변수 y를 도입하여 h의 범위를 좁히는 방식이 사용됩니다.

 

y는 x와 마찬가지로 관측 가능한 변수로, h와 상호 연관성을 가질 수 있는 변수입니다.

예를 들어, 기후 모델에서 x가 온도라면, y는 습도나 바람 속도와 같은 추가적인 기후 변수가 될 수 있습니다.

이때, y는 h(기후 상태)에 영향을 줄 수 있는 또 다른 중요한 변수로 작용하여, x와 h의 관계를 보다 명확하게 해줍니다.

 

y를 도입하면 h가 가능한 범위는 더욱 좁혀집니다. 이는 x와 y가 함께 h에 영향을 미치기 때문입니다.

그림 5에서 보이는 것처럼, x와 y가 결합하여 h와의 관계를 정의할 수 있는 공간을 더 제한된 범위로 압축하게 됩니다.

예를 들어, x가 온도, y가 습도라고 할 때, h가 나타내는 기후 상태는 온도와 습도의 상호작용에 의해 정의됩니다.

이 경우, 단순히 x만으로는 h를 완전히 설명할 수 없었지만, y라는 추가 변수의 도입으로 인해 h가 가질 수 있는 가능한 값의 범위는 더 좁아지고, 그 의미는 더 구체화됩니다.

 

이러한 구조적 연관성의 개념을 확장하여, x, y 외에도 다른 관측 가능한 변수 z 등을 도입할 수 있습니다.

각 변수는 h에 대한 추가적인 정보를 제공하며, 이를 통해 h의 범위는 더욱 좁아지게 됩니다.

다양한 변수를 활용하면 h가 데이터의 특정 측면을 더 잘 설명할 수 있도록 도와줍니다.

 

예를 들어, 기후 예측 모델에서 x가 온도, y가 습도, z가 바람 속도라면, h는 이러한 변수들의 복합적인 영향을 받아 나타나는 기후 상태일 수 있습니다.

이처럼 x와 y가 각각 개별적으로 h와 관련되어 있더라도, x, y, z가 함께 작용할 때 h를 더 정밀하게 설명할 수 있게 됩니다.

 

여러 변수를 함께 고려하는 것은 네트워크 아키텍처를 구성하는 것과 유사합니다.

x, y, z 등의 변수들이 상호 연관되어 Latent Variable h에 영향을 미치며, 이 관계를 파악함으로써 모델은 h가 나타내는 특정 패턴이나 특징을 더 정확하게 추론할 수 있습니다.

이러한 구조적 연관성은 데이터 간의 관계를 심층적으로 분석하고 h의 의미를 명확히 하는 데 중요한 역할을 합니다.

 

이렇게 구조적 연관성은 Latent Variable 추론 과정에서 매우 중요한 역할을 합니다.

여러 변수를 함께 고려함으로써 단순한 관측 데이터 x만으로는 얻을 수 없었던 추가 정보를 확보하게 되고, h의 가능한 공간을 제한하여 더 의미 있는 결과를 도출할 수 있게 됩니다.

 

▷representation learning의 목적

오늘 알아본 대로, 표현 학습의 궁극적인 목적은 복잡한 데이터를 보다 단순하고 의미 있는 형식으로 변환하여, 모델이 이를 바탕으로 더 나은 예측과 일반화 능력을 발휘할 수 있도록 돕는 것입니다.

표현 학습에서 중요한 점은 학습된 표현이 단순히 학습 데이터에 적합한 것이 아니라, 새로운 데이터에도 잘 적용될 수 있는 일반화된 표현이어야 한다는 점입니다.

 

▷출처: [링크]

 

■ Neural representation learning

여기까지 representation learning에 대해 이해하셨다면, 이제 이 개념을 Neural Representation Learning으로 확장하여, 뇌 신호를 바탕으로 데이터를 학습하고 분석하는 과정에 대해 설명하겠습니다.

Neural Representation Learning은 뇌에서 발생하는 신경 활동을 학습하여 이를 유용한 representation으로 변환하는 기법입니다.

이 과정은 주로 뇌 신호(예: EEG, fMRI)를 기반으로, neural network와 같은 딥러닝 모델을 통해 뇌의 신경 신호를 컴퓨터가 이해할 수 있는 형식으로 변환하고, 그 표현을 이용하여 특정 작업을 수행하는 방식입니다.

이러한 작업은 의사소통, 행동 예측, 또는 뇌-컴퓨터 인터페이스(BCI)에 활용될 수 있습니다.

 

▷ Neural Representation Learning 개요

뇌는 매우 복잡한 신경 네트워크로 구성되어 있으며, 여기에서 발생하는 신호는 복잡하고 동적인 패턴을 형성합니다.

Neural Representation Learning은 이와 같은 신호로부터 의미 있는 패턴을 추출하고, 그것을 바탕으로 우리가 이해하거나 사용할 수 있는 정보로 변환하는 과정을 의미합니다.

이때 사용되는 데이터는 주로 EEG(뇌파)나 fMRI(기능적 자기공명영상)와 같은 비침습적(non-invasive) 방식으로 수집된 신경 신호입니다.

 

다시 간단하게 말하자면, Neural Representation Learning은 뇌 신호를 기반으로 특정 작업과의 관계를 학습하는 방식입니다.

즉, 뇌의 특정 영역에서 발생하는 신호를 입력으로 받아, 이를 통해 사용자가 의도하는 행동이나 말, 혹은 감정 상태를 추론하는 것입니다.

예를 들어, 사람이 단어를 상상할 때 뇌에서 발생하는 신호를 학습하고, 이를 통해 실제 음성을 생성하는 시스템을 개발할 수 있습니다.

 

이 과정은 뇌 신호를 모델의 입력 데이터로 사용하여, 학습하고자 하는 결과값(예: 발화 의도, 동작, 감정 등)과의 관계를 최적화하는 방향으로 진행됩니다.

딥러닝 모델은 이를 학습하면서, 뇌 신호로부터 점진적으로 더 복잡한 패턴을 인식하게 됩니다.

 

▷ Distributed Representation과 Neural Representation Learning

Distributed Representation의 개념은 Neural Representation Learning에도 그대로 적용됩니다.

뇌 신호는 매우 복잡하고 고차원적인 데이터로 이루어져 있기 때문에, 이를 하나의 이진 벡터로 표현하는 것은 불가능합니다.

따라서, 신경 신호를 여러 차원에 걸쳐 분산된 실수 벡터로 표현하는 방식이 사용됩니다.

이는 distributed representation으로서, 뇌 신호의 미묘한 패턴을 더 정밀하게 포착할 수 있게 해 줍니다.

 

이 방식은 BCI에서 사용자의 뇌 신호를 분석하여, 그 신호를 통해 컴퓨터나 외부 장치를 제어할 수 있게 합니다.

이를 위해 Neural Representation Learning은 뇌에서 발생하는 복잡한 신호를 다차원적인 벡터로 변환하고, 이를 바탕으로 사용자가 원하는 작업을 예측하거나 수행하게 됩니다.

 

▷ Latent Variable과 Neural Representation Learning

Neural Representation Learning에서는 뇌 신호에서 직접적으로 관측할 수 없는 Latent Variable를 추론하는 과정이 중요합니다.

뇌의 신경 활동은 매우 복잡하기 때문에, 우리가 직접적으로 관측할 수 없는 신경 네트워크의 상태를 Latent Variable로 추론하고, 이를 통해 뇌 신호의 더 깊은 의미를 파악할 수 있습니다.

 

예를 들어, 사용자가 특정 단어를 떠올릴 때 발생하는 뇌 신호는 직접적인 음성으로 관측되지 않지만, 이를 학습하고 추론하여 그 사람이 의도하는 단어를 추출해낼 수 있습니다.

이러한 Latent Variable는 뇌 신호에서 중요한 정보를 내재하고 있으며, 이를 통해 더 나은 예측과 일반화 능력을 갖춘 모델을 만들  있습니다.