話す際のジェスチャーと脳の予測機能に関する研究
私たちは日常的にジェスチャーを用いて話しますが、その「なぜ」については深く考えられていません。多くの言語研究が音声のみに焦点を当てる中、マックス・プランク心理言語学研究所の研究者たちは、対面での会話における手振りジェスチャーの役割を解明しようと試みました。研究リーダーのMarlijn ter Bekke氏によると、言語の仕組みを真に理解するためには、顔の表情、視線、頭の動き、手のジェスチャーといった身体信号も考慮に入れる必要があります。
私たちの脳は、単に情報を解釈するだけでなく、予測するように設計されており、ジェスチャーはこの予測プロセスをさらに加速させる可能性があります。
研究方法：アイコニック・ジェスチャーの観察
研究では、人間の音声と同期した仮想アバターを使用し、参加者グループ全体で一貫性を保ちつつ、話し方とジェスチャーを制御しました。
研究は2つの実験で構成されました。
- 実験1：予測精度の測定
参加者は、仮想アバターが質問をするビデオを見ました。
質問が終わる前にビデオが停止し、参加者は質問がどのように終わるかを推測して入力するよう求められました。
各質問には、以下の3つのバージョンのビデオがありました。
アバターが「アイコニック・ジェスチャー」を行うもの。アイコニック・ジェスチャーとは、飲酒を表すためにコップを持つように手を口に持っていくなど、具体的な概念を描写する手の動きです。
アバターがコントロール動作（肘をかく、あごを拭くなどの身だしなみ動作）を行うもの。
アバターが手の動きを全くしないもの。
コントロール動作やジェスチャーなしのビデオは、アイコンジェスチャーが持つ意味を区別するために必要でした。
- 実験2：脳活動の測定
別の参加者グループを対象に、アイコンジェスチャーとコントロール動作のビデオを視聴・聴取する際の脳活動をEEG（脳波計）で記録しました。
ターゲットワードの前に短い無音のポーズを設け、十分なクリーンな脳波データ（オシレーションデータ）を収集しました。
研究結果：ジェスチャーが予測を促進
実験1の結果: ターゲットワードの全体的な予測精度は12.9%でした。
コントロール動作または手の動きがないビデオの場合の予測精度は7.8%でした。
先行するアイコンジェスチャーがあるビデオの場合の予測精度は23%で、これは約3倍高い結果となりました。
コントロール動作と手の動きがないビデオの間には、予測精度に目立った差はありませんでした。
実験2の結果: ポーズ中に、アイコンジェスチャーと組み合わせた場合に、コントロール動作と比較してアルファ波とベータ波のパワーが減少する神経振動が観察されました。これは期待（anticipation）の顕著な指標です。
脳を「予測マシン」と捉える見解
ter Bekke氏の研究は、聞き手が早期のジェスチャーを使って今後の意味を予測できることを示していますが、話者が聞き手の予測を助けるためにジェスチャーをしていると自動的に結論づけることはできません。ジェスチャーには、話者と聞き手の両方にとって様々な有益な効果があります。
この分野を研究しているサルフォード大学のJack Wilson博士は、アンディ・クラークの「私たちの脳は本質的に予測マシンである」という見解を支持しています。脳の役割は、私たちが生き残ることを確実にすることであり、その一つの方法が、私たちが経験することを予測することです。
この現象は、私たちの話すこととジェスチャーをする行動にも当てはまります。話すとき、私たちは何を言い、どんなジェスチャーをするかを予測し、相手がどう反応するかを予測しています。相手もまた、話者が何を言っているかを理解するために、話者の話し方やジェスチャーの予測を使っています。
したがって、ジェスチャーは聞き手が何を言うかを予測するのを助けるために作られるのではなく、話すこととジェスチャーすることのプロセス全体が予測に基づいている結果として、聞き手の予測を助けるという側面があるのです。これは、ジェスチャーを多くする人でも控えめな人でも当てはまります。
視覚化能力が高い人は精神的なイメージに頼ってジェスチャーをするかもしれませんが、視覚化能力が低い人は、複雑なアイデアを考える際にメモ帳が役立つように、ジェスチャーが提供するライブの視覚情報に頼るかもしれません。
限界と今後の展望
ter Bekke氏の研究は、オランダ語の処理に焦点を当て、Western, Educated, Industrialized, Rich, and Democratic (WEIRD)な参加者サンプルに限定されていました。文化や言語の違いがジェスチャーの仕方や頻度に影響を与える可能性があるため、多様な文化や言語を代表する参加者サンプルでの研究が、さらなる洞察をもたらす可能性があります。
Wilson博士は、「すべてのコミュニケーションはマルチモーダルである」と強調しています。純粋に言語的であるように見えるコミュニケーション行為でさえ、非言語的な特徴が理解に影響を与え、私たちの脳が、おそらく迅速な予測を通じて、その全体的な意味を理解するのに役立っているのです。
元記事：What Using Our Hands While Speaking Reveals About Our Brains