【生成AI】とのおしゃべりは、子どもにとって毒か薬か？〔２児の父親である言語学者が解説〕

「視覚」と「聴覚」もつながっていて、これを示す有名な例は「マガーク効果」というものです。例えば、「が」と発音している顔を見ながら、「ば」の音を聞くと、実際には存在しない「だ」という音を知覚することがあります（図５）。

視覚の影響はかなり強く、両唇が閉じている「ば」の発音の顔がはっきり見えると、流れてきた音がなんであれ、「ば」と知覚してしまいがちです。

「McGurk effect」と検索すれば、これを実感できる動画がたくさん見つかりますので、興味がある方は、ぜひ体験してみてください。マガーク効果からもわかる通り、視覚情報と聴覚情報は統合されて処理されるのです。

触覚と聴覚でも同じことが起こります。例えば、自分の手のひらに向けて「ぱぱぱ」「ばばば」と、強めに何度か発音してみてください。「ばばば」の時には何も感じませんが、「ぱぱぱ」の時には息が感じられるのではないでしょうか？

そこで、「ぱ」と「ば」の音にノイズをかぶせて、二つの音を聞きわけづらくします。その音を、聴者に聞いてもらい、同時に空気を「右手」や「首」や「踵」にあてると、「ぱ」と知覚される確率があがるのです。つまり、触覚情報も聴覚知覚の処理に影響を与える、ということです。

この他にも、特定の音を聞きながらだと「味の知覚」が変化することも報告されています。例えば、機内のような大きな騒音が聞こえる環境では、甘味や塩味などの風味が感じにくくなることがあります（余談ですが、「うま味」は騒音下でも比較的感じやすいという研究報告もあります。この報告を聞いた時には、日本人としてちょっぴり誇らしくなりました）。