近年注目されているヒアラブルデバイスにおいて求められる機能の一つとして,手や視界を占有することのないデバイス操作機能が挙げられる. 既存製品や既存研究では認識精度や認識できるジェスチャの種類,センサの追加コストなどの点で課題が残る.これらの課題の解決のために我々は首,顎,顔の状態(頭部状態)に伴って外耳道が変形することに着目し,外耳道伝達関数を測定,解析することで現在の頭部状態を認識する手法を提案した. 提案手法は外耳道内部の音を取得できるマイクを利用するため,ノイズキャンセリング機能等との併用が可能であり,ヒアラブルデバイスとの親和性が高い. また,デバイスの着脱や時間経過による装着具合の誤差を補正することで,認識精度の向上を実現した. 11名の被験者に対して21種類の頭部状態の認識実験を行った結果,各被験者の分類器の平均認識精度は,未補正時で40.2% (F 値),補正時で62.5%(F 値)となった. 実際のアプリケーションでの利用を想定し,6種類の頭部状態の認識結果を行なった結果,未補正時で74.4%(F 値),補正時で90.0%(F 値)の認識精度が得られた.

Ear Canal Transfer Function-based Facial Expression Recognition

In this study, we propose a new input method for wearable computing using facial expressions. Facial muscle movements induce physical deformation in the ear canal. Our system utilizes such characteristics and estimates facial expressions using the ear canal transfer function (ECTF). Herein, a user puts on earphones with an equipped microphone that can record an internal sound of the ear canal. The system transmits ultrasonic band-limited swept sine signals and acquires the ECTF by analyzing the response. An important feature of the proposed method is that the microphone can also be used for other purposes, such as noise-canceling. Therefore, we consider that the proposed method is reasonable to be used in earphones. We investigated the performance of our proposed method for 21 facial expressions with 11 participants. Moreover, we proposed a signal correction method that reduces positional errors caused by attaching/detaching the device. The evaluation results confirmed that the f-score was 40.2% for the uncorrected signal method and 62.5% for the corrected signal method. We also investigated the practical performance of six facial expressions and confirmed that the f-score was 74.4% for the uncorrected signal method and 90.0% for the corrected signal method.

システム構成 / System configuration.
外耳道伝達関数の一例 / An example of ECTF.