銀座・築地 耳鼻科・アレルギー科 東京都内のいびき最新治療と実績で評判、慶友銀座クリニック。

慶友銀座クリニック

慶友銀座クリニック

東京都中央区築地 1-13-11 高橋ビル2階
03-3542-3387

耳鳴り、補聴器外来

耳鳴り、補聴器外来

耳鳴り、補聴器外来

耳鳴り

耳鳴りは、外部に音がないのに、耳の奥で何かが鳴っているように感ずるものと日本随一の辞書には記載されています。蝉の鳴き声のようなジーンや金属音のキーン、高い音のピーなどの音で表現されます。他にはセミの鳴き声やモーター音などで表現されることもあります。英語でTinnitus(耳鳴:じめい・耳鳴り:みみなり)という言葉は、ラテン語tinnreからきているとのことです。日本では、小林一茶や石川啄木も耳鳴りで苦しんでいたようです。

◆◆ 耳鳴りの研究の歴史 ◆◆
古代ギリシャ時代の医学の父、ヒポクラテス(紀元前460~370年頃)の時代から耳鳴の研究は行われているようです。紀元前の昔から研究されているが、いまだに「難治」の病であります。現代医学でもまだま耳鳴りのメカニズムは完全には解明されていません。以前から耳鳴りのメカニズムには4つの仮説がいわれています。
 まず内耳でつくられる音に関連した耳音響放射説があります。耳鳴りと慢性疼痛の両者の類似点は多く、痛みを客観的に測定できないこと、精神的な状況が関係してくること、ちょっとした刺激に対して過敏に反応してしまうことなどが類似していることから、慢性疼痛類似説というものがあります。耳の中に存在する2種類の細胞のうち、片方に障害が出てしまうことによって耳鳴りが起こるという内外有毛細胞不一致説というものがあります。あと脳のどこかに障害が生じた場合、ある周波数の音を聞き取れなくなる状態が続いてしまうと、その周波数に近い音に脳が過敏に反応するようになってしまい、それが耳鳴りとして聞こえるという神経同調説があります。耳鳴りの高さを測ると難聴になった音の高さと正常な部分との境目で耳なりがなっていることも多く、この説を支持する根拠ともなっています。
 ここ30年の耳鳴りの研究ではMRIを使った脳の研究の発展とともに、耳鳴りは音を電気信号にかえる蝸牛の機能低下が耳鳴りの原因という考えから、電気信号が脳に送られたときの反応の問題により脳で耳鳴りがおこるのではないかという考えになってきています。
 キシロカインという麻酔の注射をすると一時的に耳鳴りが消えてしまうことがある言う現象があります。以前は注射をすると頑固な耳鳴も注射をしているとき、ほんの10秒程度ですが、消えてしまうので治療の一環として行われていました。私も大学院時代に、小川先生の元でイノシトール3リン酸の蝸牛における役割を研究しており、キシロカインの作用がイノシトール3リン酸の回路に作用し耳鳴りを抑制するのではないかということで、イタリアで行われた世界耳鼻咽喉科学会で発表しましたが、最近の研究をみていますと、蝸牛という末梢ではなく脳に関係があるようです。

◆◆ 耳鳴りの有病率 ◆◆
日本の補聴器会社が2009年度に実施した「耳鳴りに関するアンケート」では、「事前スクリーニング調査」を実施し、日本での耳鳴り有症率を調べました。40~70代の世代男女均等割した3,900人に耳鳴り(気になる症状)があるかどうかについて質問した結果、現在自覚症状があると答えた人の合計は全体の22%と全体の5分の1の方が、耳鳴りがあるとの結果が出ました。日本国内で調べた3,900人のうち、耳鳴の自覚症状のある人を40代~70代男女均等割で416名にしぼり、「耳鳴り」に関するアンケートを実施しましたところ、耳鳴り自覚者の中でも23.6%の人が常時その音を意識していることが判明しました。年代別では40代が19%、50代が21%、60代が24%、70代が27%の方が、耳鳴りの自覚症状があるようです。年代的に高齢になるほど、耳鳴りを自覚している人が多くなってきているのがわかります。
 耳鳴りがある方では、23.6%が常時鳴っており、26.4%が過去に経験したことがある、時々鳴るは約半分の50%です。常時耳鳴りが鳴っている方の中で、気になる症状としては、体の事が心配になる人は45.3%、不安な気持ちになる44.2%、イライラするが41.9%、夜眠れないが31.4%でした。あと落ち込んでしまうが14.0%、絶望的な気持ちになるが2.3%といました。このような方は本当に大変だと思います。
 耳鳴りのためにイライラしたり、耳鳴りのために体のことが心配になる、耳鳴りのために不安な気持ちになるという方が、耳鳴りの自覚症状のある方の割合の中で約4割苦しんでいるとの報告もあります。

◆◆ 耳鳴りの原因と考えられる病気 ◆◆
外耳の病気としては耳垢塞栓や外耳道炎、外耳道膿瘍、外耳道狭窄などがあります。中耳の病気としては耳管狭窄症、滲出性中耳炎、急性や慢性の中耳炎や真珠腫性中耳炎があります。病気の原因として一番多いと考えられる内耳の病気としては、老人性難聴や騒音性難聴や突発性難聴、急性低音部感音難聴、メニエール病、内耳炎があります。他に聴神経から大脳皮質までの中枢系として聴神経腫瘍や脳梗塞や脳出血があります。 耳鳴りを起こしている方でこの中枢系の病気を気にする人がいますが、特に耳鳴り症状に変化無く、麻痺や体の変化に異常がなく、数年以内に脳のMRIなどで脳の精査をしたことがあれば可能性はとても低いと思いと思われます。
中枢系で多い聴神経腫瘍(聴神経鞘腫)は脳腫瘍の約7-10%をしめます。比較的頻度の高い良性腫瘍です。30~50歳台の女性に多く発症します。聴神経には蝸牛神経(聴力)と前庭神経(平衡感覚)の2種類があり、聴神経腫瘍の殆どは前庭神経から発生します。ほとんどは小脳橋角部に発生します。ほとんどが良性の腫瘍です。他の臓器に転移したり、短期間に急激に大きくなることはまずありません。10万人に対して1人程度と言われています。最近のMRIの発達により、もう少し頻度は多いのではないかと考えられています。 最初の自覚症状多いのは聴力の低下です。腫瘍が神経を圧迫したり破壊することにより、めまいや耳鳴りを発症します。また、腫瘍が大きくなると、顔面神経麻痺や顔面の痙攣や知覚の麻痺を起こします。放置して大きくなると。脳を圧迫してしまい歩行の障害や意識の障害を生じてしまいます。 聴力検査などの検査に加え、早期診断のためにMRIを撮ります。以前MRIを撮り問題はなかったが聴力の低下が持続し、期間をおいて撮ってみたら、聴神経腫瘍だったということも経験上あります。腫瘍が放置されると、大きくなって周囲の組織や神経を圧迫するようになります。MRIのない昔は、発見が手遅れになったり、死因が不明の事例もかなりありました。治療は腫瘍が小さい場合(1cm以下)や高齢者では、まずは自然経過です。聴神経腫瘍のほとんどが1年で平均1-2mm程度しか大きくならないとする報告があります。まず、6ヶ月後、1年後にMRIを撮影し、変化がなければ、その後も1年に1度MRIを撮影し、経過をみます。放射線治療には、ガンマナイフやサイバーナイフと、がんの治療に用いる装置を利用した分割照射法の2つの方法があります。手術には、主に3つの方法があります。耳鼻咽喉科で行う、経迷路法です。これは耳の後ろ側から、中耳内耳を経由し腫瘍を摘出します。脳神経外科が行う後頭部から腫瘍を摘出する後頭下開頭法(後S状静脈洞法)という方法があります。3つめは中頭蓋窩法という、側頭部の骨を取り外し、側頭葉を持ち上げながら腫瘍を摘出する方法です。どれらの手術方法も、患者さんの経過をじっくり見ながら手術方法を選択します。

◆◆ 耳鳴りのメカニズム ◆◆
耳からの音の信号(空気の信号)は外耳道の奥の鼓膜を振るわせたルートと、他に頭の骨の振動のルートが奥の蝸牛で電気信号に変換され、聴神経を伝って中枢に伝わります。中枢経路は、大脳の奥にある脳幹にある皮質下を通り、大脳皮質で音を感じます。皮質下は音をコントロールする役目を担っています。
 老齢化すると蝸牛にある耳の神経の細胞が特に高い音に感じる細胞からだめになってきます。そうすると音を感じる大脳皮質が「あれ、音がこないぞ」とセンサーの感度を上げます。上げすぎてしまうと、音とは違うシグナルまで大脳皮質で拾ってしまい、耳鳴りとして聞こえてしまうのです。高い音が聞こえない人が、ピーという高い音の耳鳴りを聞こえてしまうのもこの論理で少し納得がいきます。
 大脳皮質で耳鳴りがなって感じても、たいしたことなければ大脳皮質のセンサーでとらえることもなくなり、それでは大脳皮質にわざわざ皮質下から音を送ることもなくなり耳鳴りはなくなってきます。
 しかし耳鳴りを大脳皮質でずっと強く感じてしまうと、大脳皮質が大脳辺縁系という感情調節機能に作用し「この耳鳴り、いやな感じだなあ」と感じてしまいます。そうすると大脳辺縁系が人間の体の調節機能である自律神経系に作用し、眠れなくなったり、冷や汗をかいたり、緊張してしまいます。
 人間のストレスは大脳辺縁系と、自律神経系に作用します。ストレスがかかると、耳鳴りのいやな感じはパワーアップします。
 従来の薬物治療は、神経自体に栄養を与えるビタミン剤や血流をよくして組織に酸素を与える血液循環剤の他に、うつ病等の精神的な薬を用いて、感情に作用する大脳辺縁系と自律神経系のヒートアップを沈静化して、耳鳴りいやな感じだなあという気持ちを解消させ、緊張をほぐし眠りやすくさせます。
 軽い運動や好きなことをやることによりストレスを解消することは、薬物療法と同じ大脳辺縁系と自律神経系に作用し、ヒートアップを沈静化して、耳鳴りいやな感じだなあという気持ちを解消させ、緊張をほぐし眠りやすくさせます。

◆◆ 従来の耳鳴りの治療 ◆◆
慶友銀座クリニックでは、慶応義塾大学(東京都新宿区)が中心となり行ってきた耳鳴りのお薬の治験を2011年から2013年の間に主に銀座や築地地区の患者様に対しておこなってきました。ネットの検索サイトでも東京都中央区で耳鳴(耳鳴り)を治療してくれるというクリニックを検索すると、銀座・築地地区だけでも耳鼻咽喉科を標榜する慶友銀座クリニックだけでなく内科などの他の科がでてきます。これは耳鳴りは耳鼻咽喉科領域だけでなく、脳神経を含む他の内科的な幅広い分野が関係してくるのがわかります。従来の薬物治療は、慶友銀座クリニックでも神経自体に栄養を与えるビタミン剤(ビタミンB12:メチコバール)や血流をよくして組織に酸素を与える血液循環剤(アデホスコーワ)、ストミンなどをまず処方していましたし、症状にもよりますが現在でもまず最初に投与することが多いです。他に内耳組織の血流を改善する目的で星状神経節ブロックや混合ガス治療(健康保険外)というものもあります。混合ガス治療は5%の炭酸ガスと95%の酸素の混合したものを吸入します。二酸化炭素には、血管をひろげる作用があり、中枢に行く血管が拡張し、脳の血流量がアップし、内耳への血流の増加や機能の改善が望めることが期待されます。
 他に治療法として耳鳴りに伴う他の症状や病気がある場合には、それを治療して耳鳴りを軽減するというやり方が昔からあります。不眠が伴う場合は眠剤投与、肩や首がこって耳鳴りがあれば、筋肉を緩める薬や頚性神経筋症候群(頚筋症候群)に対しての治療が行われることがあります。スマホが普及してくるに従い多くなっているようです。脳神経領域では片頭痛や群発性頭痛の症状として耳鳴り、他にめまいなども起こしていることもあります。またてんかん関連として脳過敏症の症状のひとつとして耳鳴りをおこしているのではないかという考えもあります。耳鳴り以外にも脳神経関連の症状が出た、これらのような場合は神経内科や脳神経外科とともに、脳のMRIを含めた画像診断や必要であれば脳波も含め検討していく必要があります。他に体全体から治療していくということで、漢方薬を含めた東洋医学もいろいろなアプローチから治療の一つとして考えられています。東洋医学では耳鳴りは、気血の不足により頭部へ滋養が行き渡らない場合に起こるとされています。鍼灸(針治療)は東洋医学ですが、お灸も含めて首や肩周辺の筋肉の緊張をほぐし、血行もよくなり、ひいては内耳組織や脳神経領域への血液循環を促し緊張を解いて自律神経に作用して、耳鳴りの症状を緩和することを期待して行われているようです。慶友銀座クリニックがある中央区銀座・築地地区にも何件か針治療により耳鳴りを治療している施設があるようで、中医学的な針・鍼灸治療による耳鳴り治療も代替療法のひとつとして認識されつつあるのかもしれません。
 耳鳴りに対して、うつ病等の精神的な薬を用いる場合は、感情に作用する大脳辺縁系と自律神経系のヒートアップを沈静化して、耳鳴りいやな感じだなあという気持ちを解消させ、緊張をほぐし眠りやすくさせると考えられます。あと従来からいわれている軽い運動や好きなことをやることでストレスを解消することは、薬物療法と同じ大脳辺縁系と自律神経系に作用し、ヒートアップを沈静化して、耳鳴りいやな感じだなあという気持ちを解消させ、緊張をほぐし眠りやすくさせます。

◆◆ 新しい耳鳴りの治療 ◆◆
中国の古典「孫子・謀攻」に「彼を知り己を知れば百戦殆からず。」というのがあります。敵についても味方についても情勢をしっかり把握していれば、幾度戦っても敗れることはないということです。耳鳴りの治療の基本である認知行動療法の点からも、耳鳴りとは何なのかということから、耳鳴りの正体をよく学び、耳鳴りを深く理解して治療に望むということは、耳鳴りに対する不安が解消し、病気に囚われている心が解放され、耳鳴り治療のスタートラインと考えられています。
 まずは音の聞こえる仕組みをじっくり理解し、どのようにして耳鳴りが発生しているのか、耳鳴りがどうして苦痛なのか、耳鳴りを治療していくメカニズムをよく勉強することが治療の根幹です。また最近発達したサウンドジェネレーターを用いた音響療法(マスカー療法・TRT「Tinnitus Retraining Therapy 」・補聴器)は、耳鳴りが気にならない状態にすることを目的とした治療法で、音の豊富な環境を作り出し、耳鳴りを慣らして気にならなくしていく治療法で「聞こえの脳のリハビリテーション療法」ともいわれています。外にいるときは専用のサウンドジェネレーターがあればできますが、オーディオセットがあれば自宅では「音響セラピー」として簡単にできます。オーディオセットまたはラジオを用意します。高級なものでなくてもかまいません。スリープタイマー付きが便利です。なければタイマーだけでも電気屋さんに売っているのでつけてもいいかもしれません。家族に迷惑がかからないように、小さな音量で音楽を流します。
音楽の内容はクラシックや環境音楽がいいと思います。クラシックも自分の好きなものは気持ちが入ってしまうので疲れてしまうことがあります、なるべくわかりにくい気持ちの入りにくい、優しい感じの曲をバックグラウンドミュージックとして流します。ラジオのニュースやトーク番組は、睡眠学習というのもあるので、頭に変に入ってきてしまい、特に夜間の就眠時につけるのは脳が疲れるのでお勧めしていません。小さい音量で、ゆったりとしたやさしい音が奏でる環境で仕事をしたり家事をします。特に夜間静かになると耳鳴りがひどくなる方は、つけっぱなしの状態で就眠します(夜間はできればタイマーで切って、音を制御した方がよいと思います)。本来は耳の周りをフリーにすることで開放感がうまれることで、耳の周りには何もつけないのがいいのですが、家族に迷惑がかかる場合は、イヤフォンをつけてもいいかもしれません。
 うつ病に用いられる認知行動療法は、大脳辺縁系に作用します。耳鳴りの仕組みを患者さんに理解してもらうことで、「耳鳴りって思ったよりたいしたことないよね、そんなに感情が高ぶんなくていいんじゃないの」と理解してもらい、大脳辺縁系のヒートアップを沈静化し、大脳辺縁系が作用する自律神経系の沈静化させます。このことで耳鳴りがなっていても、心も体も気にならなくさせます。
 最新の理論ともいえるサウンドジェネレーターを使った音響療法は、大脳皮質で音がこないことによりセンサー感度が高くなっていると、聞こえない音を耳からわざといれることにより、センサーの感度を低くさせ、耳鳴りの感じを低下させます。耳鳴りの感じが減ることにより、大脳辺縁系では耳鳴りのいやな感じが減ります。また耳にわざといろいろな音や大きい音を入れることで、耳鳴りの音を他の音の中に紛らしてしまうことにより、耳鳴り自体を感じにくくなり、大脳辺縁系でも耳鳴りのいやな感じを感じにくくなります。

(参考文献)
2013年第114回日本耳鼻咽喉科学会総会・学術講演会宿題報告 聴覚異常感の病態とその中枢性制御 慶応義塾大学 小川郁

耳鳴りを治す-コントロールしながらうまくつきあう 神崎仁 慶応義塾大学出版会

よくわかる聴覚障害 : 難聴と耳鳴のすべて 永井書店 小川郁編

新田清一、小川郁、井上泰宏、他:耳鳴りの心理的苦痛度・生活障害度の評価法に関する検討Audiology Japan、45(6):685-691.2002

新田清一、小川郁、田副真美、耳鳴り患者の心理状態・生活状況に関する検討 Audiology Japan48(6):617-22.2005

耳鳴りの9割は治る (脳の興奮をおさえれば音はやむ)マキノ出版 新田清一 小川郁

つらい耳鳴り治したいあなたへ 知って、音を使って、治療しよう 監修 慶応義塾大学医学部 耳鼻咽喉科教授 小川郁・済生会宇都宮病院 耳鼻咽喉科診療科長 新田清一

脳を変えて、耳鳴りを治療する 監修小川郁、新田清一/ワイデックス株式会社

つらい耳鳴りを治したいあなたへ 監修小川郁、新田清一/マキチエ株式会社

最新めまい・耳鳴り・難聴 監修小川郁 主婦の友社

スーパー図解めまい・耳鳴り-確実に解消する知識と方法 監修 神尾友信 法研

よくわかる補聴器選び2014年版 監修・著 関谷芳正 八重洲出版

耳鳴り・難聴を治す本 監修石井正則 マキノ出版

聴神経腫瘍患者の初期臨床像 N Matsumoto et al Audiology Japan48-5 p 559-60, 2005-09

聴神経腫瘍症例における耳鳴の性状 : その耳鳴検査・グリセロール負荷耳鳴検査結果について:Tinnitus in Acoustic Neuroma Patients : Results of Tinnitus Test and Glycerol Loading Test A Satou et al.Otology Japan 6-1 63-9, 1996

Effect of tumor removal on tinnitus in patients with vestibular schwannoma: Clinical article K Kameda et al Journal of Neurosurgery. 112(1) p152-7,2010-01.

Long-term effects of tinnitus retraining therapy involving monaural noise generators Inagaki Y, Oishi N, Kanzaki S, Wakabayashi S, Fujioka M, Watabe T, Watanabe R, Wasano K, Yamada H, Kojima T, Shinden S, Ogawa K.Nihon Jibiinkoka Gakkai Kaiho. 2014 Feb;117(2):116-21.

A psychometric validation of the Japanese versions of new questionnaires on tinnitus (THI-12, TRS, TRSw, TSS, and TSSw).Wasano K, Kanzaki S, Sakashita T, Takahashi M, Inoue Y, Saito H, Fujioka M, Watabe T, Watanabe R, Sunami K, Kato S, Kabaya K, Shinden S, Ogawa K.Acta Otolaryngol. 2013 May;133(5):491-8.

Effects of tinnitus retraining therapy involving monaural noise generators.Oishi N, Shinden S, Kanzaki S, Saito H, Inoue Y, Ogawa K.Eur Arch Otorhinolaryngol. 2013 Feb;270(2):443-8.

Influence of depressive symptoms, state anxiety, and pure-tone thresholds on the tinnitus handicap inventory in Japan.Oishi N, Shinden S, Kanzaki S, Saito H, Inoue Y, Ogawa K.Int J Audiol. 2011 Jul;50(7):491-5.

Repetitive transcranial magnetic stimulation (rTMS) for treatment of chronic tinnitus.Minami SB, Shinden S, Okamoto Y, Watada Y, Watabe T, Oishi N, Kanzaki S, Saito H, Inoue Y, Ogawa K.

Effects of selective serotonin reuptake inhibitor on treating tinnitus in patients stratified for presence of depression or anxiety.Oishi N, Kanzaki S, Shinden S, Saito H, Inoue Y, Ogawa K. Audiol Neurootol. 2010;15(3):187-93

An early work by Dr. Jastreboff presented in France in 1991 about his creation of an animal model.Jastreboff, P.J., Brennan, J.F. Animal model of Tinnitus: Recent Developments. Tinnitus '91: Proceedings IV International Tinnitus Seminar, Bordeaux, France 1991.

An important summary of work on the animal model.Jastreboff, P.J., Sasaki, C.T. An animal model of tinnitus. A decade of development. American Journal of Otology, 15:19-27, 1994.

Moving into evaluation of loudness in the animal model.Jastreboff, P.J., Brennan, J.F. Evaluating the loudness of phantom auditory perception (tinnitus) in rats. Audiology, 33:202-217, 1994.

Important work on the animal model.Jastreboff, P.J., Brennan, J.F., Jastreboff, M.M., Hu, S., Zhou, S., Chen, G, -D., Gryczynska, U., Kwapisz, U. Recent Findings from an animal model of tinnitus. Proceedings of the 5th International Tinnitus Seminar, Portland, Oregon, 1995. American Tinnitus Association, Portland, Oregon.

A good resource for audiologists. Jastreboff, P.J. Instrumentation and tinnitus:A neurophysiological approach. Hearing Instruments, 45:7-11, 1994.

A paper describing the use and fitting of the NGs.Gold, S.L., Gray, W.C., Jastreboff, P.J. Selection and fitting of noise generators and hearing aids for tinnitus patients. Proceedings of the 5th International Tinnitus Seminar, Portland, Oregon, 1995 (available from the ATA).

耳がキーンとする

まず耳鳴りとしてキーンと鳴ることがあります。特に夜寝る前に、特に静かな部屋で鳴ってしまい寝られないという人がいます。キーンと鳴るのは、原因として難聴がある場合があり、特に高音部が聞こえないと、高音部に似たような音が耳鳴として聞こえることがあり、キーンという音として聞こえることがあります。聴力検査をやってみて、どの音が聞こえていないかを精査してみることが必要です。またティンパノグラムという鼓膜の状態を調べることもあります。他には耳管機能検査が必要な場合がありますし、状態をみて耳のレントゲンやCTや脳のMRIを撮ることもあります。これらの検査をして難聴の状態と、鼓膜や鼓室の状態を調べ、急性中耳炎・滲出性中耳炎や耳管開放症を精査します。状態によっては鼓膜を切開したり、チューブをいれることもあります。突然なった場合は、音響外傷や突発性難聴による聴力障害が原因のことがあります。
その場合はまず安静にした上でステロイド投与が必要なことがあります。
飛行機の中や、エレベーターでも特に降りるときに多い、耳に不快な「耳がキーンとなる」現象があります。高低差で耳がキーンとなるのは、気圧の変化によるものということは良く知られています。気圧の変化で耳がキーンとなりやすい人は、鼓膜の内側にある中耳と鼻の奥とをつなぐ耳管(Eustachian tube)の機能が不全の場合があります。
慶友銀座クリニックのある銀座・築地及び周辺の勝どきや晴海地区では、超高層ビルが建ち並んでいます。超高層ビル、特に超超高層ビルで仕事をする方、または住んでいらっしゃる人に、耳がキーンとなるといって来院する患者さんが多いです。ものすごいスピードで、エレベーターは動いているようです。地上は厚い大気の層の底にあり気圧が高いです。
しかし上に行けば行くほど空気は薄くなり気圧は当然低くなります。エレベーターで瞬間急に高いところに行くことにより、耳の内部つまり鼓膜の奥の気圧はすぐには変わらないので、鼓膜の外と気圧差ができてしまいます。つまりエレベーターが上昇したときなど、鼓膜の中の気圧は、鼓膜の外(体の外・エレベーターの中の気圧)よりも高くなります。すると、鼓膜が外に膨れるようになり、鼓膜がうまく振動できず、鼓膜と鼓膜の奥の耳小骨の連動が悪くなり、音が伝わりにくくなり、耳が詰まったようなキーンとした感じになります。さらに下降する際には逆に耳の内側の気圧が低くなり、鼓膜が内側に引っ張った状態で、これまた鼓膜と耳小骨の連動が悪くなり、音が伝わりにくくなり、それが、耳がつまったような感じになってしまい、耳がキーンとしたり、耳の中が痛くなったりします。耳管は鼓膜の内外の空気圧を等しくするという圧力調整をしています。人間の耳管は、頭の左右のほぼ同じ位置に1対ずつ存在し、形状は年齢ともに変化するようです。鼓膜の奥の鼓室の下部より、鼻の奥の鼻咽頭腔(上咽頭)へと続いています。ところが、耳管に空気が通りにくいと、耳がキーンという耳づまり感がでやすくなります。つばを飲み込むと耳管が広がり、鼓膜の内側と外側の気圧を調節できて音が消えます。耳管に空気が通りにくい原因として、まず鼻の通りが悪いことがあります。鼻中隔弯曲症や鼻副鼻腔炎、鼻ポリープやアレルギー性鼻炎、気管支喘息が関係する好酸球性副鼻腔炎があります。他には上咽頭にあるできもの(腫瘍)です。
また膠原病等の病気により、唾が減っても当然なりやすいようです。
飛行機でキャンディーのサービスがあります。日本の航空会社ではありますが、海外の航空会社では結構ないので院長はキャンディをもっていっています。キャンディをなめると唾が出ます。耳詰まり、キーンの防止のためにキャンディを配っているのですね。でも中には黒砂糖キャンディのような直ぐ溶けるのが入っているので、できれば溶けにくいのを選ぶといいでしょう。しかし子供さんは、キャンディを食べながら飛行機の中で眠ったりして、誤嚥したり、気道につまったりすることがあるので、キャンディをあげるのはやめてください。エレベーターの中ではキャンディをなめる暇はありません。ゆっくりと動いてくれれば体も対応できるのですが、ものすごいスピードだと体が反応しません。中国大陸では上海をはじめ、ものすごい勢いで超超高層ビルができているそうです。中国の方はウイルスの関係で、上咽頭という鼻の奥と耳管の間にある場所に腫瘍が多いという報告があります。当院でも耳がキーンとなる、飛行機に乗ったら中耳炎によくなると訴える、特に中国系の患者様に関しては、特に念入りに上咽頭を内視鏡等をつかって精査し、腫瘍をみつけることがありました。中には日本人の中でも上咽頭の悪性リンパ腫をみつけたこともあります。上咽頭の腫瘍は、耳鼻咽喉科だけが精査することができますので、心配な方はまず耳鼻咽喉科にいらしてください。このような経緯から、中国の方でどうしても超超高層ビルで仕事ができないとか暮らせないという人の中で、耳鼻科に行ったら腫瘍がみつかったということもありそうです。超超高層ビルで仕事するように又は暮らせるようには、人間の体のつくりは想定されていません。特に上咽頭にうまれつきあるアデノイドという組織がまだ大きい子供さんは、耳管の形状がまだ未熟なこともあり、顔も頭も小さく、鼻炎も潜在的に多いということもあり、エレベーターのスピードについていけない場合もあるようです。エレベーターのスピードを速くすれば速くするほど、メーカー的にはエレベーター内の圧力を速く調節するのでしょうが、本当に速く調節できるのか、人間が対応できているのか、子供は大丈夫なのか、研究の余地がありそうです。将来的には、何種類かスピードの違うエレベーターが必要とされるかもしれません。以前ロンドンの古い古いホテルに泊まったことがあります。5階の部屋に行くのに、中はかなり大きいスペースでソファがあるエレベータを使いました。中国の国家主席の習近平も一週間前乗ったと、エレベーターボーイのおじいさんがいっていました。ゆっくり座って、少しずつ動くエレベータでなので、習近平も耳がキーンとなることはなかったでしょう。山の上の天守閣で殿様が采配をふるっても、えっちらおっちらお城の上に登っているだけです。もし将来的に超超高層ビルでお仕事をする予定があるかた、暮らす必要がある方、またはもう仕事をしたり暮らしたりして調子の悪い方は、まず是非耳鼻咽喉科にいらしてください。聞こえや鼓膜の状態及び耳管周囲の状態を精査し、これから仕事をできる状態か暮らしていける状態か精査します。

外来について

当クリニックは公的に定められた高度難聴指導管理施設であり、院長の大場俊彦は学会認定の補聴器相談医です。

また、聴覚領域の医療機器(補聴器・人工内耳)の開発者としても世界的に有名です。世界各国に特許を申請し、日本でも特許を単独保持しております(JP3670180)。

補聴器に詳しい先生はたくさんいますが、補聴器の特許を持っている医師は珍しいと思います。補聴器の中身まで知り尽くした医師があなたのために補聴器を処方するので安心です。

補聴器と耳鼻咽喉科専門医
当院は医療機関ですから、「その人にとって一番良い補聴器を探し出すこと」をいつも考えています。

補聴器選定のために最高の知見を持っている医師が補聴器選びのお手伝いをすると、よいことがいくつもあります。

医師であれば、まず第一に「その人の耳の調子がなぜ悪いのか」を考えます。

単なる老年性難聴なのか、それとも中耳炎などの耳の病気が原因なのか、実はもっと重篤な病気が隠れているのか、きちんした診断をもとに選ぶことができます。

外耳道は人によって形がずいぶん違います。耳鼻咽喉科の専門医であれば、鼓膜の奥まできれいに掃除して、耳の中のすべての状況を把握してから、その人の耳の形態に合った、最適な補聴器を処方することができます。

居住している地域によっては、自治体が補聴器購入に補助金を出しているケースがあります。

東京都中央区の区民に対しては、難聴に対する補聴器の購入について補助金が支給されます。

医師は地域のコミュニティーに属しているので、補助金についてはよく把握していますからきちんと案内することができます。

当院では補聴器外来にて、みなさまの補聴器選びのお手伝いをさせていただいております。

あなたに最適な補聴器を選ぶために、ぜひ当院にお越しいただければ幸いです。

関連専門サイト

大場先生の「補聴器」選び方講座

大場先生の未来の「補聴器」講座

院長の大場俊彦が保有する補聴システムに関する発明の内容です。補聴器の未来が書かれています。簡単な内容としては、従来難聴者に対して補聴器は音を大きくさせるだけであり、音声情報の意味内容を把握するためには不十分でした。また全ての音を増幅して提供するので、補聴器を使っている人は、音声情報以外の雑音が気になる人が多かったです。入力された音声に対して、音声認識と音声要約と音声合成を使う補聴システムを考案しました。音声認識と音声合成を使うことで、雑音がカットされることにより、語音明瞭度が改善されます。また音声要約をすることで、音声情報自体が少なくなることにより、音声情報の意味内容がより把握されやすくなることが期待されるという特許です。
被引用特許というものがあります。これはある特許が通る課程で、日米の特許庁が、「あなたの出した特許は、この特許と考えが似ているから変更しなさい」と指示することがあります。簡単に言えばこれを被引用特許と言います。大場俊彦が出した特許は、医療関係では、人工内耳のトップシェアを誇るコクレア社(2件)、他には米国IBM(2件)・バンク=オブ=アメリカ(MITメディアラボでの研究に関連含む:7件)・三菱電機(1件)等の世界的な起業が出した特許よりも日米の特許庁より先進性が認められました。それらの会社が出した特許は、大場俊彦の発明した補聴システムの先進性のため変更を余儀なくされ、回避して出願したという経緯があります。下記をみると、補聴器の特許なのに、なぜ銀行やコンピューター会社が出した特許がでてくるのかと思われるでしょう。補聴システムは米国で音声装置で出願しています。未来の銀行の窓口業務では、窓口の女性がコンピューターにかわるとのことです。音声システムは、世界の銀行の窓口業務の標準となるIBMが開発したワトソンという人工知能にとり必要不可欠なシステムです。院長の考えた難聴者のためのシステムが、人工知能の銀行業務に関係するようになります。

バンク=オブ=アメリカの特許
US9138186 Systems for inducing change in a performance characteristic
US8715178 Wearable badge with sensor
US8715179 Call center quality management tool
US9138186 Systems for inducing change in a performance characteristic
US20110201899 Systems for inducing change in a human physiological characteristic
US20110201959 Systems for inducing change in a human physiological characteristic
US20110201960 Systems for inducing change in a human physiological characteristic

米国IBMの特許
US20130226576 Conference Call Service with Speech Processing for Heavily Accented Speakers
US8849666 Conference call service with speech processing for heavily accented speakers

三菱電機の特許
US8990092 Voice recognition device

コクレア社の特許
US8170677 Recording and retrieval of sound data in a hearing prosthesis
US20070027676 Recording and retrieval of sound data in a hearing prosthesis

発明の名称 補聴器
発明者・考案者 大場俊彦

出願番号 特願平11-338458 1999/11/29
国際出願番号
公開番号 特開2000-308198 2000/11/02
公表/再公表番号
国際公開番号
公告番号
請求公告番号
登録番号 特許第3670180号 2005/04/22

【要約】
【課題】 喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力して聴覚を補う。
【解決手段】 音声言語障害を有した使用者から発せられた音声及び/又は外部からの音声を検出して音声信号を生成し、音声認識を信号処理部22で行い、音声言語障害を有した使用者から発せられた音声を予めサンプリングすることで記憶した音声データ用い、認識結果に基づいて音声データを組み合わせ、出力する音声を示す音声情報を音声情報生成部23で生成する。これにより、補聴器1では、音声情報生成部23で生成した音声情報を外部に出力するとともに、外部からの音声を使用者に出力する。

請求の範囲
【請求項1】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力制御手段は、上記認識手段からの認識結果に基づいて、上記認識手段による認識結果及び/又は認識結果を上記変換手段により加工変換した認識結果を、再度上記出力手段から出力するように制御することを特徴とする補聴器。
【請求項2】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は人工内耳機構からなり、上記出力制御手段は、上記認識結果及び/又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
【請求項3】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は圧挺板からなり、上記出力制御手段は、上記圧挺板に上記認識結果及び/又は上記変換された認識結果を振動として出力するように上記制御信号を生成することを特徴とする補聴器。
【請求項4】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は人工中耳機構からなり、上記出力制御手段は、上記認識結果及び/又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
【請求項5】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は、超音波出力機構からなり、上記出力制御手段は、上記超音波出力機構に上記認識結果及び/又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
【請求項6】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は、タクタイルエイド用振動子アレイからなり、上記出力制御手段は、上記振動子アレイに上記認識結果及び/又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
【請求項7】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記出力手段は、聴性脳幹インプラント機構からなり、上記出力制御手段は、上記聴性脳幹インプラント機構に上記認識結果及び/又は上記変換された認識結果を電気信号として出力するように上記制御信号を生成することを特徴とする補聴器。
【請求項8】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記音響電気変換手段、認識手段、変換手段、出力制御手段及び出力手段を複数の装置にて実現し、該複数の装置間を無線通信網にて接続し、少なくとも音声情報の送受信を行うことを特徴とする補聴器。
【請求項9】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段とを備え、上記音響電気変換手段は外部から検出された音声から生成した電気信号を用いて上記音声信号を生成するものである補聴器。
【請求項10】 検出した音声を聴力障害者用に要約して提示する補聴器であって、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、上記認識手段からの認識結果の意味内容が使用者にとって分かり易くなるよう、上記認識結果である音声情報を要約する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を出力して使用者に音声を提示するための出力手段と、表示部と、上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果である音声情報を上記表示部へ出力する手段とを備える補聴器。

利用分野
【0001】
【発明の属する技術分野】
本発明は、マイクロホン等により検出した音声を聴力障害者が理解しやすい形式に加工変換して提示する補聴器、音声言語障害を持つ者より発せられた音声や音声言語障害を是正するために用いる補助的装置や手段(例として喉頭摘出後の代用発声法(speech production substitutes))により発せられた音声を加工変換して出力する補聴器に関する。

【0002】
【従来の技術】
補聴器には、気導方式と、骨導方式とが従来から使用されている。補聴器の種類としては、箱形補聴器、耳かけ補聴器、CROS(Contra-lateral Routing of Signal)補聴器、耳穴形補聴器がある。また、従来の処理方式として分けると、アナログ補聴器とディジタル補聴器とがある。また、補聴器には、小寺の報告によると集団で使用する大型のもの(卓上訓練用補聴器、集団訓練用補聴器)、個人的に使用する小型のものがある(小寺一興、補聴器の選択と評価 図説耳鼻咽喉科new approach メジカルビュ?,39,1996参照)。

【0003】
このディジタル補聴器は、マイクロホンで検出した音声を先ずA/D(analog/digital)変換処理することでディジタルデータを生成する。そして、このディジタル補聴器は、例えばフーリエ変換処理を施すことにより入力されたディジタルデータを周波数スペクトルに分解することで解析を行い、各周波数帯域毎に音声の感覚的な大きさに基づいた増幅度の算出を行う。そして、このディジタル補聴器は、各周波数帯域毎に増幅されたディジタルデータをディジタルフィルターに通過させてD/A変換処理を行って再び音声を使用者の耳に出力するように構成されている。これにより、ディジタル補聴器は、話し手の音声を雑音の少ない状態で使用者に聞かせていた。

【0004】
また、従来において、例えば喉頭摘出により音声障害をもつ人は、通常の声帯振動による発声機構を失い、音声生成が困難になる。

【0005】
現在まで、喉頭摘出後の代用発声法として、音源としての振動体の性質から大別するとゴム膜(笛式人工喉頭)やブザー(電気人工喉頭(経皮型、埋込み型))等の人工材料を用いる方法と、下咽頭や食道粘膜を使用する方法(食道発声、気管食道瘻発声、ボイスプロステーシス(voice prostheses)使用の気管食道瘻発声)がある。また、その他の代用発声法としては、口唇を動かしたときに生じる筋電図を利用したものや聴力障害による発声障害者のために種々の音声処理技術を利用した発声発話訓練装置、パラトグラフ(palatograph)によるものや口腔内の振動子によるものが報告されている。

課題
【0006】
【発明が解決しようとする課題】
しかし、上述したディジタル補聴器では、各周波数帯域毎にディジタルデータを増幅させる処理を行っているだけなので、マイクロホンにより周囲の音を無作為に収音し、雑音をそのまま再生してしまい使用者の不快感が残り、アナログ補聴器と比べても、種々の聴力検査において大幅な改善はなかった。また、従来のディジタル補聴器では、難聴者の身体状態、利用状態及び使用目的に応じて検出した音声に対する処理を適応させることはなされていなかった。
【0007】
そこで、本発明の目的は、使用者の身体状態、利用状態及び使用目的に応じて音声認識の結果を提示するとともに、ノイズが少ない状態で認識結果を提示することができる補聴器を提供することにある。
【0008】
また、上記代用発声法に共通してみられるのは、喉頭摘出前の本人自身の本来の正常な状態での声帯振動によるものではないので、生成する音声の音質が良くなく、本来正常であった本人が発していた声とはかけ離れているという問題点が挙げられる。
【0009】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力して自然な会話を行わせることができる補聴器を提供することを目的とする。

手段
【0010】
【課題を解決するための手段】
上述の課題を解決する本発明に係る補聴器は、音声言語障害を有した使用者から発せられた音声及び/又は外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号に基づいて音声認識をする処理を行う音声認識手段と、音声データを記憶する記憶手段と、上記音声認識手段からの認識結果に基づいて上記記憶手段に記憶された音声データを組み合わせ、出力する音声を示す音声情報を生成する音声情報生成手段と、上記音声情報生成手段で生成された音声情報を音声に変換して外部に出力する使用者音声出力手段と、上記音声認識手段で認識された認識結果を上記外部からの音声として使用者に出力する外部音声出力手段とを備えることを特徴とするものである。
【0011】
このような補聴器は、外部からの音声を使用者に出力するとともに、障害を有して発せられた音声を発声した使用者に出力する。
【0012】
本発明に係る補聴器は、外部からの音声を検出して音声信号を生成する音響電気変換手段と、上記音響電気変換手段からの音声信号を用いて音声認識処理を行う認識手段と、使用者の身体状態、利用状態及び使用目的に応じて、上記認識手段からの認識結果の内容を変更するように変換する変換手段と、上記認識手段による認識結果及び/又は認識結果を上記変換手段により変換した認識結果を出力させる制御信号を生成する出力制御手段と、上記出力制御手段で生成された制御信号に基づいて上記認識手段による認識結果及び/又は上記変換手段により変換された認識結果、である音声情報を出力して使用者に音声を提示するための認識結果を出力して認識結果である音声情報を使用者に提示する出力手段とを備えることを特徴とするものである。
【0013】
このような補聴器は、変換手段で認識結果の内容を変更することで出力結果を変更して使用者に変換手段で変更された音声等を提示する。このような補聴器によれば、使用者の身体状態、利用状態及び使用目的に応じて自在に変換方式を変更して認識結果を提示する。

効果
【0146】
【発明の効果】
以上詳細に説明したように、本発明に係る補聴器は、音声言語障害者を検出して得た認識結果に基づいて予め記憶した音声データを組み合わせて音声情報を音声に変換して外部に出力するとともに、外部からの音声を使用者に出力することができるので、喉頭摘出や舌口腔底切除や構音障害等による音声言語障害を有する人達が本来自身がもつ、或いは自在に変換させて自然な音声で発声することを可能とするとともに、外部からの音声を使用者に出力することで使用者の聴覚を補うことができる。
【0147】
本発明に係る補聴器は、使用者の身体状態、利用状態及び使用目的に応じて、上記認識手段からの認識結果の内容を変更するように加工変換する変換手段を備えているので、使用者の身体状態、利用状態及び使用目的に応じて音声認識の結果を提示するとともに、ノイズが少ない状態で認識結果を提示することができる。

実施例
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【0015】
本発明は、例えば図1及び図2に示すように構成された補聴器1に適用される。この補聴器1は、図1に示すように、ヘッドマウントディスプレイ (head-mounted display: HMD)2と、音声認識、音声情報の生成等を行うコンピュータ部3との間を光ファイバーケーブル4で接続してなる携帯型のものである。また、コンピュータ部3は、例えば使用者の腰部に装着されるような支持部5に付属して配設されており、当該支持部5に付属したバッテリ6から電力が供給されることで駆動するとともに、HMD2を駆動させる。
【0016】
HMD2は、使用者の目前に配置されるディスプレイ部7と、使用者からの音声を検出する使用者用マイクロホン8と、使用者に音声を出力する音声出力部9と、使用者の頭部に上述の各部を配置させるように支持する支持部5と、外部からの音声等を検出する外部用マイクロホン11とを備える。
【0017】
ディスプレイ部7は、使用者の目前に配されることで例えば使用者用マイクロホン8及び/又は後述の外部用マイクロホン11で検出した音声の意味内容等を表示する。なお、このディスプレイ部7は、コンピュータ部3からの命令に応じて、上述の音声の意味内容のみならず、他の情報を表示しても良い。
【0018】
使用者用マイクロホン8は、使用者の口元付近に配設され、使用者が発した音声を検出する。そして、この使用者用マイクロホン8は、使用者からの音声を電気信号に変換してコンピュータ部3に出力する。
【0019】
外部用マイクロホン11は、丸板状に形成された音声出力部9の側面に設けられる。この外部用マイクロホン11は、外部からの音声を検出して電気信号に変換してコンピュータ部3に出力する。
【0020】
この使用者用マイクロホン8及び外部用マイクロホン11は、配設する位置を問わず、使用者の操作に応じて、種々のマイク(骨導マイク、気導音と骨導音を拾い上げるマイクをもつ超小型送受話一体ユニットのマイク(日本電信電話株式会社製)、無指向性マイク、単一指向性(超指向性等)マイク、双指向性マイク、ダイナミックマイク、コンデンサーマイク(エレクトレットマイク)、ズームマイク、ステレオマイク、MSステレオマイク、ワイヤレスマイク)、セラミックマイク、マグネティックマイク、マイクロフォンアレイを用いても良い。また、イヤホンとしては、マグネティックイヤホンが使用可能である。これらのマイクの収音技術として、また、伝送技術としてエコーキャンセラ等を用いても良い。また、これらのマイクロホン8,11は、従来より採用されている利得調整器と音声調整器と出力制御装置(maximam output power control式、automatic recruitment control コンプレッション式等)を適用したものが使用可能である。
【0021】
更に、使用者用マイクロホン8及び外部用マイクロホン11は、図1に示すように、別個に設ける一例のみならず、一体に構成されたものであっても良い。
【0022】
支持部5は、例えば形状記憶合金等の弾性材料等からなり、使用者の頭部に固定可能とすることで、上述のディスプレイ部7,使用者用マイクロホン8,音声出力部9を所定の位置に配設可能とする。なお、この図1に示した支持部5は、使用者の額から後頭部に亘って支持部材を配設することでディスプレイ部7等を所定位置に配設するものの一例について説明したが、所謂ヘッドホン型の支持部であっても良いことは勿論であり、音声出力部9を両耳について設けても良い。
【0023】
コンピュータ部3は、例えば使用者の腰部に装着される支持部5に付属されてなる。このコンピュータ部3は、図2に示すように、例えばマイクロホン8,11で検出して生成した電気信号が入力される。このコンピュータ部3は、電気信号を処理するためのプログラムを格納した記録媒体、この記録媒体に格納されたプログラムに従って音声認識、音声情報の生成処理を行うCPU(Central Processing Unit)等を備えてなる。なお、このコンピュータ部3は、腰部のみならず、頭部のHMD2と一体化しても良い。
【0024】
コンピュータ部3は、使用者用マイクロホン8及び/又は外部用マイクロホン11で検出した音声から生成した電気信号に基づいて、記録媒体に格納されたプログラムを起動することで、CPUにより音声認識処理を行うことで、認識結果を得る。これにより、コンピュータ部3は、CPUにより、使用者用マイクロホン8及び/又は外部用マイクロホン11で検出した音声の内容を得る。
【0025】
つぎに、本発明を適用した補聴器1の電気的な構成について図2を用いて説明する。この補聴器1は、音声を検出して音声信号を生成する上述のマイクロホン8,11に相当するマイクロホン21と、マイクロホン21で生成された音声信号が入力され音声認識処理を行う上述のコンピュータ部3に含まれる信号処理部22、信号処理部22からの認識結果に基づいて音声情報を生成する上述のコンピュータ部3に含まれる音声情報生成部23と、音声データが記憶され信号処理部22及び音声情報生成部23にその内容が読み込まれる上述のコンピュータ部3に含まれる記憶部24と、音声情報生成部23からの音声情報を用いて音声を出力する上述の音声出力部9に相当するスピーカ部25と、音声情報生成部23からの音声情報を用いて当該音声情報が示す内容を表示する上述のディスプレイ部7に相当する表示部26とを備える。
【0026】
上記マイクロホン21は、例えば喉頭摘出後の代用発声法を用いて発せられた使用者からの音声又は外部からの音声を検出して、当該音声に基づく音声信号を生成する。そして、このマイクロホン21は、生成した音声信号を信号処理部22に出力する。
【0027】
また、このマイクロホン21は、使用者の口元付近に配設され、使用者が発した音声を検出する。また、このマイクロホン21は、外部からの音声を検出して音声信号を生成する。なお、以下の説明においては、使用者の音声を検出するマイクロホンを上述と同様に使用者用マイクロホン8と呼び、外部からの音声を検出するマイクロホンを上述と同様に外部用マイクロホン11と呼び、双方を総称するときには単にマイクロホン21と呼ぶ。
【0028】
上記代用発声法としては、例えば人工喉頭(電気式、笛式)、食道発声及び種々の音声再建術を実現するための機構である。
【0029】
上記信号処理部22は、マイクロホン21からの音声信号を用いて音声認識処理を行う。この信号処理部22は、例えば内部に備えられたメモリに格納した音声認識処理を行うためのプログラムに従った処理を行うことにより音声認識処理を実行する。具体的には、この信号処理部22は、使用者の音声をサンプリングして生成し記憶部24に格納された音声データを参照し、マイクロホン21からの音声信号を言語として認識する処理を行う。この結果、この信号処理部22は、マイクロホン21からの音声信号に応じて認識結果を生成する。
【0030】
この信号処理部22は、例えば認識対象音声による分類と対象話者による分類の音声認識処理があり、認識対象音声による分類の音声認識処理では単語音声認識(isolated word recognition)と連続音声認識(continuous speech recognition)がある。また、音声情報生成部23は、連続単語音声認識には連続単語音声認識(continuous word recognition)と文音声認識(sentence speech recognition)、会話音声認識(conversational speech recognition)、音声理解(speech understanding)がある。また対象話者による分類では不特定話者型(speaker independent)、特定話者型(speaker dependent)、話者適応型(speaker adaptive)等がある。この信号処理部22が行う音声認識手法としては、ダイナミックプログラミング(Dynamic Programming)マッチングによるもの、音声の特徴によるもの、隠れマルコフモデル(HMM)によるものがある。
【0031】
また、信号処理部22は、入力した音声を用いて話者認識を行う。このとき、信号処理部22は、使用者の話者からの音声の特徴を抽出する処理や音声の周波数特性を用いて話者認識結果を生成して音声情報生成部23に出力する。また、信号処理部22は、話者による変動が小さな特徴量を用いる方法、マルチテンプレート法、統計的手法を用いて不特定話者認識を行う。また、話者適応には、個人差の正規化法、話者間の音声データの対応関係によるもの、モデルパラメータの更新によるもの、話者選択によるものがある。この信号処理部22では、以上の音声認識を使用者の身体状態、利用状態及び使用目的に応じて行う。
【0032】
ここで、使用者の身体状態とは使用者の難聴や言語障害の程度等を意味し、利用状態とは使用者が補聴器1を使用する環境(室内、野外、騒音下)等を意味し、使用目的とは使用者が補聴器1を利用するときの目的、すなわち認識の向上させることや、使用者が理解しやすいようにすること等であって、例えば普段話す人と対話することや、不特定多数の人と対話することや、音楽(オペラ、演歌)を観覧することや、講演を聴くことや、言語障害者と対話することである。
【0033】
また、この信号処理部22は、マイクロホン21に入力した音声を記憶し、学習する機能を有する。具体的には、信号処理部22は、マイクロホン21で検出した音声の波形データを保持しておき、後の音声認識処理に用いる。これにより、信号処理部22は、更に音声認識を向上させる。更に、この信号処理部22は、学習機能を備えることで出力する結果を正確にすることができる。
【0034】
上記記憶部24には、上記信号処理部22が入力された音声を認識するときに、入力された音声を検出することで生成した音声波形と比較される音声モデルを示すデータが格納されている。また、記憶部24には、例えば喉頭摘出前に発声した声帯振動による発声機構を持つ使用者の音声や、出力することを希望する音声を予めサンプリングして得たデータが音声データとして格納されている。
【0035】
音声情報生成部23は、信号処理部22からの認識結果及び記憶部24に格納された使用者の音声を示す音声データを用いて、音声情報を生成する。このとき音声情報生成部23は、認識結果に応じて、記憶部24に格納された音声データを組み合わせるとともに、認識結果を加工変換して音声情報を生成する。このとき、音声情報生成部23は、内蔵したCPU、音声情報生成プログラムを用いて音声情報を生成する。
【0036】
また、この音声情報生成部23は、認識結果を用いて音声から音声分析し、当該音声分析した音声の内容に応じて、音声データを再構成するという処理を行うことで、音声を示す音声情報を生成する。そして、音声情報生成部23は、生成した音声情報をスピーカ部25及び表示部26に出力する。
【0037】
更に、音声情報生成部23は、信号処理部22からの認識結果を、使用者の身体状態、利用状態及び使用目的に応じて加工、変換、合成等をして音声情報を生成する処理を行う。更に、この音声情報生成部23は、マイクロホン21で検出された音声を使用者に提示するための処理を認識結果及び/又は加工等をして得た認識結果について行う。
【0038】
更にまた、音声情報生成部23は、認識結果から生成した音声情報を修飾して新たな音声情報を生成しても良い。このとき、音声情報生成部23は、使用者の身体状態、利用状態及び使用目的に基づいて、更に使用者が理解し易い言葉を付け加えることで、使用者の音声の認識を更に向上させる。
【0039】
更にまた、この音声情報生成部23は、音声情報を表示部26に出力するときに音声の意味内容を画像として表示部26に出力する。音声情報生成部23は、例えば使用者又は使用者の話者及び外部からの音声が入力されて信号処理部22からの認識結果として物体を示す認識結果が入力されたときには、当該物体を示す画像データを表示部26に出力して表示させる処理を行う。
【0040】
更にまた、この音声情報生成部23は、信号処理部22からの認識結果に応じて、以前にスピーカ部25又は表示部26に出力した音声情報を再度出力する。音声情報生成部23は、音声情報を出力した後に、使用者又は使用者に対する話者がもう一度聞き直したいことに応じて発した音声を示す認識結果が入力されたと判定したときには、スピーカ部25又は表示部26に出力した音声情報を再度出力する処理を行う。また、音声情報生成部23は、例えば使用者の話者からの音声の特徴を抽出する処理や音声の周波数特性を用いた話者認識結果に基づいて、以前にスピーカ部25又は表示部26に出力した音声情報を再度出力しても良い。更に、音声情報生成部23は、人工知能の機能を用いて音声対話を行うことで、スピーカ部25又は表示部26に出力した音声情報を再度出力しても良い。
【0041】
更にまた、音声情報生成部23は、再度出力する処理を行うか否かを操作入力部28からの操作入力命令に応じて切り換えても良い。すなわち、使用者が再度出力する処理を行うか否かの切換を操作入力部28を操作することで決定し、操作入力部28をスイッチとして用いる。
【0042】
また、この音声情報生成部23は、再度音声情報を出力するとき、以前に出力した音声情報を再度出力するか、以前に出力した音声情報とは異なる音声情報を出力するかを、信号処理部22を介して入力される操作入力部28からの操作入力信号に応じて選択する。
【0043】
表示部26は、上記音声情報生成部23で生成した音声情報が示す音声、カメラ機構29で撮像した画像等を表示する。
【0044】
操作入力部28は、スイッチ、キーボード、マウス等でも良く、使用者に操作されることで、操作入力信号を生成する。
【0045】
このような補聴器1は、マイクロホン21で検出した音声について信号処理部22で音声認識処理をして、認識結果に基づいて音声情報生成部23でプログラムを起動することで使用者に応じた処理を行うことができる。これにより、補聴器1は、スピーカ部25にマイクロホン21からの音声を出力するとともに、表示部26に表示するので、音声に対する使用者の認識を向上させることができる。視覚聴覚同時に矛盾する音韻情報を提示した場合にいずれの情報とも異なった音韻に異聴が生ずるというMuGurk効果(MuGurk H and MacDonald J: Hearing lips and seeing voice,Nature 264,746-8,1976参照)や、乳児がすでに聴覚からの音声情報と視覚からの口形の情報との対応関係を獲得しているとの報告(Kuhl PK et al. Human processing of auditory-visual information in speech perception. ICSLP'94 S11.4,Yokohama,1994)や視覚が音源方向の知覚に影響を与える(腹話術効果)、及び人間は無意識のうちに音源かどうかを学習し、区別するなどの報告は人間のコミュニケーションが本来マルチモーダルなものであるとする仮説を支持するものである(Saitou H and Mori T:視覚認知と聴覚認知Ohmsha,119-20,1999参照)。以上のことは、視覚が聴覚に影響を及ぼしていることを意味し、表示部26に認識結果等を表示することで音声情報を補足し、音声に対する使用者の認識を向上させる。この補聴器1では、音声のみならず、表示部26に表示する画像を通じて話者に音声の意味内容を伝達し、対話することができる。
【0046】
更に、この補聴器1によれば、使用者用マイクロホン8及び/又は外部用マイクロホン11で検出した音声を認識した結果に応じて表示部26に表示する音声の意味内容及びスピーカ部25から出力する音声の内容を変更させることができるので、更に音声に対する使用者の認識を向上させることができる。従って、この補聴器1によれば、音声情報生成部23により音声認識処理を変更するプログラムを実行することにより、身体状態(難聴の程度等)、利用状態及び使用目的に応じて認識処理を変更することで、使用者が理解しやすい音声の意味的な情報を表示することで更に認識を向上させることができる。
【0047】
スピーカ部25は、上記音声情報生成部23で生成した音声を出力する。このスピーカ部25としては、例えば使用者から話し手に対して音声を出力するものであっても良く、更には、使用者が発した音声を使用者の耳に対して発声するように音声を出力するものであっても良い。また、使用者の耳に対して発声するように音声を出力するスピーカ部25は、スピーカユニットの変換方式としてダイナミック型や静電型(コンデンサ型、エレクトロスタティック型)によるものでも良く、形状としてはヘッドフォン(オープンエア型、クローズド型、カナルタイプ等のイン・ザ・イヤー型等)によるものでも良い。また、スピーカ部25は、従来の補聴器、拡声器、集音器のスピーカによるものでも良く、使用者から話者に対して音声を出力するスピーカ部25は従来から用いられているスピーカ装置でよい。
【0048】
また、スピーカ部25は、音声情報に基づいて出力する音声と逆位相の音を出力するようにしても良い。これにより、スピーカ部25から出力する音声に含まれる雑音成分を除去し、使用者及び/又は使用者に対する話者に雑音の少ない音声を出力する。
【0049】
また、この補聴器1は、外部の通信ネットワークと接続された通信回路27を備えている。この通信回路27は、電話、携帯電話、インターネットや無線、衛星通信等の通信ネットワークを介して例えば音声言語障害を有する者から発せられた音声が入力される。この通信回路27は、外部からの音声や音声を示すデータを信号処理部22に入力する。また、この通信回路27は、音声情報生成部23で生成した音声情報を外部のネットワークに出力する。
【0050】
また、この通信回路27は、信号処理部22、音声情報生成部23を介して文字放送、文字ラジオを表示部26で表示させても良い。このとき、通信回路27は、文字放送等を受信するためのチューナ機能を備え、使用者の所望のデータを受信する。
【0051】
このように構成された補聴器1は、例えば喉頭摘出後に電気式人工喉頭を使って発声された音声がマイクロホン21に入力された場合であっても、信号処理部22で音声認識し、記憶部24に格納された喉頭摘出前にサンプリングした音声を示す音声データを用いて音声情報生成部23で出力する音声を示す音声情報を生成するので、スピーカ部25から喉頭摘出前の使用者の音声に近似した音声を出力することができる。
【0052】
なお、上述した本発明を適用した補聴器1の説明においては、マイクロホン21で検出される喉頭摘出した人の音声である一例について説明したが、聴力障害による言語障害の一つである構音障害(articulation disorders)を持つ者からの音声を検出したときであっても良い。このとき、補聴器1は、言語障害の音声を音声データとして記憶部24に記憶しておき、当該発声者が発声したことに応じて記憶部24に格納された発声者の音声を示す音声データを参照して信号処理部22で音声認識処理を行い、音声情報生成部23で認識結果に応じて音声データを組み合わせることで音声情報を生成する処理を行うことにより、スピーカ部25から音声言語障害のない音声を出力するとともに、表示部26により音声情報に基づいた音声内容を表示することができる。
【0053】
したがってこの補聴器1によれば、例えば喉頭摘出者が代用発声法により発生した音声を表示部26に表示することで不自然な音声を訂正させることができる。
【0054】
更に、補聴器1は、例えば聴力障害による構音障害を持つ者は発声のためのフィードバックが得られず、「きょうは(今日は)」という音声が「きょんわあ」となってしまうのを上述した処理を行うことにより正常な「きょうは(今日は)」という音声に訂正してスピーカ部25から出力することができる。
【0055】
更に、この補聴器1は、表示部26を備えているので、発声者の音声をスピーカ部25から正常な音声にして出力するとともに、発声者の音声内容を表示することにより音声障害者や難聴者の言語訓練学習にとって好適なシステムを提供することができる。
【0056】 つぎに、上述の音声情報生成部23が信号処理部22からの認識結果を加工、変換して音声情報を生成する処理、音声データを組み合わせる処理で適用することができる種々の例について述べる。なお、変換処理等の種々の例は、以下に述べる例に限定するものではない。
【0057】
音声情報生成部23は、信号処理部22からの認識結果を変換するとき、人工知能技術を用いて認識結果を加工変換して音声情報を生成しても良い。音声情報生成部23は、例えば音声対話システムを用いる。ここで、特に聴力の低下した老人は相手話者の言ったことを再度聞き直すことがあるが、このシステムを用いて認識結果を加工変換することにより、補聴器1と使用者とが対話して以前に記憶した相手話者の言ったことの情報を得て、使用者の音声認識を向上させることができ、聞き直す手間を省略することができる。
【0058】
このようなシステムは、マルチモーダル対話システムである表情つき音声対話システムを用いることで実現可能である。このマルチモーダル対話システムでは、ポインティングデバイスとタブレットを利用する入力技術である直接操作・ペンジェスチャ技術、テキスト入力技術、音声認識等の音声入出力技術、人間の視覚、聴覚、触覚、力覚を利用した仮想現実感技術、ノンバーバルモダリティ技術の技術要素をモダリティとし組み合わせて用いる。このとき、音声情報生成部23は、言語情報を補足する手段、対話の文脈情報(或いはその補足手段)、使用者の認知的負担或いは心理的抵抗感を軽減する手段として各モダリティを用いる。なお、ノンバーバルインターフェースとして身振り(gesture)インターフェースを用いてもよい。その場合ジェスチャーインターフェースの計測として装着型センサによる身振り計測には身振りトラッキングが必要であり手袋型デバイス、磁気や光学的位置計測を用い、身振りの非接触計測にはマーカを立体解析したりする映像や3D再構成によるものを用いてもよい。
【0059】
なお、このマルチモーダル対話システムの詳細は文献「Nagao K and Takeuchi A,Speech dialogue with facial displays: Multimodal human-computer conversation.Proc.32nd Ann Meeting of the Association for Computational Linguistics,102-9,Morgan Kaufmann Publishers,1994及びTakeuchi A and Nagao K,Communicative facial displays as a new conversational modality.Proc ACM/IFIP Conf on Human Factors in Computing Systems(INTERCHI'93),187-93, ACM Press,1993」に記載されている。
【0060】
このような人工知能機能を用いた音声対話システムとしては、マイクホン21で検出した音声を、信号処理部22でA/D変換、音響分析、ベクトル量子化の後、音声認識モジュールによって、上位スコアをもつ単語レベルの最良仮説を生成するシステムが使用可能である。ここで、音声情報生成部23は、隠れマルコフモデル(HMM)に基づく音韻モデルを用いて、ベクトル量子コードから音素を推定し、単語列を生成する。音声情報生成部23は、生成した単語列を、構文・意味解析モジュールにより意味表現に変換する。このとき、音声情報生成部23は、単一化文法を用いて構文解析を行い、次にフレーム型知識ベースと事例ベース(例文を解析して得られた文パターン)を用いて曖昧さの解消を行う。発話の意味内容の決定後、プラン認識モジュールにより使用者の意図を認識する。これは対話の進行に従い動的に修正・拡張されていく使用者の信念モデルと対話のゴールに関するプランに基づいている。意図を認識する課程で、主題の管理や、代名詞の照応解消、省略の補完などを行う。そして使用者の意図に基づいて協調的な応答を生成するモジュールが起動する。このモジュールはあらかじめ用意されたテンプレートの発話パターンに領域知識により得られた応答に関する情報を埋め込むことにより発話を生成する。この応答は音声合成モジュールにより音声となる。なお、この信号処理部22及び音声情報生成部23が行う処理としては、例えば文献(Nagao N,A preferential constraint satisfaction technique for natural language analysis. Proc 10th European Conf on Artificial Intelligence ,523-7,John Wiley&Sons,1992)、(Tanaka H,Natural language processing and its applications,330-5,1999,電子情報通信学会編 コロナ社)、(Nagao K, Abduction and dynamic preference in plan-based dialogue understanding.Proc 13th Int joint Conf on Artificial Intelligence,1186-92,Morgan Kaufmann Publishers,1993)に記載された処理を行うことでも実現可能である。
【0061】
また、音声情報生成部23は、人工知能機能を用いて行う処理として、システムの擬人化を行い、音声認識、構文・意味解析、プラン認識より表情パラメータ調節、表情アニメーションを表示部26を用いて行うことにより、視覚的手段を用いて音声対話に対して使用者の認知的負担、心理的抵抗感を軽減する。なお、この音声情報生成部23が行う処理としては、FACS(Facial Action Coding System;Ekman P and Friesen WV, Facial Action Coding System.Consulting Psychologists Press Palo Alto,Calif,1978)に記載された処理を行うことができる。
【0062】
更にまた、音声情報生成部23は、音声対話コンピュータシステム(参照Nakano M et al,柔軟な話者交代を行う音声対話システムDUG-1,言語処理学会第5回年次大会論文集,161-4,1999)としては話し言葉を理解する逐次理解方式(Incremental Utterance Understanding:Nakano M, Understanding unsegmented user utterances in real-time spoken dialogue systems.Proc of the 37th Ann meeting of the association for computational linguistics,200-7)と内容の逐次変更が可能な逐次生成方式(Incremental Utterance Production:Dohsaka K and Shimazu A,A computational model of incremental utterance production in task-oriented dialogues. Proc of the 16th Int Conf on Computational Linguistics, 304-9, 1996. 及びDohsaka K and Shimazu A,System architecture for spoken utterance production in collaborative dialogue. Working Notes of IJCAI 1997 Workshop on Collaboration, Cooperation and Conflict in Dialogue Systems, 1997及び Dohsaka K et al,複数の対話ドメインにおける協調的対話原則の分析、電子情報通信学会技術研究報告NLC-97-58,25-32,1998)による音声と画像を用いる人工知能システムである。ここで、音声情報生成部23は、理解と応答のプロセスが平行動作する。また、音声情報生成部23は、ISTARプロトコール(参照Hirasawa J,Implementation of coordinative nodding behavior on spoken dialogue systems, ICSLP-98,2347-50,1998)を用いて音声認識と同時に単語候補を言語処理部に逐次的に送る。
【0063】
すなわち、音声対話システムDUG-1で用いている技術を用いることにより、補聴器1では、例えば所定のデータ量(文節)ごとに使用者及び/又外部からの音声を音声認識するとともに、音声情報を生成する処理を行う。音声情報生成部23では、使用者及び/又は外部からの音声に応じて、音声認識処理、音声情報認識処理を随時中止、開始することができ、効率的な処理を行うことができる。更に、この補聴器1では、使用者の音声に応じて、音声認識処理、音声情報生成処理を制御することができるので、柔軟に話者の交替を実現することができる。すなわち、音声情報を生成している最中に使用者及び/又は外部からの音声を検出することで処理を変更し、使用者に提示する音声情報の内容を変更等の処理を行うことができる。
【0064】
更にまた、音声情報生成部23は、キーワードスポティングを用いて使用者の自由な発話を理解する処理を行っても良い(Takabayashi Y,音声自由対話システム TOSBURG II ?使用者中心のマルチモーダルインターフェースの実現に向けて?.信学論 vol J77-D-II No.8 1417-28,1994)。
【0065】
この音声情報生成部23は、例えばアクセント等の処理を行うように変換処理を行って音声情報を出力しても良い。このとき、音声情報生成部23は、必要に応じて、特定の発音についてはアクセントの強弱を変化させるように音声情報を変換して出力するようにする。
【0066】
音声情報生成部23は、音声データを合成するとき、どのような内容の音声でも合成するときには規則による音声合成、滑らかな音声を合成するために可変長単位を用いた音声合成、自然な音声を合成するための韻律制御、また音声の個人性付与のために音質変換を行って音声情報を生成しても良い。これは、例えば書籍「"自動翻訳電話" ATR国際電気通信基礎技術研究所編 pp.177-209, 1994オーム社」に記載されている技術を適用することにより実現可能である。
【0067】
また、ボコーダ(vocoder)処理を用いても高品質の音声を合成することが可能である。例えば音声分析変換合成法STRAIGHT(speech transformation and representation based on adaptive interpolation of weighted spectrogram)等を施すことで実現可能である(文献「Maeda N et al,Voice Conversion with STRAIGHT. TECHNICAL REPORT OF IEICE, EA98-9,31-6, 1998」参照)。
【0068】
更に、この音声情報生成部23は、文字情報から音声を作り出す音声合成(text to speech synthesis)技術を用いることにより話の内容に関する情報(音韻性情報)や音の高さや大きさに関する情報(韻律情報)を聴力障害者の難聴の特性に合わせてその人の最も聞き易い音の高さに調整することも可能であり、他に話速変換技術(voice speed converting)、周波数圧縮(frequency compress)処理などの音声特徴量の変換処理を行う。また出力する音声の帯域を調整する帯域拡張(frequency band expansion)処理や、音声強調(speech enhancement)処理等を音声情報に施す。帯域拡張処理、音声強調処理としては、例えば「Abe M, "Speech Modification Methods for Fundamental Frequency, Duration and Speaker Individuality," TECHNICAL REPORT OF IEICE, SP93-137,69-75, 1994」にて示されている技術を用いることで実現可能である。なお、上述したように、信号処理部22及び音声情報生成部23で音声認識処理をして認識結果を加工変換する場合のみならず、上記処理のみを行ってスピーカ部25に出力しても良い。また、この補聴器1では、認識結果及び/又は上記処理のみを行った結果を同時に又は時間差を付けて出力しても良い。また、この補聴器1では、認識結果及び/又は上記処理のみを行った結果をスピーカ部25又は表示部26の右チャンネルと左チャンネルとで異なる内容を出力しても良い。
【0069】
更にまた、上記音声情報生成部23は、認識結果を用いて音声から言語を理解し、当該理解した言語を用いて音声データから音声情報を構成するという処理を行うのみならず、他の処理を認識結果に基づいて理解した言語を必要に応じて加工変換する処理を行っても良い。すなわち、この音声情報生成部23は、音声情報を構成するとともに、音声情報としてスピーカ部25に出力するときの速度を変化させる話速変換処理を行っても良い。すなわち、この話速変換処理は、使用者の状態に応じて適当な話速を選択することによりなされる。
【0070】
更にまた、この音声情報生成部23は、認識結果に応じて、例えば日本語の音声情報を英語の音声情報に変換して出力するような翻訳処理を行って出力しても良く、通信機能と合わせて自動翻訳電話にも応用可能である。更には音声情報生成部23は自動要約(automatic abstracting)を行い、「United States of America」を「USA」と要約するように変換して音声情報を出力しても良い。
【0071】
音声情報生成部23が行う他の自動要約処理としては、例えば文章内から要約に役立ちそうな手がかり表現を拾い出し、それらをもとに読解可能な文表現を生成する生成派の処理(文献「McKeown K and Radev DR,Generating Summaries ofMultiple News Articles. In Proc of 18th Ann Int ACM SIGIR Conf on Res and Development in Information Retrieval,74-82, 1995 及び Hovy E,Automated Discourse Generation using Discourse Structure Relations, Artificial Intelligence, 63, 341-85, 1993」参照)、要約を「切り抜き」と考えて処理し客観的評価が可能となるように問題を設定しようという立場の抽出派の処理(文献「Kupiec J et al,A Trainable Document Summarizer, In Proc of 14th AnnInt ACM SIGIR Conf on Res and Development in Information Retrieval, 68-73, 1995」、及び「Miike S, et al, A Full-text Retrieval System with a Dynamic Abstruct Generation Function.Proc of 17th Ann Int ACM SIGIR Conference on Res and Development in Information Retrieval,152-9, 1994」及び「Edmundson HP,New Method in Automatic Extracting. J of the ACM, 16,264-85, 1969」参照)がある。更に、この音声情報生成部23は、例えば文献「Nakazawa M, et al.Text summary generation system from spontaneous speech,日本音響学会講演論文集 1-6-1,1-2, 1998」に記載されている手法(Partial Matching MethodとIncremental Reference Interval-Free連続DPを用いて重要キーワードの抽出を行い、Incremental Path Methodを用いて単語認識を行う)を用いることが可能である。
【0072】
更にまた、この音声情報生成部23は、認識結果に応じて、特定の音素、母音、子音、アクセント等において、消去したり、音声を出力することに代えてブザー音、あくび音、せき音、単調な音等を音声情報とともに出力するように制御しても良い。このとき、音声情報生成部23は、例えば文献「Warren RM andPerceptual Restoration of Missing Speech Sounds, Science vol.167 ,392-393, 1970」や文献「Warren RM,Obusek CJ, "Speech perception and phonemic restoration,” Perception and psychophysics vol.9 ,358-362, 1971」に記載されている手法を実現した処理を音声情報について行う。
【0073】
更にまた、音声情報生成部23は、認識結果を用いてホーン調となるように音質を変換させて音声情報を出力しても良い。上記ホーン調とは、集音管を使ったもので、約2000Hz以下の帯域の音声を増幅させて、利得を約15dB程度とすることである。すなわち、このホーン調とは、管共鳴を用いた重低音を再生する技術により出力される音質である。この音声情報生成部23は、例えばUS PATENT 4628528により公知となされいているアコースティックウェーブ・ガイド(acoustic wave guide)技術を用いて出力される音質に近似した音に変換して音声情報を出力する。ここで、音声情報生成部23は、例えば低音のみを通過させるフィルター処理を行って音声情報を出力する処理を行っても良く、例えばSUVAG(Systeme Universel Verbo-tonal d'Audition-Guberina)機器を用いることにより、所定の周波数帯域の音声のみを通過させる種々のフィルタ処理を行って音声情報を出力する処理を行っても良い。
【0074】
更にまた、この音声情報生成部23は、例えばマイクロホン21に音楽が入力されたと判断したときには、音声情報を変換して表示部26に音符や色を表示するように処理を行っても良い。また、この音声情報生成部23は、音声のリズムなどが分かるために変換した音声のリズムを信号が点滅するように音声情報を変換して表示部26に表示しても良い。
【0075】
更にまた、この音声情報生成部23は、例えば警報等の発信音がマイクロホン21に入力されたと判断したときには、音声情報を変換することで表示部26に警報等がマイクロホン21で検出された旨の表示を行ったり、スピーカ部25に警報の内容を知らせるような内容を出力しても良く、例えば救急車や非常ベルのサイレンを聞いたら表示するだけでなく大音量で「救急車ですよ」や「火事ですよ」とスピーカ部25から出力するとともに、表示部26に救急車や火事を示す画像を表示することで難聴者に非常事態を伝えることができ、最悪の事態を避けることができる。
【0076】
更にまた、音声情報生成部23は、過去に行った変換合成処理について記憶する機能を備えていても良い。これにより、音声情報生成部23は、過去に行った変換合成処理の改良を自動的に行う学習処理を行うことができ、変換合成処理の処理効率を向上させることができる。
【0077】
更にまた、この信号処理部22及び音声情報生成部23は、話し手の音声のみについての認識結果を生成して音声情報を生成し、スピーカ部25及び/又はディスプレイ部7に提示することで使用者に知らせる一例のみならず、例えば特定の雑音に対してのみ音声認識を行っても良い。要するに、信号処理部22及び音声情報生成部23は、入力した音について音声認識処理を行って、認識結果を使用者の身体状態、利用状態及び使用目的に応じて変換することで使用者が理解し易い表現で音声情報を生成して出力する処理を行う。
【0078】
更にまた、上述した本発明を適用した補聴器1の説明おいては、記憶部24に予めサンプリングして格納した音声データを音声情報生成部23により組み合わせることにより音声情報を生成して出力するものの一例について説明したが、上記音声情報生成部23は、記憶部24に記憶された音声データを組み合わせて音声情報を生成するときに格納された音声データに変換処理を施す音声データ変換部を備えていても良い。このような音声データ変換部を備えた補聴器1は、例えばスピーカ部25から出力する音声の音質を変化させることができる。
【0079】
更にまた、上述した本発明を適用した補聴器1の説明おいては、例えば喉頭摘出前の使用者の音声を予めサンプリングすることにより得た音声データを記憶部24に格納するものの一例について説明したが、記憶部24には、一つの音声データのみならず複数の音声データを予めサンプリングして格納しても良い。すなわち記憶部24には、例えば喉頭摘出前に発せられた音声を予めサンプリングした音声データ、及び前記喉頭摘出前に発せられた音声に近似した音声データを格納しても良く、更には全く異なる音質の音声データを格納しても良く、更にまた、喉頭摘出前の音声データを生成し易い音声データを格納しても良い。このように複数の音声データが記憶部24に格納されているとき、音声情報生成部23は、各音声データの関係を例えば関係式等を用いて関連づけを行って選択的に音声データを用いて音声情報を生成しても良い。
【0080】
また、上述の補聴器1は、サンプリングして記憶部24に格納した音声データを合成することで音声情報を生成して出力する一例について説明したが、記憶部24に記憶されている音声データを合成することで生成した音声情報に、音声情報生成部23によりボコーダ処理を施すことにより、サンプリングして記憶されている音声データが示す音声とは異なる音質の音声に変換して出力しても良い。このとき、音声情報生成部23は、ボコーダ処理を用いた例としてSTRAIGHTを施す。
【0081】
更にまた、信号処理部22は、話者認識(speaker recognition)処理を入力される音声について行って各話者に対応した認識結果を生成しても良い。そして、この信号処理部22では、各話者に関する情報を認識結果とともにスピーカ部25や表示部26に出力することで使用者に提示しても良い。
【0082】
補聴器1で話者認識を行うときには、ベクトル量子化(文献Soong FK and Rosenberg AE,On the use of instantaneous and transitional spectral information in speaker recognition.Proc of ICASSP’86,877-80,1986)によるものでも良い。このベクトル量子化を利用した話者認識では、準備段階の処理として登録話者用の学習用音声データからスペクトルの特徴を表すパラメータを抽出して、これらをクラスタリングすることによりコードブックを作成する。ベクトル量子化による方法は話者の特徴が作成された符号帳に反映されていると考える手法である。認識時には入力された音声と全ての登録話者のコードブックを用いてベクトル量子化を行い、入力音声全体に対して量子化ひずみ(スペクトルの誤差)を計算する。この結果を用いて話者の識別や照合の判定を行う。
【0083】
また、補聴器1で話者認識を行うときには、HMM (文献Zheng YC and Yuan BZ,Text-dependent speaker identification using circular hidden Markov models.Proc of ICASSP’88,580-2,1988)よる方法であっても良い。この方法では、準備段階の処理として登録話者の学習用音声データからHMMを作成する。HMMを用いる方法では話者の特徴は状態間の遷移確率とシンボルの出力確率に反映されると考える。話者認識の段階では入力音声を用いて全ての登録話者のHMMによる尤度を計算して判定を行う。HMMの構造としてleft~to~rightモデルに対してエルゴティックなHMMを用いてもよい。
【0084】
更にまた、補聴器1では、ATR-MATRIX system(ATR音声翻訳通信研究所製:参照 Takezawa T et al, ATR-MATRIX: A spontaneous speech translation system between English and Japanese. ATR J2,29-33,June1999)で用いられている音声認識(ATRSPREC)、音声合成(CHATR)、言語翻訳(TDMT)を行うことで、マイクロホン21で入力した音声を翻訳して出力することができる。
【0085】
上記音声認識(ATRSPREC)では、大語彙連続音声認識を行い、音声認識ツールを用いて音声認識に必要な音響モデルと言語モデルの構築、及び信号処理から探索までの工程を処理する。この音声認識では、行った処理をツール群として完結し、ツール同士の組み合わせることができる。また、この音声認識を行うとき、不特定話者の音声認識を行っても良い。
【0086】
上記音声合成(CHATR)では、あらかじめデータベース化された多量の音声単位から、出力したい文に最も適した単位を選択してつなぎあわせ、音声を合成する。このため、滑らかな音声が出力することができる。この音声合成では、話し手の声に最も近い音声データを用いて話し手の声に似た声で合成することができる。また、この音声合成を行うときには、音声情報生成部23は、入力された音声から話し手が男性か女性かを判断し、それに応じた声で音声合成を行っても良い。
【0087】
上記言語翻訳(TDMT)では、文の構造を判断する処理、対話用例を用いた対話特有のくだけた表現などの多様な表現を扱って言語翻訳を行う。また、この言語翻訳では、マイクロホン21が一部聞き取れなかった部分があっても、翻訳できる部分はなるべく翻訳する部分翻訳処理を行い、一文全体を正確に翻訳できない場合でも、話し手が伝えたい内容をかなりの程度相手に伝える。
【0088】
また、上記音声認識、音声合成、言語翻訳を行うときには、通信回路27を介して携帯電話等の通信機器と接続して双方向の対話可能である。
【0089】
上記音声認識、音声合成、言語翻訳を行う補聴器1では、例えば日英双方向の音声翻訳システムの利用、ほぼリアルタイムの認識、翻訳、合成、話し始めの指示をシステムに与える必要がなく、全二重の対話が可能自然な発話に対する、質の高い認識、翻訳、合成「あのー」、「えーと」といった言葉や、多少くだけた表現があっても認識が可能 となる。
【0090】
更にまた、音声情報生成部23は、上記音声認識(ATRSPREC)において、信号処理部22からの認識結果に基づいて文の構造を判断するだけでなく、対話用例を用いることにより、対話特有のくだけた表現などの多様な表現に対応した音声情報を生成する。また、音声情報生成部23は、マイクロホン21で会話中の一部が聞き取れなかった部分があっても、音声情報を生成することができる部分はなるべく音声情報を生成する。これにより、音声情報生成部23は、一文全体の音声情報を正確に生成できない場合でも、話し手が伝えたい内容をかなりの程度相手に伝える。このとき、音声情報生成部23は、翻訳処理(部分翻訳機能)を行って音声情報を生成しても良い。
【0091】
また、音声情報生成部23は、上記音声合成(CHATR)において、予めデータベース化して記憶された多量の音声単位の音声データから、出力したい文に最も適した単位を選択してつなぎあわせ、音声を合成して音声情報を生成する。これにより、音声情報生成部23は、滑らかな音声を出力するための音声情報を生成する。また、音声情報生成部23は、話し手の声に最も近い音声データを用いて話し手の声に似た声で合成処理を行っても良く、入力された音声から話し手が男性か女性かを判断し、それに応じた声で音声合成を行って音声情報を生成しても良い。
【0092】
更にまた、音声情報生成部23は、マイクロホン21からの音声から、特定の音源の音のみを抽出してスピーカ部25及び/又は表示部26に出力しても良い。これにより、補聴器1は、複数の音源から到来する音の混合の中から、特定の音源の音のみを抽出して聞くことができるカクテルパーティ現象を人工的に作ることができる。
【0093】
更にまた、音声情報生成部23は、音韻的に近い例を用いて誤りを含んだ認識結果を訂正する手法を用いて聞き間違いを修正して音声情報を生成しても良い(文献Ishikawa K, Sumida E: A computer recovering its own misheard-Guessing the original sentence form a recognition result based on familiar expressions- ATR J 37,10-11,1999)。このとき、音声情報生成部23は、使用者の身体状態、利用状態及び使用目的応じて処理を行って、使用者にとってわかりやすい形態に加工変換する。
【0094】
なお、上述した補聴器1の説明においては、マイクロホン21で検出した音声について音声認識処理、音声生成処理を行う一例について説明したが、使用者等により操作される操作入力部28を備え当該操作入力部28に入力されたデータを音声及び/又は画像とするように信号処理部22により変換しても良い。また、この操作入力部28は、例えば使用者の指に装着され、指の動きを検出することでデータを生成して信号処理部22に出力するものであっても良い。
【0095】
また、この補聴器1は、例えば使用者が液晶画面等をペンにより接触させることで文字及び/又は画像を描き、その軌跡を取り込むことによる画像に基づいて文字及び/又は画像データを生成する文字及び/又は画像データ生成機構を備えていても良い。補聴器1は、生成した文字及び/又は画像データを信号処理部22及び音声情報生成部23により認識・変換等の処理を行って出力する。
【0096】
更に、上述の補聴器1は、マイクロホン21等からの音声を用いて信号処理部22により音声認識処理を行う一例に限らず、例えば使用者及び/又は使用者以外の人が装着する鼻音センサ、呼気流センサ、頸部振動センサからの検出信号及びマイクロホン21等からの信号を用いて音声認識処理を行っても良い。このように、補聴器1は、マイクロホン21のみならず上記各センサを用いることにより、信号処理部22による認識率を更に向上させることができる。
【0097】
更に、この補聴器1は、例えば自動焦点機能やズーム機能を搭載したデジタルカメラにより動画像や静止画像等を撮像するカメラ機構29を図2に示すように備え、表示部26に表示するものであっても良い。このカメラ機構29は例えば図1のディスプレイ部7と一体に搭載されても良い。また、上記カメラ機構29としては、デジタルカメラを用いても良い。
【0098】
また、この補聴器1に備えられたカメラ機構29は、撮像した画像を使用者の視力や乱視等の状態に合わせて歪ませたり拡大させたりする画像変換処理を施して表示部26に表示する眼鏡機能を備えていても良い。
【0099】
このような補聴器1は、例えばカメラ機構29からCPU等からなる信号処理回路を経由して表示部26に撮像した画像を表示する。この補聴器1は、このようなカメラ機構29により例えば話者を撮像した画像を使用者に提示することで、使用者の認識を向上させる。また、この補聴器1は、撮像した画像を通信回路27を介して外部のネットワークに出力しても良く、更には外部のネットワークからカメラ機構29で撮像した画像を入力して通信回路27及び信号処理回路等を介して表示部26に表示しても良い。
【0100】
更に、この補聴器1では、話者を撮像した画像を用いて信号処理部22で顔面認識処理、物体認識処理を行って音声情報生成部23を介して表示部26に表示しても良い。これにより、補聴器1では、撮像対象者の口唇、顔の表情、全体の雰囲気等を使用者に提示して、使用者の音声認識を向上させる。
【0101】
撮像機能を用いた顔の認識において顔の個人性特徴を抽出して個人認識をおこなうものとして、以下の方法があるがこれらに限られるものではない。
【0102】
濃淡画像のマッチングにより識別するための特徴表現の一つとしてパターンをモザイク化し、各ブロック内の画素の平均濃度をブロックの代表値とすることで濃淡画像を低次元ベクトルに情報圧縮して表現する方法でM特徴といわれている方法である。また、KI特徴という濃淡顔画像の特徴表現で、Karhunen-Loeve(KL)展開を顔画像の標本集合に適応して求められる直交基底画像を固有顔とよび、任意の顔画像をこの固有顔を用いて展開した係数から構成される低次元の特徴ベクトルで記述する方法である。更に、顔画像集合のKL展開による次元圧縮に基づくKI特徴によるもの照合パターンをまずフーリエスペクトルに変換しKI特徴の場合と同様に標本集合をKL展開することで次元圧縮を行って得られる低次元の特徴スペクトルであるKF特徴による識別を行う方法がある。以上の方法によるものが顔画像認識に用いることが可能であり、それらを用いて顔の認識を行うことは対話者が誰であるかという個人識別情報をコンピュータに与えることになり、使用者にとって対話者に対する情報が得られ、音声情報に対する認識が増す。なお、このような処理は、文献「小杉 信:“ニューラルネットを用いた顔画像の識別と特徴抽出”,情処学CV研報,73-2(1991-07)」、文献「Turk MA and Pentland AP,Face recognition using eigenface.Proc CVPR,586-91(1991-06)」、文献「Akamatsu S et al,Robust face intification by pattern matching Based on KL expansion of the Fourier Spectrum 信学論 vol J76-D-II No.7,1363-73,1993」、文献「Edwards GJ et al,Learning to identify and track faces in image seguences,Proc of FG '98,260-5,1998」に記載されている。
【0103】
この補聴器1では、物体認識を行うときには、物体を示すパターンをモザイク化しておき、実際に撮像した画像とマッチングを取ることにより物体の識別を行う。そして、この補聴器1では、マッチングがとれた物体の動きベクトルを検出することで、物体の追尾を行う。これにより、物体から発せられる音声から生成される音声情報に対する認識が増す。この物体認識処理は、SonyCSLから提案されているUbiquitous Talker(文献Nagao K and Rekimoto J,Ubiquitous Talker:Spoken language interaction with real world objects. Proc 14th IJCAI-95,1284-90,Morgan Kaufmann Publishers,1995)で用いられてる技術を採用することができる。
【0104】
更に、この補聴器1は、静止画撮像用デジタルカメラのようにシャッターを押すことで静止画を撮像しても良い。更に、カメラ機構29は、動画像を生成して信号処理部22に出力しても良い。このカメラ機構29により動画像を撮像するときの信号方式としては、例えばMPEG(Moving Picture Experts Group)方式などを用いる。更にまた、この補聴器1に備えられるカメラ機構29は、3次元画像を撮像することで、話者や話者の口唇を撮像して表示部26に表示させることで更に使用者の認識を向上させることができる。
【0105】
このような補聴器1は、使用者自身の発した音声や相手の発した音声等及び/又はその場の情景を撮像した画像を記録し再生することで、言語学習における復習することができ言語学習に役立てることができる。
【0106】
また、この補聴器1によれば、画像を拡大処理等して表示部26に表示することで相手を確認し全体の雰囲気をつかめ音声聴取の正確さが向上し、更に読唇(lip reading)を行うことが可能となり認識を上昇させる。
【0107】
更にまた、この補聴器1は、例えばスイッチ機構が設けられており、マイクロホン21で検出した音声をスピーカ部25により出力するか、カメラ機構29により撮像した画等像を表示部26により出力するか、又は音声及び画像の双方を出力するかを使用者により制御可能としても良い。このときスイッチ機構は、使用者に操作されることで、音声情報生成部23から出力を制御する。
【0108】
また例として、スイッチ機構は、使用者及び/又は使用者以外の音声を検出して、例えば「音声」という音声を検出したときにはマイクロホン21で検出した音声をスピーカ部25により出力するように切り換え、例えば「画像」という音声を検出したときにはカメラ機構29により撮像した画等像を表示部26により出力するように切り換え、「音声、画像」という音声を検出したときには音声及び画像の双方を出力するするように切り換えても良く、以上のような音声認識を用いたスイッチ制御機構を備えていても良い。また、ジェスチャーインターフェースを用いることで、ジェスチャー認識によるスイッチ制御システムとしても良い。
【0109】
更にまた、このスイッチ機構は、カメラ機構29のズーム状態等のパラメータを切り換えることでカメラ機構29で画像を撮像するときの状態を切り換える機能を備えていても良い。
【0110】
つぎに、この補聴器1において、音声情報生成部23により作成した音声情報を出力する機構の種々の例について説明する。なお、本発明は、以下に説明する出力する機構に限られることはないことは勿論である。
【0111】
すなわち、この補聴器1において、音声情報を出力する機構としてはスピーカ部25や表示部26に限らず、例えば骨導や皮膚刺激を利用したものであっても良い。この音声情報を出力する機構は、例えば小さな磁石を鼓膜等に装着し、磁石を振動させるものや、骨を通して信号を蝸牛に伝達するものであっても良い。
【0112】
このような補聴器1は、例えば圧挺板を備え、音声情報生成部23により変換することにより得た信号を前記圧挺板に出力するようにしたものや、皮膚刺激を用いたタクタイルエイド(Tactile Aid)等の触覚による補償技術を利用したものであっても良く、これらの骨振動や皮膚刺激等を用いた技術を利用することで、音声情報生成部23からの信号を使用者に伝達することができる。皮膚刺激を利用した補聴器1においては、音声情報生成部23からの音声情報が入力されるタクタイルエイド用振動子アレイが備えられており、タクタイルエイドと当該振動子アレイを介してスピーカ部25から出力する音声を出力しても良い。
【0113】
また、上述した補聴器1の説明においては、音声情報を音声として出力するときの処理の一例について説明したが、これに限らず、例えば人工中耳により使用者に認識結果を提示するものであっても良い。すなわち、この補聴器1は、音声情報を電気信号としてコイル、振動子を介して使用者に提示しても良い。
【0114】
更には、この補聴器1は、人工内耳機構を備え、人工内耳により使用者に認識結果を提示するものであっても良い。すなわち、この補聴器1は、例えば埋め込み電極、スピーチプロセッサ等からなる人工内耳システムに音声情報を電気信号として供給して使用者に提示しても良い。
【0115】
更には、この補聴器1は、脳幹インプラント(Auditory Brainstem Implant)機構を備え、聴性脳幹インプラントにより使用者に音声情報を提示するものであっても良い。すなわち、この補聴器1は、例えば埋め込み電極、スピーチプロセッサ等からなる脳幹インプラントシステムに音声情報を電気信号として供給して使用者に提示しても良い。
【0116】
更にまた、この補聴器1は、使用者の身体状態、利用状態及び使用目的に応じて、例えば超音波帯域の音声が認識可能な難聴者に対しては認識結果及び加工変換した認識結果を音声情報として超音波帯域の音声に変調・加工変換して出力しても良い。更にまた、この補聴器1は、超音波出力機構(bone conduction ultrasound)を用いて超音波周波数帯域の信号を生成し、超音波振動子等を介して使用者に出力しても良い。
【0117】
更にまた、この補聴器1は、ヘッドホンの接触子を耳珠に当て、骨伝導をおこしさらに耳珠、外耳道内壁の振動が気導音となるシステムである骨伝導ユニットを備え、当該骨伝導ユニットを使用して音声情報を使用者に提示しても良い。この骨導ユニットとしては、聴覚障害者用ヘッドホンシステムであるライブホン(日本電信電話株式会社製)が使用可能である。
【0118】
更にまた、この補聴器1は、スピーカ部25、表示部26等の複数の出力手段を備える一例について説明したが、これらの出力手段を組み合わせて用いても良く、更には各出力手段を単独で出力しても良い。また、この補聴器1では、マイクロホン21に入力した音声の音圧レベルを変化させる従来の補聴器の機能を用いて音声を出力するとともに、上述した他の出力手段で認識結果を提示しても良い。
【0119】
更にまた、この補聴器1は、スピーカ部25及び/又は表示部26から出力する出力結果を同時に或いは時間差を持たせて出力してするように音声情報生成部部23で制御するスイッチ機構を備えていても良く、複数回に亘って出力結果を出力するか一回に限って出力結果を出力するかを制御するスイッチ機構を備えていても良い。
【0120】
また、この補聴器1の説明においては、図2に示したような一例について説明したが、入力された音声について上述した種々の加工変換処理を行って表示部26に表示させる第1の処理を行うCPUと、入力された音声について上述した種々の加工変換処理を行ってスピーカ部25に出力結果を出力するための第2の処理を行うCPUと、カメラ機構29で撮像した画像を表示するための第3の処理を行うCPUとを備えたものであっても良い。
【0121】
このような補聴器1は、各処理を行うCPUを独立に動作させて第1の処理又は第2の処理を行わせて出力させても良く、更には各処理を行うCPUを同時に動作させて第1の処理、第2の処理、及び第3の処理を行わせて出力させても良く、更には、第1及び第2の処理、第1及び第3の処理又は第2及び第3の処理を行うCPUを同時に動作させて出力させても良い。
【0122】
更にまた、補聴器1は、使用者の身体状態、利用状態及び使用目的に応じて上述した種々の出力機構からの出力結果を同時に或いは時間差を持たせて出力してするように音声情報生成部23で制御しても良い。
【0123】
更に、この補聴器1は、複数のCPUを有し、上述した複数のCPUで行う第1?第3処理のうち、少なくとも1の処理をひとつのCPUで行うとともに、残りの処理を他のCPUで行っても良い。
【0124】
例えば、この補聴器1において、ひとつのCPUが入力された音声を文字データとして加工変換を行って表示部26に出力する処理(text to speech synthesis)を行うとともに、又はひとつのCPUが入力された音声に対して文字データとして加工変換を行って他のCPUが入力された同じ音声に対してSTRAIGHT処理を行ったりしてスピーカ部25に出力する処理を行い、他のCPUが入力された音声に対してボコーダ処理のうち、例えば音声分析合成法STRAIGHTを用いた処理を行ってスピーカ部25に出力する処理を行っても良い。すなわちこの補聴器1は、スピーカ部25に出力する信号と、表示部26に出力信号とで異なる処理を異なるCPUにより行うものであっても良い。
【0125】
更に、この補聴器1においては、上述した種々の加工変換処理を行って上述の種々の出力機構に出力する処理を行うCPUを有するとともに、加工変換処理を施さないでマイクロホン21に入力された音声を出力しても良い。
【0126】
更に、この補聴器1においては、上述した種々の加工変換処理の一を行うためのCPUと、他の加工変換処理を行うCPUとを別個に備えていても良い。 【0127】 更に、この補聴器1においては、上述のように認識結果や加工変換した認識結果や撮像した画像等について音声情報生成部23で変換する処理を行うとともに、従来と同様に音声を検出して得た電気信号を増幅させて音質調整、利得調整や圧縮調整等を行いスピーカ部25に出力するものであっても良い。
【0128】
なお、この補聴器1において、信号処理部22及び音声情報生成部23で行う処理を、例えばフーリエ変換、ボコーダ処理(STRAIGHT等)の処理を組み合わせて適用することで、上述した処理を行っても良い。
【0129】
また、本発明を適用した補聴器1では、個人的に使用する小型のタイプの補聴器について説明したが、集団で用いる大型のもの(卓上訓練用補聴器や集団訓練用補聴器)にも用いてもよい。
【0130】
視覚ディスプレイとしてHMD、Head-coupled display(頭部結合型表示装置)があげられる。以下に例を示す。双眼式HMD(左右眼毎に視差画像を提示し立体視を可能とするものや左右眼双方に同じ画像を提示し見かけ上の大画面を与えるもの)、単眼式、シースルー型HMD、視覚補助や視覚強調機能のついたディスプレイ、眼鏡型の双眼望遠鏡に自動焦点機能付でVisual filterを用いたもの、接眼部にコンタクトレンズを使用するシステム、網膜投影型(Virtual Retinal Display、Retinal projection display、網膜投影型の中間型)、視線入力機能付きHMD(製品名HAQ-200(島津製作所))や頭部以外(首、肩、顔面、眼、腕、手など)にマウントするディスプレイ、立体ディスプレイ(投影式オブジェクト指向型ディスプレイ(例 head-mounted projector:Iinami M et al., Head-mounted projector(II)-implementation Proc 4th Ann Conf Of Virtual Reality Society of Japan 59-62,1999)、リンク式の立体ディスプレイ、大画面のディスプレイ(spatial immnersive display)(例omnimax、 CAVE(Cruz-Neira C et al. Surrounded-screen projection-based virtual reality: The design and implementation of the CAVE, Proc of SIGGRAPH'93,135-42,1993参照)、CAVE型立体映像表示装置であるCABIN(Hirose M et al. 電子情報通信学会論文誌Vol J81-D-II No.5.888-96,1998)、CAVE等の投影ディスプレイとHMDの両方の特徴をもつ小型超広視野ディスプレイ(Endo T et al. Ultra wide field of view compact display. Proc 4th Ann Conf of Virtual Reality Society of Japan,55-58,1999)、アーチスクリーン)が使用可能である。
【0131】
特に大画面のディスプレイのものは大型補聴器として用いるときに使用してもよい。また、上述した補聴器1では、音の再現方法としてバイノーラル方式(3次元音響システムはHead-Related Transfer Functionを用いた空間音源定位システムを用いる:例 Convolvotron & Acoustetron II(Crystal River Engineering),ダイナミック型ドライバユニットとエレクトレットマイクロフォンを使用した補聴器TE-H50(Sony))を使用してもよく、実際と近い音場をつくったり、トランスオーラル方式(トラッキング機能付きのトランスオーラル方式が3次元映像再現におけるCAVEに対応する)を用いたりするものは主に大型の補聴器システムの場合に用いるのが好ましい。
【0132】
更にまた、上述のHMD2は、頭頂部に3次元位置検出センサーを備えていても良い。このようなHMD2を備えた補聴器1では、使用者の頭の動きに合わせてディスプレイ表示を変化させることが可能となる。
【0133】
強調現実感(Augmented reality(AR))を利用した補聴器1では、使用者の動作に関するセンサを備え、センサで検出した情報、マイクロホン21で検出し音声情報生成部23で生成した音声情報とを用いることで、AR空間を生成する。音声情報生成部23は、種々のセンサシステムとVR形成システムを統合するシステムとディスプレイシステムによりなるバーチャルリアリティ(Virtual realtiy(VR))システムとを協調的に用いることにより、実空間にVR空間を適切に重畳することで、現実感を強調するARの空間をつくることが可能となる。これにより補聴器1では視覚ディスプレイを用いるときに、顔面部にある画像からの情報を、情報が来るたびに大幅に視線をはずすことなく、ただ画像が目の前にあるだけでなく、画像情報が、いかにもそこにあるように自然に受けいれるようになり自然な状態で視覚からの情報を受け取ることが可能となる。以上を実行するには以下のシステムがある。
【0134】
このような補聴器1は、図3に示すように、AR空間を形成するためには、仮想環境映像生成のための3Dグラフィックアクセラレータを音声情報生成部23の内部に搭載することでコンピュータグラフィックスの立体視が可能な構成とし、更に無線通信システムを搭載する。この補聴器1に使用者の位置と姿勢の情報を取得するため、センサ31として頭部に小型ジャイロセンサ(例 データテックGU-3011)を、使用者の腰に加速度センサ(例 データテックGU-3012)を接続する。以上のセンサ31からの情報を音声情報生成部23で処理を行った後、使用者の右目、左目に対応するスキャンコンバータ32a、32bで処理をして表示部26に映像が行くというシステム(Ban Y et al, Manual-less operation with wearable augmented reality system.Proc 3th Ann Conf of Virtual Reality society of Japan,313-4,1998参照)を用いることで可能となる。
【0135】
また、この補聴器1では、センサ31に加えて状況認識システム(例Ubiquitous Talker(Sony CSL))とVRシステムを形成する他のシステムである以下の種々のセンサシステムとVR形成システムを統合するシステムとディスプレイシステム、及び、この補聴器1とを協調的に用いることにより、AR空間を強化することも可能であり、マルチモダリティを用いて音声情報を補足可能となる。
【0136】
このようなVR等の空間を形成するには、先ず、使用者がセンサ31に本人から情報を送り、その情報がVR形成システムを統合するシステムに送られ、ディスプレイシステムから使用者に情報が送られることで実現する。
【0137】
上記センサ31(情報入力システム)として以下のデバイスがある。
【0138】
特に人体の動きの取り込みや、空間に作用するデバイスとして光学式3次元位置センサ(ExpertVision HiRES & Face Tracker(MotionAnalysis))、磁気式3次元位置センサ(InsideTrack(Polhemus),3SPACE system(POLHEMUS), Bird(Ascension Tech.))、機械式3Dディジタイザ(MicroScribe 3D Extra(Immersion))、磁気式3Dディジタイザ(Model 350 (Polhemus))、音波式3Dディジタイザ(Sonic Digitizer(Science Accessories))、光学式3Dスキャナー(3D Laser Scanner(アステックス))、生体センサ(体内の電気で測る)サイバーフィンガー(NTTヒューマンインタフェース研究所)、手袋型デバイス(DetaGlove(VPL Res),Super Glove(日商エレクトロニクス)Cyber Glove(Virtual Tech))、フォースフィードバック(Haptic Master(日商エレクトロニクス)、PHANToM(SensAble Devices))、3Dマウス(Space Controller(Logitech))、視線センサ(眼球運動分析装置(ATR視聴覚機構研究所製))、体全体の動きの計測に関するシステム(DateSuit(VPL Res))、モーションキャプチャーシステム(HiRES(Motion Analysis))、加速度センサ(三次元半導体加速度センサ(NEC製))、視線入力機能付きHMDがある。
【0139】
また、ARを実現するためには、表示部26のみならず、触覚を利用した触覚ディスプレイ、触圧ディスプレイ、力覚ディスプレイがある。触覚ディスプレイにより音声を触覚により伝え、聴覚だけでなく触覚をも加えることで音声の認識をあげことが可能となる。この触覚ディスプレイとしては、例えば振動子アレイ(オプタコンや触覚マウス、タクチュアルボコーダ等)、触知ピンアレイ(ペーパーレスブレイル等)などが使用可能である。他にwater jet、air jet.PHANToM(SensAble Devices)、Haptic Master(日商エレクトロニクス)などがある。具体的には、補聴器1は、VRな空間でVRキーボードを表示し、信号処理部22及び音声情報生成部23での処理をVRキーボードまたはVRスイッチにより制御する。これにより、わざわざキーボードを用意したり、スイッチまで手を伸ばしたりすることが無くなり、使用者の操作を楽にし、耳に装着するのみの補聴器と近い装用感を得ることができる。
【0140】
前庭感覚ディスプレイとしては、ウオッシュアウトとウオッシュバックにより狭い動作範囲の装置でも多様な加速度表現ができるシステム(モーションベット)が使用可能である。
【0141】
VRシステムを統合するシステムとしては、以下のものがあり、それら限定されることはないが、C、C++のライブラリとして供給され、表示とそのデータベース、デバイス入力、干渉計算、イベント管理などをサポートし、アプリケーションの部分は使用者がライブラリを使用してプログラミングするものや、ユーザプログラミングを必要とせずデータベースやイベント設定をアプリケーションツールで行い、そのままVRシュミレーションを実行するシステムなどを使用してもよい。またこの補聴器1に関する個々のシステム間を通信にてつなげてもよい。また、状況を高い臨場感を保って伝送するのに広帯域の通信路を使用しても良い。また、補聴器1では、3Dコンピュータグラフィックスの分野で用いられている以下の技術を用いてもよい。現実に起こり得ることを忠実に画像として提示し、非現実的な空間を作り、実際には不可能なことも画像として提示することがコンセプトとなる。3Dコンピュータグラフィックスでは、以下のモデリング技術、レンダリング技術、アニメーション技術により可能となる。複雑で精密なモデルを作るモデリング技術としては、ワイヤーフレームモデリング、サーフェスモデリング、ソリッドモデリング、べジエ曲線、B?スプライン曲線、NURBS曲線、ブール演算(ブーリアン演算)、自由形状変形、自由形状モデリング、パーティクル、スイープ、フィレット、ロフティング、メタボール等がある。また、質感や陰影をつけリアルな物体を追求するためにレンダリング技術としては、シェーディング、テクスチュアマッピング、レンダリングアルゴリズム、モーションブラー、アンチエリアシング、デプスキューイングがある。また、作成したモデルを動かし、現実の世界をシミュレーションするためのアニメーション技術としては、キーフレーム法、インバースキネマティクス、モーフィング、シュリンクラップアニメーション、αチャンネルがある。また、サウンドレンダリングとして「文献Takala T,Computer Graphics (Proc SIGGRAPH 1992)Vol26,No2,211-20」に記載されている技術を用いても良い。
【0142】
このようなVRシステムを統合するシステムとしては、例えばDivision Incのシステム(VRランタイムソフトウェア[dVS]、VR空間構築ソフトウェア[dVISE]、VR開発用ライブラリ[VC Toolkit]、SENSE8社のWorldToolKitと、WorldUp、Superscape社のVRT、ソリッドレイ社のRealMaster、モデルなしのVRの生成として、文献「Hirose M et al. A study of image editing technology for synthetic sensation. Proc ICAT'94,63-70,1994」に記載されている方法等を使用しても良い。
【0143】
また、本実施の形態では、HMD2と、コンピュータ部3との間を光ファイバーケーブル4で接続してなる携帯型の補聴器1について説明したが、HMD2とコンピュータ部3との間をワイヤレスとし、HMD2とコンピュータ部3との間を無線や赤外線を用いた信号伝送方式等により情報の送受信を行っても良い。更に、この補聴器1においては、HMD2とコンピュータ部3との間をワイヤレスとする場合のみならず、図2に示した各部が行う機能毎に分割して複数の装置とし、各装置間をワイヤレスとしても良く、少なくともコンピュータ部3を使用者に装着させずにHMD2と情報の送受信を行っても良い。更にまた、この補聴器1においては、使用者の身体状態、利用状態、使用目的に応じて、図2に示した各部が行う機能毎に分割して複数の装置とし、各装置間をワイヤレスとしても良い。これにより、補聴器1は、使用者が装着する装置の重量、体積を軽減し、使用者の身体の自由度を向上させ、使用者の認識を更に向上させることができる。
【0144】
また、補聴器1では、通信回路27を介して信号処理部22及び音声情報生成部23で行う処理の制御及びバージョンアップ、修理等をしても良い。これにより、補聴器1では、通信回路27を通じて視覚ディスプレイ、聴覚ディスプレイ等を通じて修理、制御、調整等を受けることができる。
【0145】
また、本発明を適用した補聴器1によれば、合成した音声を表示することで使用者に提示することができるので、例えば事務(ウェアブルコンピュータとして)、通信(自動翻訳電話への応用など)、産業医学領域(メンタルヘルスなど)、医療現場(聴力検査への利用)、外国語学習、言語訓練、娯楽(テレビゲーム)、個人用のホームシアター、コンサートや試合等の観戦、番組製作(アニメーション、実写映像、ニュース、音楽制作)、水中(ダイビングでの水中における会話など)、諜報活動や軍事、騒音下などの悪条件での作業業務(建築現場工場など)、スポーツ(自動車やヨット等のレースや、山や海等の冒険時、選手の試合時や練習時での選手同士や選手とコーチ間の意志疎通や情報変換)、や宇宙空間での作業、運輸(宇宙船や飛行機のパイロット)、カーナビゲーションシステム、VRとARとを用いた種々のシミュレーション作業(遠隔手術(マイクロサージュリー)など)等、教育、トレーニング、内科治療、傷病治療、政治、旅行、買い物、マーケティング、広告、宗教、デザインの分野、アミューズメントパーク等におけるFish-tank VR display、裸眼立体視システム、テレイグジスタンス視覚システムなどを用いたVRやARや、テレエグシスタンスやアールキューブを利用したもの、電話やインターネットでの応対業務にも適用可能であり、音声言語障害者のみならず、重病患者、重度身体障害者のコミュニケーション、介護学校等の広い分野で使用可能である。

図の説明
【符号の説明】
1 音声生成装置、2 ヘッドマウントディスプレイ、3 コンピュータ部、7 ディスプレイ部、8 使用者用マイクロホン、11 外部用マイクロホン、21 マイクロホン、23 音声情報生成部、24 記憶部、25 スピーカ部、26 表示部

発明の名称 音声変換装置及び方法
出願人・権利者 有限会社ジーエムアンドエム
発明者・考案者 大場俊彦

出願番号 特願2000-600451 2000/02/16
国際出願番号 JP2000000872 2000/02/16
公開番号
公表/再公表番号
国際公開番号 WO2000049834 2000/08/24
公告番号
請求公告番号
登録番号 特許第4439740号 2010/01/15

請求の範囲 【請求項1】 入力音声を検出して音声信号を生成する音響電気変換手段と、前記音響電気変換手段からの前記音声信号を用いて、使用者の身体状態、利用状態及び使用目的に応じて音声認識処理を行う信号処理手段と、前記信号処理手段からの認識結果を用いて音声情報を生成する情報生成手段とを含むコンピュータ部と、前記情報生成手段からの前記音声情報を前記使用者に提示する出力手段であって、前記音声情報を画像として表示する表示手段と音声として出力する電気音響変換手段とを備える出力手段と、前記音響電気変換手段、前記表示手段、前記電気音響変換手段及び前記コンピュータ部を使用者に装着するための手段と、前記音響電気変換手段、前記表示手段及び前記電気音響変換手段を前記コンピュータ部と電気的に接続するための接続手段と、を具備し、前記音響電気変換手段は、音声言語障害を有して発せられた音声を検出して音声信号を生成し、前記情報生成手段は、音声言語障害を有しないで発せられた音声を予めサンプリングすることで生成した音声データを記憶する記憶手段と、前記信号処理手段からの認識結果に基づいて、前記記憶手段に記憶された音声データを用いて出力する音声を示す音声情報を生成する音声情報生成手段とを備えることを特徴とする音声変換装置。
【請求項2】 使用者の身体状態、利用状態及び使用目的に応じて認識結果を提示する音声変換装置であって、入力音声を検出して音声信号を生成する音響電気変換手段と、前記音響電気変換手段からの前記音声信号を用いて、使用者の身体状態、利用状態及び使用目的に応じて音声認識処理を行う信号処理手段と、前記信号処理手段からの認識結果を用いて音声情報を生成する情報生成手段とを含むコンピュータ部と、前記情報生成手段からの前記音声情報を前記使用者に提示する出力手段であって、前記音声情報を画像として表示する表示手段と、音声として出力する電気音響変換手段とを備える出力手段と、前記音響電気変換手段と前記出力手段とを前記コンピュータ部に電気的に接続するための接続手段と、を具備し、前記音響電気変換手段は、音声言語障害を有して発せられた音声を検出して音声信号を生成し、前記情報生成手段は、音声言語障害を有しないで発せられた音声を予めサンプリングすることで生成した音声データを記憶する記憶手段と、前記信号処理手段からの認識結果に基づいて、前記記憶手段に記憶された音声データを用いて出力する音声を示す音声情報を生成する音声情報生成手段とを備えることを特徴とする音声変換装置。
【請求項3】 前記記憶手段は、更に、前記表示手段に表示する画像を示すデータを格納しており、前記信号処理手段により認識された結果及び/又は前記情報生成手段からの認識結果に基づいて、前記情報生成手段が、前記記憶手段に格納された前記データを読み出し、読み出された前記データが示す画像を前記表示手段に表示させることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項4】 前記情報生成手段が、前記信号処理手段により認識された音声の音量に応じて、異なる大きさの図柄を前記記憶手段から読み出して前記表示手段に表示させることを特徴とする、請求項3に記載の音声変換装置。
【請求項5】 前記情報生成手段は、使用者及び/又は使用者以外の者から発せられる音声を前記表示手段に表示させるとともに、使用者及び/又は使用者以外の者から発せられる音声の音圧レベルを増幅して前記電気音響変換手段から音声として出力させることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項6】 前記情報生成手段は、前記信号処理手段での認識結果に応じて、前記音響電気変換手段で検出した音声の意味内容を前記表示手段に表示させることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項7】 通信回線を通じて音声を前記信号処理手段に入力するとともに、前記出力手段からの画像と音声を前記通信回線に出力する通信手段を更に備えることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項8】 前記信号処理手段は、前記音響電気変換手段からの音声について話者認識処理を行って各話者に対応した認識結果を生成し、前記出力手段は、各話者に関する情報を使用者に提示することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項9】 画像を撮像する撮像手段を更に備え、前記撮像手段は、撮像した画像を少なくとも前記表示手段に出力することを特徴とする、請求項1又は2に記載の音声変換装置.
【請求項10】 前記撮像手段は、使用目的に応じて、撮像した画像について画像変換処理を施して前記表示手段に出力することを特徴とする、請求項9に記載の音声変換装置。
【請求項11】 前記撮像手段は、使用者に対して着脱自在となされていることを特徴とする、請求項8に記載の音声変換装置。
【請求項12】 前記通信手段が、外部ネットワークに含まれる外部機器と接続されることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項13】 前記通信手段は、前記音響電気変換手段で生成した音声信号及び/又は前記信号処理手段からの認識結果を前記外部機器に出力することができ、前記外部機器からの音声認識結果を受け取ることができることを特徴とする、請求項12に記載の音声変換装置。
【請求項14】 前記通信手段は、前記信号処理手段及び/又は前記情報生成手段の処理内容を変更するプログラムを前記外部機器から受信し、前記信号処理手段及び/又は前記情報生成手段は、前記通信手段で受信した前記プログラムに基づいて動作することを特徴とする、請求項12に記載の音声変換装置。
【請求項15】 前記情報生成手段は、前記信号処理手段からの認識結果を同時に又は時間差を持たせて前記出力手段から出力させることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項16】 前記接続手段が無線接続手段であることを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項17】 前記音響電気変換手段は、音声言語障害を有して発せられた音声を、補助的手段と代用発声法とのうちの何れか一つを用いて是正された音声として検出して音声信号を生成することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項18】 使用者の動作に関するセンサを更に備え、前記出力手段は、前記センサで検出した情報と前記情報生成手段からの音声情報とに基づいて仮想現実感を形成することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項19】 使用者の動作に関するセンサを更に備え、前記出力手段は、前記センサで検出した情報と前記情報生成手段からの音声情報とに基づいて強調現実感を形成することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項20】 音声対話機能を更に備え、前記音声対話機能による対話結果に基づいて、前記情報生成手段が前記信号処理手段による認識結果を加工変換することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項21】 前記情報生成手段が、前記音声情報の要約を生成する機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項22】 前記情報生成手段が、使用者の身体状態、利用状態及び使用目的に基づいて、前記信号処理手段からの認識結果に、使用者が理解し易い言葉を付け加える機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項23】 前記情報生成手段が、前記信号処理手段からの認識結果に含まれる非言語情報を手話等の画像として前記表示手段に表示させる出力を生じる機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項24】 前記入力音声が、警報、特定の雑音及び特定の音源からの音などの特定の音であるとき、前記出力手段が、前記信号処理手段からの認識結果に含まれる前記特定の音に対応する出力を生じる機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項25】 前記情報生成手段が、音韻的に近い例を用いて誤りを訂正することにより、前記信号処理手段からの認識結果に含まれる聞き違いを修正した出力を生じる機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項26】 前記入力音声の音声情報を生成している期間に前記使用者の音声又は外部の音声を検出したとき、前記情報生成手段が、前記音声情報の内容を変更する機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。
【請求項27】 前記情報生成手段が、以前に出力した音声情報を再度出力する機能を有することを特徴とする、請求項1又は2に記載の音声変換装置。

米国特許
US Patent No: 7,676,372
Link http://www.google.com/patents/US7676372

Prosthetic hearing device that transforms a detected speech into a speech of a speech form assistive in understanding the semantic meaning in the detected speech

A speech transformation apparatus comprises a microphone 21 for detecting speech and generating a speech signal; a signal processor 22 for performing a speech recognition process using the speech signal; a speech information generator for transforming the recognition result responsive to the physical state of the user, the operating conditions, and/or the purpose for using the apparatus; and a display unit 26 and loudspeaker 25 for generating a control signal for outputting a raw recognition result and/or a transformed recognition result. In a speech transformation apparatus thus constituted, speech enunciated by a spoken-language-impaired individual can be transformed and presented to the user, and sounds from outside sources can also be transformed and presented to the user.

慶友銀座クリニック(東京都中央区)へのご通院地域

銀座の耳鼻科、いびき治療、睡眠時無呼吸、補聴器は慶友銀座クリニックへご相談ください

慶友銀座(けいゆう ぎんざ)クリニックは、耳鼻咽喉科(耳鼻科)・小児の耳鼻咽喉科・アレルギー・内科・レーザー手術(日本レーザー医学会認定施設)・いびき(睡眠時無呼吸症候群)を専門とする医師として、慶応義塾大学病院 耳鼻咽喉科(新宿区信濃町)、東京都済生会中央病院 耳鼻咽喉科(港区三田)、国立小児病院 耳鼻咽喉科(現在国立成育医療センター 世田谷区大蔵)で学んだ最先端の耳鼻科医療を、銀座・築地・新橋・汐留の皆さんのお立場に立ってご提供しております。終業後に赤坂や霞ヶ関、虎ノ門、内幸町、八重洲・東京駅周辺、地下鉄で日本橋・人形町・茅場町・八丁堀・明石町方面、勝どき・晴海・豊洲方面から来られる患者さまも多いです。東京地区だけでなく、全国からも来院なされます。火曜・金曜日を除き、内科の診療も行っております。禁煙外来も好評です。補聴器を扱っています。

医院名
慶友銀座クリニック
診療日
月~金+祝日
休診日
土日
受付時間
午前部 9:30-13:30 午後部 15:00-18:30
標榜科目
耳鼻咽喉科 アレルギー科 気管食道科 内科 小児科 歯科 歯科口腔外科
開設者
院長 大場俊彦
住所
〒104-0046 東京都中央区築地1-13-11高橋ビル2階
代表電話
03-3542-3387
交 通
(日比谷線・浅草線) 東銀座駅(日比谷線)築地駅(銀座線) 銀座駅 (有楽町線)新富町駅 銀座1丁目駅 (大江戸線)築地市場駅
(JR山手線) 有楽町駅 新橋駅[汐留・銀座口]
(東京都都営バス)築地バス停(東京臨海線ゆりかもめ)新橋・汐留