MISC - 李 晃伸
-
Network and Embedded Applications of Automatic Speech Recognition
Nobuo Hataoka, Hiroaki Kokubo, Akinobu Lee, Tatsuya Kawahara, Kiyohiro Shikano
2008年08月
記述言語：英語 出版者・発行元：ECT
ASR (Automatic Speech Recognition) is one of key technologies in the upcoming Ubiquitous Computing and Ambient Intelligence. In this paper, first, the surveys on processing devices such as microprocessors and memories, and on communication infrastructure, especially wireless communication infrastructure re-lating to ASR are reported. Second, the embed-ded version of CSR (Continuous Speech Recognition) software for the mobile environmental use of ASR is reported. As the devices, RISC based microprocessors, semi-conductor memories, and HDD are summarized. For the communication infrastructure, mobile communi-cations and wireless LANs are described. Finally, im-plementation results of the free CSR software called Julius on the T-engineTM consisting of an SH-4A mi-croprocessor are reported.
-
4L-3 ハンズフリーロボット対話実験システムの構築(リーディングプロジェクト e-society:自然な音声対話処理技術(2),一般セッション,リーディングプロジェクト e-society)
猿渡 洋, 高橋 祐, Cincarek Tobias, 酒井 啓行, 竹内 翔大, 大迫 慶一, 宮部 滋樹, 森 康充, 川波 弘道, 李 晃伸, 鹿野 清宏
全国大会講演論文集 70 ( 5 ) "5 - 353"-"5-354" 2008年03月
-
大語彙連続音声認識エンジンJuliusバージョン4.0の構成と機能
李 晃伸
全国大会講演論文集 70 345 - 346 2008年03月
-
大語彙連続音声認識ソフトウェアJuliusのマイコンへの実装
小窪 浩明, 李 晃伸, 河原 達也, 鹿野 清宏
全国大会講演論文集 70 347 - 348 2008年03月
-
3L-1 音声情報案内システム「たけまるくん」の運用(リーディングプロジェクト e-society:自然な音声対話処理技術(1),一般セッション,リーディングプロジェクト e-society)
鹿野清宏, CincarekTobias, 竹内翔大, 川波弘道, 李晃伸, 西村竜一, 猿渡洋
全国大会講演論文集 70 ( 5 ) "5 - 335"-"5-336" 2008年03月
-
大語彙連続音声認識エンジン Julius ver. 4
李晃伸
情報処理学会研究報告音声言語情報処理（SLP） 2007 ( 129 ) 307 - 312 2007年12月
記述言語：日本語 出版者・発行元：一般社団法人情報処理学会
大語彙連続音声認識エンジン Julius は 2007年 12月にバージョン ver. ４ がリリースされた．７年ぶりのメジャーバージョン更新となる ｖｅｒ. ４ では，内部構造のモジュール化およびソースの全面的な再構成が行われ，可搬性と柔軟性が大幅に向上された．その結果，エンジン本体がライブラリ化された他のアプリケーションに組み込めるようになったほか，コールバック・プラグイン等の外部との連携の仕組みが整備され，機能の拡張や構成の変更が容易に行えるようになった．言語モデルも単語 N-gram および文法を単一バイナリで同等に扱えるようになり Julian は Julius に統一された．さらに，複数の言語モデルと音響モデルを任意に組み合わせて，１エンジンで並列認識を行うマルチデコーディングも可能となった．また，基本性能についても拡張と強化が行われた．言語モデルとして孤立単語認識が新たに追加されたほか，4-gram 以上の任意長 N-gram への対応、ユーザ関数による外部言語制約の組込み、GMM-based VAD およびデコーダベース VAD、confusion network の生成など大幅な機能強化が行われた。性能は従来バージョンと同等を維持しており、かつメモリ量の削減も行われている。The new version 4.0 of large vocabulary continuous speech recognition engine "Julius" has been released at December 2007, as a major version up from version 3.0. An anatomical analysis and data stcuture re-organization has been accomplished for the whole codes to improve its modularity and flexibility. Its improved structure now enables Julius to be compiled as a external library to be incorpolated into various user applications. A simple callback API and plugin facilities are newly built to be controlled directly and lively from outer applications, which enables easy but tight integration with other applications. Also, grammar-based recognizer Julian has been incorpolated into Julius and the N-gram and grammar can be treated at the same executable. Furthermodre, It supports fully multi-decoding using multiple LMs, AMs and their arbitral combinations. It now supports long N-gram (N unlimited), user-defined LM function, GMM-based and a newly proposed decoder-based VAD, confusion network generation, and many other new functions. The memory requirement has also been improved, while keeping the same accuracy.
-
音響モデルと言語モデルに基づく音声区間検出を用いたハンズフリー音声認識アルゴリズムの評価(雑音・VAD,第9回音声言語シンポジウム)
酒井啓行, ツィンツァレクトビアス, 川波弘道, 猿渡洋, 鹿野清宏, 李晃伸
情報処理学会研究報告. SLP, 音声言語情報処理 2007 ( 129 ) 13 - 18 2007年12月
出版者・発行元：社団法人情報処理学会
人と音声対話ロボットとの自然な対話を可能にするためにハンズフリーインターフェースの導入が求められている.ハンズフリー音声認識システムでは様々な背景雑音の混入や,ユーザの直接音のパワーが減衰するなど様々な理由で入力音声のSignal-to-Noise Ratio (SNR)が低下してしまう.そしてSNRの低下に伴いユーザの発話区間を特定する音声区間検出が困難となる,また雑音環境における有効な音声区間検出手法は確立されていない.本稿では,雑音環境下においても頑健にユーザの発話区間を検出する音響モデルと言語モデルに基づく認識による音声区間検出を用いたハンズフリー音声認識アルゴリズムの評価を行う.従来のVAD手法として振幅パワー,統計モデル,GMMなどに基づく手法を挙げ,性能比較実験を行うことで提案手法の有効性を示す.
-
声質変換のためのスペクトル・F_0の同時モデリング
宇藤 陽介, 南角 吉彦, 李 晃伸, 徳田 恵一
電子情報通信学会技術研究報告. SP, 音声 107 ( 406 ) 103 - 108 2007年12月
記述言語：日本語 出版者・発行元：一般社団法人電子情報通信学会
声質変換とは,ある話者が発した音声を別の話者が発したかのような音声に変換する技術であり,任意の音声を合成する音声合成システムよりも少量の学習データで実現可能である.従来の声質変換ではスペクトルをガウス混合モデル(Gaussian Mixture Model ; GMM)でモデル化し,非線形に変換する手法が広く用いられる.しかし,F_0の変換に関してはスペクトルとは独立に線形変換が用いられることが多かった.これは,F_0が有声区間のみで定義されており,無声区間では値を持たず,系列全体を通常の連続分布や離散分布でモデル化することが容易ではないためである.本報告では,多空間上の確率分布(Multi-Space Probability Distribution ; MSD)に基づくGMM (MSD-GMM)を用いたスペクトルとF_0の同時変換手法を提案する.提案法では,F_0の非線形変換が可能になるだけでなく,有声から無声や無声から有声への変換も可能となる.さらに本研究では,F_0の時間方向の変動をモデル化するためにMSD-HMMへの拡張を検討する.
-
音響モデルと言語モデルに基づく音声区間検出を用いたハンズフリー音声認識アルゴリズムの評価(雑音・VAD,第9回音声言語シンポジウム)
酒井啓行, ツィンツァレクトビアス, 川波弘道, 猿渡洋, 鹿野清宏, 李晃伸
電子情報通信学会技術研究報告. SP, 音声 107 ( 406 ) 13 - 18 2007年12月
出版者・発行元：社団法人電子情報通信学会
人と音声対話ロボットとの自然な対話を可能にするためにハンズフリーインターフェースの導入が求められている.ハンズフリー音声認識システムでは様々な背景雑音の混入や,ユーザの直接音のパワーが減衰するなど様々な理由で入力音声のSignal-to-Noise Ratio (SNR)が低下してしまう.そしてSNRの低下に伴いユーザの発話区間を特定する音声区間検出が困難となる,また雑音環境における有効な音声区間検出手法は確立されていない.本稿では,雑音環境下においても頑健にユーザの発話区間を検出する音響モデルと言語モデルに基づく認識による音声区間検出を用いたハンズフリー音声認識アルゴリズムの評価を行う.従来のVAD手法として振幅パワー,統計モデル,GMMなどに基づく手法を挙げ,性能比較実験を行うことで提案手法の有効性を示す.
-
音声対話システムにおける発話文の自動クラスタリングに基づく応答選択
垣鍔亮太, 南角 吉彦, 李晃伸, 徳田 恵一
情報処理学会研究報告音声言語情報処理（SLP） 2007 ( 75 ) 7 - 12 2007年07月
記述言語：日本語 出版者・発行元：一般社団法人情報処理学会
公共の場における音声情報案内システムでは，幅広いユーザの自然な発話を対象とするため，さまざまな内容や認識誤りを含む発話に対して適切な応答を選択する必要がある．本稿では，発話文の自動クラスタリングに基づく統計的応答選択手法を提案する．システムに対するユーザ発話の書き起こし文集合に対して，文間の類似度からクラスタリングを行い，代表発話文（テンプレート）の集合を得る．入力時には，発話の認識結果の文に対して最も類似度の高いテンプレートを求め，それに対応した応答を出力する．発話文の自動クラスタリングにはY-クラスタリングを用い，さらに精度良く文のクラスタリングを行うため付属語ペナルティおよび固有名詞のタグ化を行った．応答選択システムを構築し，公共音声情報案内システム「たけまるくん」のデータを用いて実験を行った結果，従来のキーワードベースの応答選択手法による応答正解率が74.4%であるのに対して75.2%の性能が得られた．また，様々なパラメータ設定による性能の比較や，K-means法との比較も行った．A public spoken dialog system operated on real situation has to deal with vast variety of utterances with disfluencies and ill-formedness from various speakers, and their recognition errors are also inevitable. In this paper, a robust method of statistical response selection on question answering system based on automatic utterance clustering is proposed. A set of transcribed user utterances are first clustered by their similarity between sentences to generate a set of representative sentences (templates). On question answering, the similarities between a recognized sentence and the templates are calculated, and a response that corresponds to the template of the highest similarity will be chosen as an output. A clustering method called "Y-clustering" is used for the automatic utterance clustering, and two modifications are made for more accurate clustering: ancillary words penalty and lexical tagging on proper noun. Experimental results on the data of public speech-oriented information guidance system "Takemaru-kun" showed that the proposed system achieved a response correct rate of 75.2%, which outperforms the conventional method based on keyword matching whose correct rate was 74.4%. The clustering performance on various configurations are also investigated, and a comparison with K-means method are also reported.
-
実環境ハンズフリー音声認識のための音響モデルと言語モデルに基づく音声区間検出と認識アルゴリズム(認識,理解,対話,一般)
酒井啓行, ツィンツアレクトビアス, 川波弘道, 猿渡洋, 鹿野清宏, 李晃伸
電子情報通信学会技術研究報告. SP, 音声 107 ( 116 ) 55 - 60 2007年06月
出版者・発行元：社団法人電子情報通信学会
実環境ハンズフリー音声認識ではユーザの発話以外に様々な背景雑音が混入するためSNRが悪くなり,従来の振幅パワーに基づく音声区間検出は難しい.本稿では,ハンズフリー音声認識のための音響モデルと言語モデルに基づいた新しい音声区間検出およびその認識アルゴリズムを提案する.具体的には発話の前後の無音区間(非発話区間)の存在に注目し,認識を行う中で音韻と無音を比較することで区間を特定する.提案法では振幅パワーに関わらずリアルタイムに効果的な音声区間検出が可能である.提案法を音声認識エンジンJuliusに組み込み,SNRの異なる音声データを用いて実験を行うことで,音声区間検出と認識率において従来法よりも大きく優れることを示した.
-
Voice activity detection applied to hands-free spoken dialogue robot based on decoding using acoustic and language model. 査読あり
Hiroyuki Sakai, Tobias Cincarek, Hiromichi Kawanami, Hiroshi Saruwatari, Kiyohiro Shikano, Akinobu Lee
Proceedings of the 1st International Conference on Robot Communication and Coordination, ROBOCOMM 2007, Athens, Greece, October 15-17, 2007 16 2007年
-
「たけまるくん」実環境音声案内システムのデータベース整備と「キタちゃん」へのポータビリティーの検討(第8回音声言語シンポジウム)
ツインツァレクトビアス, 川波弘道, 木田学, 猿渡洋, 鹿野清宏, 西村西村, 李晃伸
情報処理学会研究報告. SLP, 音声言語情報処理 2006 ( 136 ) 173 - 178 2006年12月
出版者・発行元：社団法人情報処理学会
本稿では、「たけまるくん」の長期間運用に伴って構築してきた実環境音声データベースを用いて、音声案内システムの性能向上を時間軸でシミュレートする。収集期間と、データ数、出現している単語の数、評価データにおける言語モデルのパープレキシティーと未知語率、音声認識性能、応答正解率との関係を分析し、システム開発におけるそれぞれの構成要素の重要性に関して報告を行う。結果として、質問応答DBを始め、音響モデル、言語モデルの順番でシステム更新が効果的であることが判った。また、一年間の収集データに基づいて構築したシステムにおける性能はほぼ飽和し、より多くの収集データを学習に用いても、上昇は見られなかった。更に、「たけまるくん」の収集データで構築した地下鉄の駅に設置した「キタちゃん」のポータビリティーを検討する。より現実的な開発状況を想定するため、新環境で収集した20日間のデータのみをシステムの適応に用いる。音声
-
「たけまるくん」実環境音声案内システムのデータベース整備と「キタちゃん」へのポータビリティーの検討(Session-4 一般(ポスターセッション),第8回音声言語シンポジウム)
ツィンツァレクトビアス, 川波弘道, 木田学, 猿渡洋, 鹿野清宏, 西村竜一, 李晃伸
電子情報通信学会技術研究報告. SP, 音声 106 ( 443 ) 173 - 178 2006年12月
出版者・発行元：社団法人電子情報通信学会
本稿では、「たけまるくん」の長期間運用に伴って構築してきた実環境音声データベースを用いて、音声案内システムの性能向上を時間軸でシミュレートする。収集期間と、データ数、出現している単語の数、評価データにおける言語モデルのパープレキシティーと未知語率、音声認識性能、応答正解率との関係を分析し、システム開発におけるそれぞれの構成要素の重要性に関して報告を行う。結果として、質問応答DBを始め、音響モデル、言語モデルの順番でシステム更新が効果的であることが判った。また、一年間の収集データに基づいて構築したシステムにおける性能はほぼ飽和し、より多くの収集データを学習に用いても、上昇は見られなかった。更に、「たけまるくん」の収集データで構築した地下鉄の駅に設置した「キタちゃん」のポータビリティーを検討する。より現実的な開発状況を想定するため、新環境で収集した20日間のデータのみをシステムの適応に用いる。音声
-
音声情報案内システム「たけまるくん」および「キタちゃん」の開発(特別企画「音声認識デベロッパーズフォーラム」)
鹿野清宏, CincarekTobias, 川波弘道, 西村竜一, 李晃伸
情報処理学会研究報告. SLP, 音声言語情報処理 2006 ( 107 ) 33 - 38 2006年10月
出版者・発行元：社団法人情報処理学会
筆者らは生駒市北コミュニティセンターに、音声情報案内システム「たけまるくん」を設置して、2002年11月から4年間運用している。最初の1年半あまり、精力的にシステムの改良を行い、現在では、子供を中心とする多くの市民に利用されている。このシステムは、大語彙連続音声認識プログラムJuliusを用いた4万語あまりの大語彙の連続発声認識を中心に構築された本格的な自由発話による音声情報案内システムである。また、入力された音声や雑音はすべて収録され、とくに最初の2年間は書き起こしが終了している。この2年間の書き起こしデータを用いることによるシステムの性能の向上の予備評価についても報告する。このたけまるくんの成果を活かして、今年の3月末に、奈良先端大の近くの近鉄の駅「学研北生駒」に、独立した2つの音声情報案内システム「キタちゃん」と「キタロボ」を設置した。駅は60dBAと、コミュニティセンターに比べて、騒音レベルが10dB程度高く、厳しい
-
フレーム単位の信頼度を用いた並列音声認識におけるデコーダ間枝刈りの検討
袴田 智博, 南角 吉彦, 李晃伸, 徳田 恵一
情報処理学会研究報告音声言語情報処理（SLP） 2006 ( 73 ) 31 - 36 2006年07月
記述言語：日本語 出版者・発行元：一般社団法人情報処理学会
様々な環境や話者に対して高精度な不特定話者音声認識を実現するためのアプローチとして、対象の異なる複数のモデルによる結果を選択する方法が研究されている。この実現方法のひとつとしてモデルごとに独立した認識処理を統合する並列デコーディングがあるが、この場合デコーダの数に比例して計算量が増大する問題がある。本研究では、各デコーダの認識処理途中のフレームの情報に基づいてデコーダ間で動的に枝狩りを行うことを検討する。人力音声に対して相対的に適合しないと判断できるモデルの認識処理を中断することにより、最後まで処理を行うデコーダの数を絞り込み、トータルの計算量を削減する。枝刈りの基準として、フレームごとの現存単語仮説の最大累積尤度および、その現存仮説集合から得られる事後確率に基づく信頼度の上位の値を検討する。7～12のモデルの組み合せを用いた評価実験において、認識処理終了後にモデル選択を行う従来の並列音声認識に比べてほぼ同じ精度を保ちつつ、計算量を全体の1/3程度に抑えることができた。Parallel decoding based on multiple models has been studied on a speech recognition system to efficiently cover various conditions and speakers in real world. However, running many recognizers in parallel applying all models causes the total computational cost to grow. In this paper, an efficient way of finding and pruning unpromising decoding process while search based on frame-wise likelihoods of each model is proposed. By comparing temporal search statistics at each frame among all decoders, a decoder with relatively unmatched models can be pruned in halfway of recognition process. This method allows the model structures to be mutually independent. Experimental results on parallel recognition of various acoustic models showed that two thirds of the computational cost was reduced compared to full computation by using the both criteria without spoiling the recognition accuracy as compared with conventional post-selection.
-
大語彙連続音声認識エンジン Julius の開発の進展
李 晃伸
電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション 105 ( 494 ) 37 - 42 2005年12月
記述言語：日本語 出版者・発行元：一般社団法人電子情報通信学会
Juliusはオープンソースの大語彙連続音声認識ソフトウェアであり, 数万語の語彙を用いた連続発声の実時間認識を, 一般的なPC以下のリソースで実現できる.オープンなモデルインタフェース, プログラムの可搬性, および十分な認識処理性能といった特徴を持ち, 国内外の様々な研究期間および開発機関で利用されており, 現在も実環境における音声インタフェースの手軽な実現と広い普及を目指して, 必要な機能の実装と動作の安定性を目指して精力的に開発が続けられている.本稿では, 大語彙連続音声認識エンジンJuliusの基本アルゴリズムの特徴について解説するとともに, 近年のJuliusの開発の進展についてまとめる.
-
［特別講演］大語彙連続音声認識エンジンJuliusの開発の進展
李晃伸
情報処理学会研究報告音声言語情報処理（SLP） 2005 ( 127 ) 127 - 132 2005年12月
記述言語：日本語 出版者・発行元：一般社団法人情報処理学会
Juliusはオープンソースの大語桑連続音声認識ソフトウェアであり，数万語の語嚢を用いた連続発声の実時間認識を，－般的なPC以下のリソースで実現できる．オープンなモデルインタフェース，プログラムの可搬性，および十分な認識処理性能といった特徴を持ち，国内外の様々な研究期間および開発機関で利用されており，現在も実環境における音声インタフェースの手軽な実現と広い普及を目指して，必要な機能の実装と動作の安定性を目指して精力的に開発が続けられている．本稿では，大語嚢連続音声認識エンジンJuliusの基本アルゴリズムの特徴について解説するとともに，近年のJuliusの開発の進展についてまとめる．Julius is a high-performance, two-pass large vocabulary continuous speech recognition (LVCSR) decoder software for speech-related researchers and developers. It realizes almost real-time decoding on most current PCs on dictation of over 60k words vocabulary. Julius has been developed to equip an open model interface, program portability, and sufficient recognition performance to be used both for the current research of speech recognition and for the development of speech-recognition-driven applications on real world. It has been developed continuously, integrating many required features and improving stability. This paper summarizes the recent progress of the LVCSR engine Julius, with brief description about the search algorithm.
-
公共音声対話システムにおけるN-gramとGrammarの融合によるタスク拡張(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
北村任宏, 戸田智基, 川波弘道, 李晃伸, 猿渡洋, 鹿野清宏
情報処理学会研究報告. SLP, 音声言語情報処理 2005 ( 127 ) 103 - 108 2005年12月
出版者・発行元：社団法人情報処理学会
音声認識, 音声対話システムを実環境で利用する場合, 設置する環境に適したタスクドメインを設定することが重要である.システムをより普及させるためには簡易に所望のタスクへと適用, もしくは拡張する技術が必須である.既存の音声対話システムに新たなタスクを追加する際, 発話に対するドメインの判別や対話戦略の構築が必要となる.その際に, 統計的言語モデルの作成時は新たに大量のコーパスを必要とし, 製作のために多大な時間を要する.本稿では, 統計的言語モデルに基づく既存の対話システムにおいて, ネットワーク文法を併用することで簡易にタスクを拡張し, 発話に対して高精度にドメインの判別, 音声認識を行う手法を提案する.実験的評価より, ドメインの判別率は90%以上で, それに基づいた単語認識率もほぼ90%以上の値を示し, 高精度に判別, 認識が行えた.以上より, 提案手法の有効性が示せた.
-
公共音声対話システムにおけるN-gramとGrammarの融合によるタスク拡張(Session-4 システム・言語モデル, 第7回音声言語シンポジウム)
北村任宏, 戸田智基, 川波弘道, 李晃伸, 猿渡洋, 鹿野清宏
電子情報通信学会技術研究報告. SP, 音声 105 ( 496 ) 13 - 18 2005年12月
出版者・発行元：社団法人電子情報通信学会
音声認識, 音声対話システムを実環境で利用する場合, 設置する環境に適したタスクドメインを設定することが重要である.システムをより普及させるためには簡易に所望のタスクへと適用, もしくは拡張する技術が必須である.既存の音声対話システムに新たなタスクを追加する際, 発話に対するドメインの判別や対話戦略の構築が必要となる.その際に, 統計的言語モデルの作成時は新たに大量のコーパスを必要とし, 製作のために多大な時間を要する.本稿では, 統計的言語モデルに基づく既存の対話システムにおいて, ネットワーク文法を併用することで簡易にタスクを拡張し, 発話に対して高精度にドメインの判別, 音声認識を行う手法を提案する.実験的評価より, ドメインの判別率は90%以上で, それに基づいた単語認識率もほぼ90%以上の値を示し, 高精度に判別, 認識が行えた.以上より, 提案手法の有効性が示せた.
