|
Affiliation Department |
情報工学科 メディア情報分野
|
|
Title |
Professor |
|
Contact information |
|
|
Homepage |
|
|
External Link |
|
LEE Akinobu
|
|
|
Research Interests
-
Speech Recognition
-
Information Processing on Avatar Communication
-
Spoken Dialog System
-
Spoken Language Processing
-
Humanoid Agent Interaction
Research Areas
-
Informatics / Perceptual information processing
-
Informatics / Intelligent informatics
-
Informatics / Human interface and interaction
From School
-
Kyoto University Faculty of Engineering Department of Information Science Graduated
- 1996.03
Country：Japan
From Graduate School
-
Kyoto University Graduate School, Division of Information and Communication Department Intelligence Science and Technology Doctor's Course Completed
- 2000.09
Country：Japan
-
Kyoto University Graduate School, Division of Engineering Department of Information Science Master's Course Completed
- 1998.03
Country：Japan
External Career
-
Nara Institute of Science and Technology Research Assistant
2000.10 - 2005.03
Country：Japan
-
Nagoya Institute of Technology Associate Professor
2005.04 - 2016.03
Country：Japan
Research Career
-
Information Processing on Avatar Communication / R&D on CG-specific avatar commuinication
The Other Research Programs
Project Year： 2020.12 - 2025.12
JST Moonshot R&D Goal 1 Avatar Symbiotic Society Project
-
Speech Recognition, Spoken Language Processing and Understanding, Spoken Dialog System, Voice interaction
(not selected)
Project Year： 2000.10
General topics of speech recognition, spoken language understanding, dialog systems and interactions, incorporating signal, language and perceptions.
Papers
-
Data generation for speaker diarization by speaker transition information Reviewed
Keigo Ichikawa, Sei Ueno, and Akinobu Lee
Asia Pacific Signal and Information Processing Association (APSIPA) 2024.12
Authorship：Last author Language：English Publishing type：Research paper (international conference proceedings)
Other Link： https://www.apsipa2023.org/tprogram.html
-
大規模事前学習モデルによる笑い声表現を用いたspeech-laugh音声の生成
木全亮太朗, 上乃 聖, 李 晃伸
日本音響学会講演論文集 2024.09
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
-
Refining Synthesized Speech Using Speaker Information and Phone Masking for Data Augmentation of Speech Recognition Reviewed
Sei Ueno, Akinobu Lee, Tastuya Kawahara
IEEE/ACM Transactions on Audio, Speech, and Language Processing 32 3924 - 3933 2024.09
Language：English Publishing type：Research paper (scientific journal)
DOI： 10.1109/TASLP.2024.3451982
Other Link： https://repository.kulib.kyoto-u.ac.jp/dspace/handle/2433/289487
-
Multi-setting acoustic feature training for data augmentation of speech recognition Reviewed
Sei Ueno, Akinobu Lee
Acoustical Science and Technology 45 ( 4 ) 195 - 203 2024.07
Authorship：Last author Language：English Publishing type：Research paper (scientific journal)
DOI： https://doi.org/10.1250/ast.e23.70
Other Link： https://www.jstage.jst.go.jp/article/ast/45/4/45_e23.70/_article/-char/ja
-
経験情報収集および伝達を主目的とする雑談対話による関係性維持支援システム
志満津 奈央, 上乃 聖, 李 晃伸
言語処理学会 第30回年次大会 発表論文集 1394 - 1399 2024.03
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
Other Link： https://www.anlp.jp/proceedings/annual_meeting/2024/index.html
-
大規模言語モデルを用いたEmotional Support Conversation システムの構築とその評価
藤田 敦也, 上乃 聖, 李 晃伸
言語処理学会 第30回年次大会 発表論文集 1378 - 1383 2024.03
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
Other Link： https://www.anlp.jp/proceedings/annual_meeting/2024/index.html
-
センチメント分析を用いた感情を重視した物語の階層的要約手法
酒井 健壱, 上乃 聖, 李 晃伸
言語処理学会 第30回年次大会 発表論文集 1119 - 1124 2024.03
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
Other Link： https://www.anlp.jp/proceedings/annual_meeting/2024/index.html
-
3 話者以上の話者交替情報を用いたSpeaker Diarization のためのデータ生成
市川 奎吾, 上乃 聖, 李 晃伸
日本音響学会講演論文集 2024.03
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
-
日本語日常会話の潜在的な発話スタイルに基づく対話シーンに応じた音声合成
嶋崎 純一, 上乃 聖, 李 晃伸
日本音響学会講演論文集 2024.03
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
-
暗黙的な非線形処理を導入した拡散モデルを用いた音声合成
岡本 海, 上乃 聖, 李 晃伸
日本音響学会講演論文集 2024.03
Authorship：Last author Language：Japanese Publishing type：Research paper (other academic)
Books and Other Publications
-
Pythonと大規模言語モデルで作るリアルタイムマルチモーダル対話システム (エンジニア入門シリーズ128) Reviewed
東中 竜一郎, 光田 航, 千葉 祐弥, 李 晃伸（ Role： Joint author , 第４章 マルチモーダル対話システム）
科学情報出版株式会社 2024.06 （ ISBN:4910558306 ）
Total pages：256 Responsible for pages：第４章 マルチモーダル対話システム Language：jpn Book type：Scholarly book
-
Human-Harmonized Information Technology, Volume 2
Keiichi Tokuda, Akinobu Lee, Yoshihiko Nankaku, Keiichiro Oura, Kei Hashimoto, Daisuke Yamamoto, Ichi Takumi, Takahiro Uchiya, Shuhei Tsutsumi, Steve Renals, Junichi Yamagishi（ Role： Contributor）
Springer 2017.04 （ ISBN:978-4-431-56535-2 ）
Total pages：293 Responsible for pages：77-114 Language：eng Book type：Scholarly book
Other Link： https://www.amazon.co.jp/dp/B071DHMMB9/
-
河原達也 編著（ Role： Contributor）
オーム社 2016.09 （ ISBN:978-4-274-21936-8 ）
Total pages：208 Responsible for pages：7章, 付録 Language：jpn Book type：Scholarly book
-
音響キーワードブック
日本音響学会（ Role： Contributor）
コロナ社 2016.03 （ ISBN:433900880X ）
Total pages：494 Responsible for pages：音声におけるオープンソース Language：jpn Book type：Dictionary, encyclopedia
-
Chapter 7.2-2 Common platform of Japanese LVCSR assessment in "Resources and Standards of Spoken Language Systems - Advances in Oriental Spoken Language Processing"
（ Role： Joint author）
World Scientific Publishing Co. 2010.04
Language：jpn
Misc
-
汎用大語彙音声認識ソフトウェア入門 Invited Reviewed
李 晃伸
62 ( 2 ) 50 - 56 2018.02
Authorship：Lead author Language：Japanese Publishing type：Article, review, commentary, editorial, etc. (scientific journal)
-
On-Campus, User-Participatable, and Voice-Interactive Digital Signage
Keiichiro Oura, Daisuke Yamamoto, Ichi Takumi, Akinobu Lee, Keiichi Tokuda
Academic Journal of The Japanese Society of Artifical Intelligence 28 ( 1 ) 60 - 67 2013.01
Language：Japanese Publishing type：Article, review, commentary, editorial, etc. (international conference proceedings) Publisher：The Japanese Society of Artifical Intelligence
-
Technical Advances of Speech-Oriented Guidance System "Takemaru-kun" by 10 Years of Long-Term Operation
Ryuichi Nisimura, Nao Hara, Hiromichi Kawanami, Akinobu Lee, Kiyohiro Shikano
Academic Journal of the Japanese Society for Artificial Intelligence 28 ( 1 ) 52 - 59 2013.01
Language：Japanese Publishing type：Article, review, commentary, editorial, etc. (international conference proceedings) Publisher：The Japanese Society for Artificial Intelligence
-
Speech recognition decoder and recognition engine
LEE Akinobu
Acoustical Science and Technology 66 ( 1 ) 28 - 31 2009.12
Authorship：Lead author Language：Japanese Publishing type：Article, review, commentary, editorial, etc. (international conference proceedings) Publisher：Acoustical Society of Japan
-
Development of speech recognition interface using Julius
Akinobu Lee, Tatsuya Kawahara
Human Interface 11 ( 1 ) 31 - 38 2009.02
Authorship：Lead author Language：Japanese Publishing type：Article, review, commentary, editorial, etc. (international conference proceedings) Publisher：Human Interface Society
-
Large-vocabulary continuous speech recognition engine Julius
LEE Akinobu
The transactions of the Institite of Electronics, Information and Communication Engineers 13 ( 4 ) 2009.02
Authorship：Lead author Language：Japanese Publishing type：Article, review, commentary, editorial, etc. (international conference proceedings) Publisher：The Institite of Electronics, Information and Communication Engineers
Presentations
-
金子優, 上乃聖, 李晃伸
NLP若手の会 (YANS) 第19回シンポジウム 2024.09 NLP若手の会運営委員会
Event date： 2024.09
Language：Japanese Presentation type：Poster presentation
Venue：梅田スカイビル Country：Japan
-
マルチエージェント協働による TRPG ゲームマスターの実現
箕成侑音, 上乃聖, 李晃伸
NLP若手の会 (YANS) 第19回シンポジウム 2024.09 NLP若手の会運営委員会
Event date： 2024.09
Language：Japanese Presentation type：Poster presentation
Venue：梅田スカイビル Country：Japan
-
大規模言語モデルを用いた効果的な物語のあらすじ生成手法の検討
酒井健壱, 上乃聖, 李晃伸
NLP若手の会 (YANS) 第19回シンポジウム 2024.09 NLP若手の会運営委員会
Event date： 2024.09
Language：Japanese Presentation type：Poster presentation
Venue：梅田スカイビル Country：Japan
-
大規模言語モデルによる感情極性に着目した小説からの人物関係抽出
齋藤大輔, 上乃聖, 李晃伸
NLP若手の会 (YANS) 第19回シンポジウム 2024.09 NLP若手の会運営委員会
Event date： 2024.09
Language：Japanese Presentation type：Poster presentation
Venue：梅田スカイビル Country：Japan
-
大規模事前学習モデルによる笑い声表現を用いたspeech-laugh音声の生成
木全 亮太朗, 上乃 聖, 李晃伸
日本音響学会 研究発表会 2024.09 一般社団法人 日本音響学会
Event date： 2024.09
Language：Japanese Presentation type：Poster presentation
Venue：関西大学 Country：Japan
-
リアリティを体現するアバターコミュニケーション研究 Invited
李 晃伸
第18回VNV年次大会 2024.03 電子情報通信学会 HCG 第２種研究会
Event date： 2024.03
Language：Japanese Presentation type：Oral presentation (invited, special)
Venue：国立情報学研究所
-
酒井健壱, 上乃聖, 李晃伸
言語処理学会 2024.03 言語処理学会
Event date： 2024.03
Language：Japanese Presentation type：Oral presentation (general)
Venue：神戸国際会議場 Country：Japan
-
経験情報収集および伝達を主目的とする雑談対話による関係性維持支援システム
志満津奈央, 上乃聖, 李晃伸
言語処理学会 2024.03 言語処理学会
Event date： 2024.03
Language：Japanese Presentation type：Oral presentation (general)
Venue：神戸国際会議場 Country：Japan
-
大規模言語モデルを用いたEmotional Support Conversation システムの構築とその評価
藤田敦也, 上乃聖, 李晃伸
言語処理学会 2024.03 言語処理学会
Event date： 2024.03
Language：Japanese Presentation type：Oral presentation (general)
Venue：神戸国際会議場 Country：Japan
-
暗黙的な非線形処理を導入した拡散モデルを用いた音声合成
岡本海, 上乃聖, 李晃伸
日本音響学会 研究発表会 2024.03 一般社団法人 日本音響学会
Event date： 2024.03
Language：Japanese Presentation type：Poster presentation
Venue：拓殖大学 Country：Japan
Industrial Property Rights
-
音声対話システム用画像 ニルヴァ デバイスモード
李晃伸
Applicant：名古屋工業大学
Application no：2022-025587 Date applied：2022.11
Patent/Registration no：1749626 Date registered：2023.07
Rights holder：名古屋工業大学
-
音声対話システム用画像 ニルヴァ ソーシャルモード
李晃伸
Applicant：名古屋工業大学
Application no：2022-025588 Date applied：2022.11
Patent/Registration no：1749627 Date registered：2023.07
Rights holder：名古屋工業大学
-
音声対話システム用画像 ジェネ
李晃伸, 石黒浩
Applicant：名古屋工業大学
Application no：2022-12730 Date applied：2022.06
Rights holder：名古屋工業大学
-
音声対話システム用画像 Rubica
李晃伸, 石黒浩
Applicant：名古屋工業大学
Application no：2022-12729 Date applied：2022.06
Rights holder：名古屋工業大学
Works
-
Avatar control software for MMDAgent-EX: Valles
Akinobu Lee
2024.09
Work type：Software Location：https://github.com/avatar-ss-cgca/valles
Other Link： https://github.com/avatar-ss-cgca/valles
-
東中 竜一郎, 光田 航, 千葉 祐弥, 李 晃伸
2024.06
Work type：Software Location：https://github.com/remdis/remdis
-
Akinobu Lee
2023.12
Work type：Software Location：https://mmdagent-ex.dev/
Other Link： https://github.com/mmdagent-ex/MMDAgent-EX
-
李 晃伸
2020.09
Work type：Software Location：http://julius.osdn.jp/
Julius のバージョン 4.6 を公開しました。4.6 ではDNN-HMM 計算部の GPU 対応 (CUDA) を行い、 デコーディングが３倍ほど速くなりました。そのほか、1パス文法認識への対応やバグ修正、アップデートが含まれています。 主な変更点は以下のとおりです。
・DNN-HMM 計算での CUDA サポート (Linux + CUDA-8,9,10 でのみ動作確認)
・1パス文法認識の実装
・Visual Studio 2017 でのビルド全面対応 (msvc/Julius.sln)
・修正BSDライセンスへ移行
・不具合の修正 -
2019.06 - 2023.12
Work type：Software Location：第33回人工知能学会全国大会およびWeb / https://mmdagent.lee-lab.org/
MMDAgent-EX は音声インタラクション構築ツールキット [MMDAgent](http://mmdagent.jp/) をスマートフォンに向けて拡張したアプリケーションです。キャラクターエージェントとのお喋りややりとりの内容を定義したスクリプトファイル、3-Dモデル、動作ファイルを自在に組み合わせて、エージェントと音声で会話するシステムを、誰でも構築しスマートフォンへ配信することができます。iOS、Android 用アプリのほか、各種デスクトップOS (Win/Mac/Linux) でも動作するマルチプラットフォームアプリケーションです。
-
2018.09 - 2023.12
Work type：Software Location：日本音響学会2018年秋季全国大会 / https://mmdagent.lee-lab.org/
Pocket MMDAgent は MMDAgent のスマートフォン向け拡張版アプリです。Webで公開されている音声対話システムのダウンロード、サーバ側からのコンテンツ自動更新、メニュー・ダイアログ・ボタンなどのUIのサポート、汎的なログ収集・フィードバック機能を有しています。
Pocket MMDAgentは音声対話コンテンツ再生・配信のマルチプラットフォームアプリケーションであり、無償で利用可能です。iOS 用アプリと Android 用アプリがそれぞれベータ版公開されているほか、デスクトップOS版 (Win/Mac/Linux) もあります。 -
2018.01
Work type：Software Location：http://julius.osdn.jp/
◆音声認識パッケージ2種を更新
- 話し言葉モデルキット (ssr-kit)
- 講演音声モデルキット (lsr-kit)
更新内容
- 言語モデルを変更(作成方法を変更，文字コードをShift-JISに変更)
- GUIの音声入力ツール adintool-gui を同梱
- 辞書登録ツール dictool を同梱
- Juliusのバージョン 4.4.2.1a -
秋田 祐也, 李 晃伸, 河原達也
2017.10
Work type：Software Location：http://julius.osdn.jp/
新しい音声認識パッケージとして，話し言葉モデルキットと講演音声モデルキットの2種類を公開しました．
話し言葉モデルキット (ssr-kit)
話し言葉認識を目的としたモデル
JNASと『日本語話し言葉コーパス』模擬講演データによるDNN-HMM音響モデル
『日本語話し言葉コーパス』の模擬講演データと学会データによる言語モデル
講演音声モデルキット (lsr-kit)
大きな部屋等での講演を対象としたモデル
『日本語話し言葉コーパス』の学会データによるDNN-HMM音響モデル
『日本語話し言葉コーパス』の模擬講演データと学会データによる言語モデル
Other research activities
-
音声対話インタラクション基盤アプリ MMDAgent-EX の公開
2019.06
MMDAgent-EX は音声インタラクション構築ツールキット [MMDAgent](http://mmdagent.jp/) をスマートフォンに向けて拡張したアプリケーションです。キャラクターエージェントとのお喋りややりとりの内容を定義したスクリプトファイル、3-Dモデル、動作ファイルを自在に組み合わせて、エージェントと音声で会話するシステムを、誰でも構築しスマートフォンへ配信することができます。iOS、Android 用アプリのほか、各種デスクトップOS (Win/Mac/Linux) でも動作するマルチプラットフォームアプリケーションです。
-
音声対話コンテンツ配信プラットフォーム Pocket MMDAgent の公開
2018.09
Pocket MMDAgent は MMDAgent をスマートフォンに向けて拡張した音声対話コンテンツ配信プラットフォームである。Web上で公開されている音声対話コンテンツの直接ダウンロードとサーバ側からのプッシュ更新機能、コンテンツ配信者へのログ収集・フィードバック機能を備えたクラウド音声対話システムのアプリケーションである。
-
オープンソース音声インタラクション構築ツールキットMMDAgentの開発と公開
2011.12
-
オープンソース音声認識エンジンJuliusの開発および公開
2005.04
Awards
-
2024.03 言語処理学会 大規模言語モデルを用いたEmotional Support Conversation システムの構築とその評価
藤田敦也, 上乃聖, 李晃伸
Award type：Award from Japanese society, conference, symposium, etc. Country：Japan
-
IPSJ Yamashita SIG Research Award
2007.04
Country：Japan
-
電気通信普及財団 第24回テレコムシステム技術賞
2006.05 電気通信普及財団
H.Saruwatari,T.Kawamura,T.Nshikawa,A.Lee,K.Shikano
Award type：International academic award (Japan or overseas) Country：Japan
-
ASJ Kiyoshi Awaya Award
2002.04
Country：Japan
Scientific Research Funds Acquisition Results
-
AIによる対話技術を活用した模擬患者アバターでの仮想空間医療面接教育基盤の創生
Grant number：24H00170 2024.04 - 2029.03
日本学術振興会 科学研究費助成事業 基盤（A）
石原 慎, 岡崎 史子, 蓮沼 直子, 高橋 誠, 橋本 佳, 廣井 直樹, 寺澤 晃彦, 小松 弘幸, 山内 かづ代, 三好 智子, 伊藤 俊之, 伊藤 彰一, 藤田 博一, 田口 亮, 大久保 由美子, 李 晃伸, 荒川 敏, 栩野 吉弘, 岸 美紀子, 上乃 聖, 鋪野 紀好
Authorship：Coinvestigator(s) Grant type：Competitive
Grant amount：\48360000 （ Direct Cost: \37200000 、 Indirect Cost：\11160000 ）
-
「しゃべって」つくる音声インタラクションシステム
2014 - 2016
科学研究費補助金 挑戦的萌芽研究
徳田 恵一
-
超巨大データに基づくユニバーサル音声モデル構築のための技術的・社会的基盤の確立
2013 - 2015
科学研究費補助金 基盤研究(B)
徳田 恵一
-
多層モデルの階層間密統合に基づく音声理解フレームワークの研究
2009 - 2013
科学研究費補助金 基盤研究(B)
李 晃伸
-
スイッチフリーな実環境音声言語インタフェースの研究
2006 - 2008
科学研究費補助金 若手研究(B)
李 晃伸
Other External Funds
-
コンテンツ生成の循環系を軸とした次世代音声技術基盤の確立
2011.04 - 2017.03
科学技術振興機構 戦略的創造研究推進事業
徳田 恵一、李 晃伸, 南角 吉彦, 山本 大介, 打矢隆弘 他
Grant type：Competitive
-
講演音声翻訳のための多言語音声合成技術に関する研究開発
2009 - 2011
総務省 戦略的情報通信研究開発推進制度
Grant type：Competitive
-
Effective Multilingual Interaction in Mobile Environments
2008 - 2011
European Commission European Commission
Grant type：Competitive
-
ユーザ負担のない話者・環境適応性を実現する自然な音声対話処理
2003 - 2007
文部科学省 e-Society 基盤ソフトウェアの総合開発
Grant type：Competitive
Past of Cooperative Research
-
音声対話におけるタスク完了率の最適化
2022.04 - 2025.03
株式会社 AI Shift Collaboration in Japan
李晃伸，上乃聖
Authorship：Coinvestigator(s) Grant type：Collaborative (industry/university)
Committee Memberships
-
電子情報通信学会 音声研究会 副委員長
2018.06 - 2020.03
Committee type：Academic society
-
情報処理学会 音声言語情報処理研究会運営委員
2016.04
Committee type：Academic society
-
日本音響学会 秋季研究発表会座長
2015.09
Committee type：Academic society
-
人工知能学会 論文誌論文特集「知的対話システム」編集委員
2015
Committee type：Academic society
-
情報処理学会 音声言語情報処理研究会運営幹事
2014.04 - 2016.03
Committee type：Academic society
-
情報処理学会 全国大会プログラム編成委員、座長
2011.04 - 2014.03
Committee type：Academic society
-
情報処理学会 音声言語情報処理研究会運営委員
2010.04 - 2012.03
Committee type：Academic society
Social Activities
-
ZIP-FM サマーキャンプ ＠ CODE FRIENDS 開催協力
Role(s)： Appearance, Commentator, Lecturer, Advisor, Planner, Organizing member, Demonstrator
ZIP-FM / CODE FRIENDS ZIP-FM 2019.04 - 2019.08
Audience： Schoolchildren, Junior students, Guardians, Company
Type：Seminar, workshop
-
ZIP-FM サマーキャンプ ＠ CODE FRIENDS / 名古屋市発明少年少女 開催協力
Role(s)： Appearance, Commentator, Lecturer, Advisor, Planner, Organizing member, Demonstrator
ZIP-FM / 中京テレビ / 名古屋市 ZIP-FM 2018.04 - 2019.03
Audience： Schoolchildren, Junior students, Guardians, Company
Type：Seminar, workshop
Media Coverage
-
“アバター”と共生へ 体験・実験イベント 大阪 北区 TV or radio program
NHK NHK関西 ニュース TV放映 https://www3.nhk.or.jp/kansai-news/20240910/2000087526.html 2024.09
Author：Other
-
100体以上のアバターが働く「アバターまつり」--共生社会目指し実証実験 Internet
CNET Japan CNET Japan ニュース https://japan.cnet.com/article/35206361/ 2023.07
Author：Other
-
ロボット遠隔操作し「アバターまつり」 大阪・南港ＡＴＣで接客などの実証実験 高齢者の社会参加にも期待 TV or radio program
朝日放送 ABCニュース https://www.asahi.co.jp/webnews/pages/abc_20670.html 2023.07
Author：Other
-
ムーンショット型研究開発事業「アバター共生社会」プロジェクトの オフィシャルCGアバターを開発 ―誰もが自在に活躍できる次世代アバター社会の実現を目指して―
名古屋工業大学 プレスリリース https://www.nitech.ac.jp/news/press/2022/9607.html 2022.06
Author：Myself