科研費（文科省・学振）獲得実績 - 酒向　慎司

一人称視点映像を用いた手話対話の支援技術および記録技術基盤の構築

研究課題/領域番号：23K11197  2023年04月 - 2026年03月

日本学術振興会  科学研究費補助金  基盤研究(C)

酒向 慎司

　詳細を見る

担当区分：研究代表者  資金種別：競争的資金

我々は深層学習を用いた手話翻訳システムを開発しているが，これを実現するには手話認識や意味解析などが必要である．それらには手話コーパスの構築や教師あり学習による深層学習向けのラベル付きデータが大量に必要であるが，ラベル付けには手間がかかる．そこで本研究ではラベルがない手話動画に対して，ラベル付けを半自動的に行うシステムを開発・公開する．本研究では，このシステムを用いて作成したラベル付き手話データセットを手話言語学研究者や手話工学研究者らに提供し，手話の意味解析や手話認識に関する研究をサポートする．

自己教師あり学習手法による手話認識エンジンの開発

研究課題/領域番号：23747929  2023年04月 - 2025年03月

日本学術振興会  科学研究費補助金  挑戦的萌芽研究

木村 勉（研究代表）

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

手話コーパス，深層学習向けラベル付き手話データ半自動生成システムの開発

研究課題/領域番号：22H00661  2022年04月 - 2026年03月

日本学術振興会  科学研究費補助金  基盤研究(B)

木村 勉

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

我々は深層学習を用いた手話翻訳システムを開発しているが，これを実現するには手話認識や意味解析などが必要である．それらには手話コーパスの構築や教師あり学習による深層学習向けのラベル付きデータが大量に必要であるが，ラベル付けには手間がかかる．そこで本研究ではラベルがない手話動画に対して，ラベル付けを半自動的に行うシステムを開発・公開する．本研究では，このシステムを用いて作成したラベル付き手話データセットを手話言語学研究者や手話工学研究者らに提供し，手話の意味解析や手話認識に関する研究をサポートする．

音声認識手法を応用した自動作曲・自動作詞・自動伴奏の研究

研究課題/領域番号：21H03462  2021年04月 - 2024年03月

日本学術振興会  科学研究費補助金  基盤研究(B)

嵯峨山 茂樹

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

我々は深層学習を用いた手話翻訳システムを開発しているが，これを実現するには手話認識や意味解析などが必要である．それらには手話コーパスの構築や教師あり学習による深層学習向けのラベル付きデータが大量に必要であるが，ラベル付けには手間がかかる．そこで本研究ではラベルがない手話動画に対して，ラベル付けを半自動的に行うシステムを開発・公開する．本研究では，このシステムを用いて作成したラベル付き手話データセットを手話言語学研究者や手話工学研究者らに提供し，手話の意味解析や手話認識に関する研究をサポートする．

視覚障害者が能動的に白杖で叩くことによる音情報の作製と利用に関する基礎的研究

研究課題/領域番号：18K18698  2018年04月 - 2022年03月

日本学術振興会  科学研究費補助金  挑戦的萌芽研究

布川 清彦

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

多用途型日本手話言語データベース構築に関する研究 国際共著

研究課題/領域番号：17H06114  2017年07月 - 2021年03月

科学研究費補助金  基盤研究(S)

長嶋 祐二

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

配分額：141960000円 （ 直接経費：109200000円 、 間接経費：32760000円 ）

本研究では、男女2名による言語資料提供者により、高精度・高精細な3次元動作・映像・深度データによる6,359単語の手話単語データベースKoSignを構築した。さらに、世界初となる対話の高精細・高精度の3次元動作と映像データの収録も行った。収録対話は、より有意義なデータとするため、単語、表情などの抽出、翻訳などのアノテーションを行った。また、アノテーションを支援するためのツール(MAT)の構築も行った。KoSignとMATは、手話研究推進を目的としてNII IDRより2021年5月25日に第1期分3,701語彙とアノテーション付きの3対話を公開した。

演奏者の個人性を転写する演奏生成と協調演奏システムの研究 国際共著

研究課題/領域番号：15KK0008  2016年04月 - 2019年03月

日本学術振興会  科学研究費補助金  国際共同研究加速基金

酒向 慎司

　詳細を見る

担当区分：研究代表者  資金種別：競争的資金

配分額：12090000円 （ 直接経費：9300000円 、 間接経費：2790000円 ）

音響信号による楽譜追跡技術の高度化に取り組み、基本的な音符列の情報だけでなく、打楽器やメロディなど楽譜情報を活用する新たな演奏追跡手法を開発した。RWC音楽データセットを用いたシミュレーション実験により、リアルタイム性を損なうことなく楽譜追跡精度の改善が可能であることを示した。また、演奏動作の指形状変化を取得する画像処理手法として、演奏中のマルチモーダルデータの構築を行うとともに、畳み込みニューラルネットワークによる手形状認識手法において、精密3次元手形状モデルによって疑似的な画像を多数生成することによって学習データセットを拡張し、実写画像に対する認識精度が大きく向上することを確認した。

演奏者の個人性を転写する演奏生成と協調演奏システムの研究 国際共著

研究課題/領域番号：26730182  2014年04月 - 2017年03月

日本学術振興会  科学研究費補助金  若手研究(B)

酒向 慎司

　詳細を見る

担当区分：研究代表者  資金種別：競争的資金

配分額：3510000円 （ 直接経費：2700000円 、 間接経費：810000円 ）


本研究では、楽器演奏における個人性を演奏データから学習し、その演奏スタイルを再現（転写）する表情付き演奏の自動生成技術と、その演奏データを自動生成するための楽譜と音響信号との同期（楽譜アライメント）の二つに焦点を当てて研究に取り組んだ。表情付き演奏生成技術については、再現性の改善などの演奏生成モデルの高度化に取り組むとともに、人間の特徴的な演奏の分析や可視化が可能であることを示した。演奏追跡技術については、主に楽譜アライメント技術の高度化について取組み、基本的な音符情報だけでなく演奏上重要な楽器種やメロディパートといった高次な楽譜情報を活用することで性能を向上させることができることを示した。

手指動作と非手指動作のサブユニットモデルに基づく手話認識に関する研究

研究課題/領域番号：25350666  2013年04月 - 2016年03月

日本学術振興会  科学研究費補助金  基盤研究(C)

北村 正

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

配分額：4810000円 （ 直接経費：3700000円 、 間接経費：1110000円 ）

手話は手指動作と非手指動作で構成される。手指動作は手の形、動き、位置によって単語の意味を表し，非手指動作は表情、頭部の傾きなどにより文法規則を付加する働きを行う。手指動作認識では、2名が223単語を2回生成したデータに対して認識を行った。手話の３基本要素、手形状（24種類）、位置（8種類）、動き（40種類）の認識実験を行い、28.7％、78.3％、60.0％、重み付け和の単語認識率は33.8％となった。上位10位以内の認識率は79.7％であった。非手指動作認識は、出現頻度の高い頷き、顎上げ、顎下げの３種類を対象とした。66文章で学習し125文章を認識した結果、正解率は 79 %であった。

統計モデルに基づく手話動作のサブユニットモデル自動生成と大語彙連続手話認識

研究課題/領域番号：22500506  2010年04月 - 2013年03月

日本学術振興会  科学研究費補助金  基盤研究(C)

北村 正

　詳細を見る

担当区分：研究分担者  資金種別：競争的資金

配分額：4290000円 （ 直接経費：3300000円 、 間接経費：990000円 ）

本研究では、単語レベルで学習された多数のHMMを用い、各HMMの状態パラメータの分類から手話問の共通要素を集約する新たな手法と、個人差などによる手話動作の差異に頑健に対応する手話認識手法を提案した。その際、手話では手の位置、運動、局所情報という性質の異なる要素の同時的な組合せから多様な動作を表す、手話の音韻構造に着目し、これらの音韻要素と両手の独立性を考え、個別に学習・分類することで効率的に共通要素の集約がより効率化される。これにより単語全体のモデルパラメータ数削減と、それに伴う相対的な学習データ数の増加が見込まれる。RWC手話データベースを用いた単語認識実験では、本提案によるサブユニットの導入と音韻構造を考慮することにより、我々の手法が手話単語認識精度の改善に寄与することが確認された。

多彩な歌唱表現を自動学習する制御性に優れた歌唱音声合成システムの研究

研究課題/領域番号：21700191  2009年04月 - 2012年03月

日本学術振興会  科学研究費補助金  若手研究(B)

酒向 慎司

　詳細を見る

担当区分：研究代表者  資金種別：競争的資金

配分額：3380000円 （ 直接経費：2600000円 、 間接経費：780000円 ）

本研究では、これまでに提案してきた隠れマルコフモデル(HMM)に基づいた歌唱合成手法の枠組みを用いて、多様な声質や歌唱表現、多言語歌唱を実現する手法について研究を行った。また、新たに大規模な歌唱データベースを構築し、新たな歌唱モデルを作成する際のガイドラインを検討した