研究者詳細 - 酒向　慎司

講演・口頭発表等 - 酒向　慎司

分割表示 >> ／全件表示 252 件中 1 - 252 件目

日本手話における個人性の研究：運動学的特徴の分析と手話者識別

戴梓軒, 酒向慎司

電子情報通信学会 HCGシンポジウム2024 2024年12月電子情報通信学会

開催年月日： 2024年12月

記述言語：英語会議種別：口頭発表（一般）

開催地：金沢歌劇座(金沢市) 国名：日本国

Song review generation using acoustic information and lyrics 国際会議

25nd International Society for Music Information Retrieval Conference 2024年11月 International Society for Music Information Retrieval

開催年月日： 2024年11月

記述言語：英語会議種別：ポスター発表

開催地：San Francisco 国名：アメリカ合衆国

愛知芸大芸術講座メディア・クロス・トーク招待あり

酒向慎司

愛知パーカッション・フェア 2024 ～「共鳴～Kyo-mei」が繋ぐさまざまなパーカッションの世界～ 2024年11月愛知県立芸術大学社会連携センター

開催年月日： 2024年11月

会議種別：シンポジウム・ワークショップパネル（指名）

開催地：愛知県立芸術大学芸術資料館地下演習室国名：日本国

一人称視点映像によるボディトラッキング技術と手話認識への応用招待あり

酒向慎司

ろう者・難聴者がイキイキと働ける環境を目指して! 「スマートグラスやデジタルセンシングを使ったコミュニケーションを体験しよう」 2024年11月特定非営利活動法人ウェアラブルコンピュータ研究開発機構

開催年月日： 2024年11月

会議種別：口頭発表（招待・特別）

開催地：QUINTBRIDGE（NTT西日本）国名：日本国

MoCapデータによる手話対話時の呼吸の検出と分析

酒向慎司, 笠間健太郎

電子情報通信学会第126回福祉情報科学研究会 2024年10月電子情報通信学会

開催年月日： 2024年10月

記述言語：日本語会議種別：口頭発表（一般）

開催地：帝京大学宇都宮キャンパス国名：日本国

本研究では，手話の時間的構造（リズム）に関係があるとされる手話中の呼吸の状態を手話のモーションキャプチャデータから推定する手法について検討した．手話のような複雑な身体動作がなされた状態，手話そのものの計測の妨げとならないような計測は容易ではないと考えられる．ここでは高精度に計測された手話の3次元モーションデータから胸部の拡張の変化に着目して呼吸の状態を計測可能であるかを試みた．既存の手話データベース（KoSign）の3次元データを用いて呼吸の推定を行い，その結果の妥当性について検証した．

音響情報と歌詞を用いた楽曲のレビュー文生成

川地奎多, 酒向慎司

情報処理学会第141回音楽情報科学研究会 2024年08月情報処理学会

開催年月日： 2024年08月

記述言語：日本語会議種別：口頭発表（一般）

開催地：駒澤大学駒澤キャンパス

近年，音楽配信サービスの普及により，楽曲へのアクセス性が大幅に向上した．その一方で，音楽の聴取スタイルは受動的かつ BGM として消費する傾向が強まり，深く鑑賞する機会が減少しているのではないかと感じている．そこで，本研究では音楽を言語化して説明することがリスナーの音楽理解を助け，音楽体験の価値を向上させる手段の 1 つであると考えた．音楽の言語化は，音楽キャプションタスク（音楽に関する情報を自然言語の文章形式で記述するタスク）として近年盛んに研究されている．従来の研究では音響情報のみを用いて，楽曲に関する説明文を生成することに焦点が置かれていた．そこで，本研究では音響情報に加えて歌詞にも着目し，楽曲のレビュー文を生成することに試みた．具体的には音楽特徴抽出器と大規模言語モデル（LLM）を用いて音楽記述を生成する MU-LLaMA をベースラインモデルとし，LLaMA に事前に指示を与えるシステムプロンプトを設計することで，歌詞も考慮したレビュー文生成を実現した．さらに，3 つの評価実験を通じて，提案手法が従来手法よりも表現の多様性や楽曲のイメージ形成に有効であることを確認した．

アノテーション支援のための日本手話の映像データにおけるマウジング検出の検討

辰巳花菜, 酒向慎司

電子情報通信学会第125回福祉情報科学研究会 2024年08月電子情報通信学会

開催年月日： 2024年08月

記述言語：日本語会議種別：口頭発表（一般）

開催地：はこだて未来大学（函館市）

本研究では，手話のアノテーション支援を目的とし，日本手話の口型の一種であるマウジング検出について検討を行った．口型とは，手話中に現れる口の動きのことを指す．現在，日本手話において，より大規模で汎用的なコーパスの開発が急務となっているが，手話の複雑性により，アノテーションは容易ではない作業とされている．そのため，自動アノテーションによるコーパス整備の効率化が望まれている．イギリス手話の大規模なデータ
セットであるBOBSLにおける自動アノテーションの研究[1]では，口型認識を用いた単語検出のアプローチを使用しており，これにより手指信号の認識だけでは検出が難しい語の検出を可能にしている．そこで本研究では，日本手話における口型認識に基づいて，音声言語由来の口の動きであるマウジングを検出する．本提案手法では，既存の機械読唇技術を用いて，日本手話における口型の認識を行う．そして，手話に対応した日本語音声の書き起こしテキスト内からマウジングの候補の語を特定し，口型認識の結果とマッチングさせることで，マウジングに相当する区間を特定する．また本研究では，日本手話映像を用いてマウジング検出の検証用にデータセットを作成し，その中で，マウジングの表出について調査した．その結果，表出パターンにはばらつきがみられ，提案手法におけるマウジング候補の特定方法をさらに検討する必要があることが分かった．最後に，口型のみの認識によるアノテーションの限界，そして，より正確なアノテーションのための手法の検討などの今後の方針を述べる．

Chironomie に基づいた楽譜と演奏に対応した音楽の可視化

酒向慎司, 辰巳花菜

可視化情報シンポジウム2024 2024年07月一般社団法人可視化情報学会

開催年月日： 2024年07月

記述言語：日本語会議種別：口頭発表（一般）

開催地：沖縄産業支援センター国名：日本国

聴覚障害者が音楽を楽しむ機会を増やすためには、彼らにとって利用しやすい形で音楽を提示することが必要である。本研究では、聴覚に障がいがあっても視覚に障がいのない人々の共通感覚である視覚に着目し、音楽の視覚化を試みる。音楽を視覚化する方法としては、色彩や図形など様々な方法が提案されている。本研究では、足や手の物理的な上げ下げ、空間的な上下の意味を含むキロノミーに着目し、楽譜や演奏に対応したわかりやすく直感的な視覚表現による音楽の視覚化を目指す。

照明演出の支援を目的とした音楽音響信号に基づく照明色・明度・動きの推定とその評価

月東菜乃, 酒向慎司

情報処理学会第140回音楽情報科学研究会 2024年05月情報処理学会

開催年月日： 2024年05月

記述言語：日本語会議種別：口頭発表（一般）

開催地：日本大学文理学部キャンパス百周年記念館

本研究では照明演出構成の支援を目的として，音楽をメインとして観客に聴かせ，多様な照明演出が施されることの多いポピュラー音楽コンサートを対象に，楽曲の特徴から自動で照明演出を決定する手法について検討する．楽曲音声に基づき推定された繰り返し構造ごとに楽曲の雰囲気に合った照明色・明るさ・動きを推定する．また，推定された照明演出のシミュレーション映像視聴による主観評価により本手法の有効性を確認した．

日本手話の映像データを用いた手話の個人性に関する調査

戴梓軒, 酒向慎司

電子情報通信学会ヒューマンコミュニケーション基礎(HCS)研究会 2024年03月電子情報通信学会

開催年月日： 2024年05月

記述言語：英語会議種別：口頭発表（一般）

開催地：沖縄産業支援センター

論文作成・発表アクセシビリティガイドライン－共生社会実現に役立つ研究を進めるために－

布川清彦, 若月大輔, 酒向慎司

電子情報通信学会第124回福祉情報科学研究会 2024年03月電子情報通信学会

開催年月日： 2024年03月

記述言語：日本語会議種別：口頭発表（招待・特別）

開催地：筑波技術大学（春日キャンパス）

世界では，障害者を含め多様性による人類の進化を進める動きが加速している．日本においても，共生社会を実現するための法整備が進められてきた．ヒューマンコミュニケーショングループ（HCG）では，様々な人が研究に参加できることを目指して論文作成・発表アクセシビリティガイドライン[1]を作成し，その改定を進めてきた．本講演では，2023年度に行った論文作成・発表アクセシビリティガイドラインVer.4（以下，ガイドライン）への改訂の背景となるガイドラインの誕生から改訂にいたる経緯，障害者の権利に関する日本の法律である障害者差別解消法[2]について概説し，ガイドラインとの関係について述べる．

国際生活機能分類（ICF）と論文作成・発表アクセシビリティガイドライン

布川清彦, 若月大輔, 酒向慎司

電子情報通信学会第124回福祉情報科学研究会 2024年03月電子情報通信学会

開催年月日： 2024年03月

記述言語：日本語会議種別：口頭発表（招待・特別）

開催地：筑波技術大学（春日キャンパス）

本講演では，世界標準の障害観である国際生活機能分類（以後，ICFとよぶ． ICFはInternational Classification of Functioning, Disability and Healthの略）について概説し，ICFと2023年度に改訂された論文作成・発表アクセシビリティガイドラインVer.4（以下，ガイドラインとよぶ）[1]との関係について述べる．ICFでは，障害を生活機能のマイナス面としている．見えない・聞こえないといった身体や精神の特性だけではなく，その人の特性と環境とのミスマッチによって生活上の困難が生じている状況も含んでいる．そこから考えてみると，ユーザの特性に合わせた環境を作ることによって，その困難を解決して生活機能を高めること，つまり障害を低減して「できること」を増やせる可能性がある．ガイドラインは，障害のある研究者が他者と協働して研究を進めて行くときに有効な，研究者の特性に合わせた環境調整の具体例を示している．ガイドラインを利用する事により，研究活動時の障害を低減し，生活機能を高めることが期待できる．

照明演出の支援を目的とした楽曲の構造と雰囲気に基づく照明色・明度・動きの推定

月東菜乃, 酒向慎司

情報処理学会第86回全国大会 2024年03月情報処理学会

開催年月日： 2024年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：神奈川大学横浜キャンパス

本研究では，初心者が音楽コンサートにおける照明演出を構成する際の支援を目的とし，楽曲音声をもとに繰り返し構造に基づき分割された楽曲セグメントごとに照明色・明度・動きを決定する．実際の照明演出構成手順にならいながら照明効果を決定することで楽曲の雰囲気に合った照明演出の構成を目指す．

3次元データに基づく手話の時間的構造に関係する呼吸の推定

笠間健太郎, 酒向慎司

情報処理学会第86回全国大会 2024年03月情報処理学会

開催年月日： 2024年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：神奈川大学横浜キャンパス

本研究は手話の時間的構造に関係があるとされる手話中の呼吸を考慮することによる手話生成の自然性向上を目的として、手話データセットから呼吸情報を取得することを目指した研究である。既存の手話データセットの3次元データを用いて呼吸の推定を行い、推定された呼吸が手話特有の呼吸を示していることを検証する．

読唇を用いた日本手話の映像データにおける口型認識

梅田唯花, 酒向慎司

情報処理学会第86回全国大会 2024年03月情報処理学会

開催年月日： 2024年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：神奈川大学横浜キャンパス

本研究は日本手話のデータ不足解消を目的として日本手話の自動アノテーションを目指した研究である。手話中の口型のアノテーションに焦点を当て、機械読唇のモデルを用いて日本手話における口型の検出と認識を検証する。検証には日本手話の映像をもとに作成したデータセットを使用し、手話中に表れる口型の検出と認識の精度を確認し、評価を行う。

Music Visualization using Chironomie 国際共著国際会議

Kana Tatsumi, Shinji Sako, Rafael Ramirez

24nd International Society for Music Information Retrieval Conference 2023年11月 International Society for Music Information Retrieval

開催年月日： 2023年11月

記述言語：英語会議種別：ポスター発表

開催地：Milan 国名：イタリア共和国

The purpose of this study is to debilitate the enjoyment of music for both hearing-impaired and normal-hearing individuals by visually representing music. In order to effectively and distinctively portray the musical rhythm, we focus on Chironomie, a conducting technique used in Gregorian chant. Generally, Chironomie is drawn by a curve that corresponds to the musical score, and this curve is determined by whether a short segment of the score represents one of two classes: Arsis or Thesis. In pursuit of our objective, our endeavors encompass two essential facets: the adaptation of Chironomie for Western tonal music to express intuitively perceivable musical features like tension and relaxation, and the evaluation whether Chironomie can effectively convey music visually. We report an automated method for estimating Arsis and Thesis within composite beats to generate Chironomie. Additionally, it presents evaluation experiments involving normal-hearing to assess the effectiveness of Chironomie.

聴覚障害者の音楽体験支援のためのChironomieによる音楽可視化手法の提案

辰巳花菜, 酒向慎司

電子情報通信学会第122回福祉情報科学研究会 2023年10月電子情報通信学会

開催年月日： 2023年10月

記述言語：日本語会議種別：口頭発表（一般）

開催地：九州工業大学（戸畑キャンパス）

本研究のねらいは，聴覚障害者と健が共に音楽をしむため，グレゴリオ聖歌の指揮法であるChironomieを用いて音楽可視化することである．この目標達成には，Chironomieを西洋調性音楽に適用して聴覚では直感的に得られる音楽特徴である緊張の高まりや緩みを表現すること，Chironomieにより音楽が視覚的に伝達できるかを評価することが課題であ．本報告では，西洋クラシック音楽やその派生を対象とし，Chironomieを描画するために複合拍に対するArsisとThesisを自動推定する手法の検討と，健聴者を対象とした評価実験によるChironomieの有用性調査結果を報告する．

ギターアンプのノブ操作による音色の変化に対応したブラックボックスモデリング

江崎友都, 酒向慎司

日本音響学会2023年秋季研究発表会 2023年09月日本音響学会

開催年月日： 2023年09月

記述言語：日本語会議種別：口頭発表（一般）

開催地：名古屋工業大学

エレキギターはギターアンプを使うことで音を増幅させ，音色の調整が可能である．一般的にギターアンプはサイズが大きい点や，真空管を使ったギターアンプでは劣化による寿命がある点などの欠点がある．そこでそのような欠点を改善するために計算機によってギターアンプの信号処理をモデリングする研究や製品化が行われている．ノブの操作が伴わない一定の設定におけるギターアンプの信号処理をモデリングした研究では聴感的な差がほとんど感じられないほどの再現性が達成できている．しかしノブの操作を含めてモデリングしたときの研究には再現性の評価に余地があることが課題として挙げられる．そこで本論文ではユーザがノブの操作が可能なモデルの作成を検討し，モデルにおけるギターアンプから出力される信号の再現性の評価を試みる．

MUS138 国際会議既発表・デモセッション

辰巳花菜, 田中愛菜, 酒向慎司ほか

情報処理学会第138回音楽情報科学研究会 2023年08月情報処理学会

開催年月日： 2023年08月

記述言語：日本語会議種別：口頭発表（一般）

開催地：明治大学（中野キャンパス）

ポピュラー音楽の制作では，マスタリングの際に曲の音量レベルを過剰に高めようとする傾向がみられる．しかし，このようにして作られたダイナミクスの小さな曲は，近年のリスニングスタイルに適していないことが多いと考えられる．そこで本研究では，ラウドなポピュラー楽曲のスペクトログラムからマスタリング前のラウドネスを推定することで，ダイナミクスの復元を目的とする．

シリンダーオルゴールを対象としたFCNによる自動編曲

松本優太, 酒向慎司

情報処理学会第85回全国大会 2023年03月情報処理学会

開催年月日： 2023年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：電気通信大学

Automatic arrangement by FCN for cylinder music box

作曲の余地を残した既存曲の抽象化

畑中哲哉, 酒向慎司

情報処理学会第85回全国大会 2023年03月情報処理学会

開催年月日： 2023年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：電気通信大学

近年, 計算機を使用した音楽作成の普及により, 手軽に作曲を楽しむことができるようになった. しかし, 作曲は音楽の知識や経験が必要とされるため, 初心者にとって作曲は容易ではないく, また作曲経験者にとっても, 何もない状態で1から作曲を行う事は労力と時間を必要とする. そのため近年の作曲ソフトでは, 音楽制作における様々な過程に応じた支援方法が存在する. 本研究では作曲における最初の段階, メロディやコード進行の作成の過程を支援する方法を考える. メロディやコード進行といった音楽的要素を既存の曲を抽象化し流用することで, ユーザにとってよりスムーズな作曲のスタートを実現する.

楽曲の繰り返し構造に基づいた音楽要約手法の提案

川地奎多, 酒向慎司

情報処理学会第85回全国大会 2023年03月情報処理学会

開催年月日： 2023年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：電気通信大学

近年，時間に対する重要性が高くなり，タイムパフォーマンス志向が動画や音楽などのコンテンツ産業でも増えている．また，音楽配信サービスの普及に伴い，人々は膨大な楽曲にアクセスしやすくなった今，楽曲を短くすることでより多くの楽曲を楽しめると考える．音楽要約に関する手法の提案は数少ないが，楽曲の全体的な雰囲気を把握できるような要約を目指すために，楽曲の繰り返し構造に着目した．楽曲にはAメロ，サビといった構造パートとその内部のメロディの2種類の繰り返し構造が存在すると考え，それらを削減する手法を提案した．本論文では，音楽要約の手法を提案に加え，評価実験を行うことでその有効性の検証を行った．

Transformerを用いたファミコン風自動編曲手法の検討

小木曽雄飛, 酒向慎司

情報処理学会第85回全国大会 2023年03月情報処理学会

開催年月日： 2023年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：電気通信大学

本研究は既存のポピュラー音楽をファミコン風の音楽に自動編曲することを目的としている. ファミコン音楽は4パートで構成されており, それぞれ同時に1音しか発音できず, 最大同時発音数が4音という制約を持っている. そのため, 既存の楽曲に対して, 音の削除または追加をして, パートの割り当てをする必要がある.　これらを達成するために, 深層学習モデルを用いた編曲手法を提案する. ファミコン風編曲前後のデータを用いて, Music Transformerを教師あり学習を行い, ピアノ楽曲のMIDIデータの変換を行う. MIDIのデータ表現を変えて評価実験を行った.

手話の自動認識・翻訳の研究と展望招待あり

酒向慎司

電子情報通信学会コミュニケーションシステム研究会（CS） 2022年11月電子情報通信学会

開催年月日： 2022年11月

記述言語：日本語会議種別：口頭発表（招待・特別）

開催地：名古屋工業大学国名：日本国

現在の日本では，身体障害者手帳の所持数のうち，聴覚・言語障害が約34万人いるといわれている．聴覚障害者のコミュニケーション手段は，聴こえの状態の違いや先天性・中途失聴者などに応じて様々な形態があるが，その一つの手段として手話がある．手話は視覚言語の一つであり，独自の文法体系を持つ自然言語である．日本では日本手話と呼ばれる固有の手話が使われており，音声言語としての日本語とは異なる独自の文法体系を持っている．一方で，手話を習得した健聴者が限られていることから，聴覚障害者と健聴者との日常コミュニケーションは筆談や口話によって行われている．どちらの方法も障害者，健聴者の双方，または一方にはストレスを生じさせるコミュニケーション手段である．手話通訳者が介在できる状況も限られており，プライバシーの問題から通訳者が間に入りにくい状況もある．そのような背景から，機械による手話の読み取り（手話認識・翻訳）や手話の表出（手話合成）に関する研究が長年にわたり行われている．本講演では，手話言語の基本的な特性とともにこれまでの手話認識・翻訳技術に関する研究の推移や今後の展望について取り上げる．

周辺環境を含むライフログ収集をめざした装着型MoCapシステムの提案

三浦哲平, 酒向慎司

電子情報通信学会 HCGシンポジウム2021 電子情報通信学会

開催年月日： 2021年12月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンラインミーティング(Zoom)

本論文では，ライフログとして周辺環境の情報を画像として含んだ個人の身体動作を計測する装着型モーションキャプチャシステムを提案し，そのプロトタイプの開発と評価をおこなう．本システムは，小型の全方位カメラと GPU 搭載シングルボードコンピュータ，その上で動作する 3D ポーズ推定モデルで構成される．推定モデルの学習のために，合成画像データ生成ツールを用いて合成画像を生成し，学習用のデータセットを構築する．評価用の合成データを収集して， 3D ポーズ推定の精度，実行時間，およびカメラ位置と回転の変動に対する頑健性を評価する．また，自然な環境下での実画像データを収集して 3D ポーズ推定の定性評価をおこなう．

3-D motion generation for double bass performance from musical score 国際会議

Shinji Sako, Takeru Shirai

14th International Workshop on Machine Learning and Music

開催年月日： 2021年12月

記述言語：英語会議種別：口頭発表（一般）

開催地：Online (Zoom)

We propose a method for generating 3-D motions of the double bass player from musical score. Generating 3-D motions of performance would be promising to realize performances by virtual player (avatar) or robots, and can also be useful for performance training for
beginners. There have been many studies to generate musical performances, but not many of them generate the human motion of the performance. There are a few previous studies on generating performance actions for piano and violin. In addition, large dataset which contains 3-D movements of performances are not available.
In this study, we developed a small 3-D motion dataset for actual double bass performance. PERCEPTION NEURON, inertial motion capture device is used to capture a performance movement. 3-D coordinates of 15 points of the body are recorded at 30 fps for 13 pieces of "Franz Simandl / 30 Etudes for the double bass". Since this is an elementary study, the data set is relatively small, with one male performer and about 30 minutes. We
utilize a 2-layer LSTM (Long Short Term Memory) network to convert from musical score to 3-D motion. The contribution of this work is effect of combining bowing and fingering information with musical score in the generation of performance motion, and to examine the effectiveness of the model structure in performance generation.
We conducted the evaluation experiment from two perspectives. The first is to evaluate the geometric accuracy of the generated 3-D trajectory, and the second is to evaluate the naturalness of the generated 3-D motion as a performance. The results showed that the accuracy of generated motion for double bass can be improved using two types of additional information (bowing, fingering) in addition to musical score information.

「音声コミュニケーションと障がい者」の発刊の意義

市川熹, 長嶋祐二, 岡本明, 加藤直人, 酒向慎司, 滝口哲也, 原大介, 幕内充

電子情報通信学会第115回福祉情報科学研究会電子情報通信学会

開催年月日： 2021年12月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンラインミーティング(Zoom)

著者らが執筆した「音声コミュニケーションと障がい者」（日本音響学会編，音響サイエンスシリーズ22，コロナ社）は，音声の知見から，手話や指点字などを横断的に分析し，コミュニケーションの機能の明確化を試みたものである．本書の特徴の一つに，聴覚言語（音声）と視覚言語（手話），触覚言語(指点字や触手話) を横断的に扱い，言語の原点である「対話のことば」の共通基盤特性を示している点がある．福祉情報工学研究会の参加者に向けて，このような視点の書籍の概要とその意義を紹介する．

Music Mood Recognition Based on Synchronized Audio and Lyrics 国際会議

Sho Ikeda, Shinji Sako

22nd International Society for Music Information Retrieval Conference International Society for Music Information Retrieval

開催年月日： 2021年11月

記述言語：英語会議種別：ポスター発表

開催地：Online

The aim of our study is to improve the accuracy of music mood recognition using audio and lyrics. As a method, we make a dataset in which audio and lyrics are synchronized, and utilize both lyrics and audio modality for mood recognition. There are few research that deal with the synchronization of audio and lyrics in music mood recognition. Therefore, we make a dataset by extracting the part of lyrics sung in audio. Using the dataset, We investigate the impact of lyric and audio synchronization on music mood recognition tasks. In our experiments, we extract the word embedding representation from lyrics as a feature, and perform music mood recognition using a deep neural network. To verify the effectiveness of synchronizing audio and lyrics, we conduct the experiment in terms of the number of words in the lyrics and the number of music clips.

Attribute-Aware Deep Music Transformation For Polyphonic Music 国際会議

Yuta Matsuoka, Shinji Sako

22nd International Society for Music Information Retrieval Conference International Society for Music Information Retrieval

開催年月日： 2021年11月

記述言語：英語会議種別：ポスター発表

開催地：Online

ecent machine learning technology have made it possible to automatically create a variety of new music. And many approaches have been proposed to control musical attributes such as pitch and rhythm of the generated music. However, most of them focus only on monophonic music. In this study, we apply the deep music transformation model, which can control the musical attributes of monophonic music, to polyphonic music. We employ Performance Encoding, which can efficiently describe polyphonic music, as the input to the model. To evaluate the proposed method, we performed music transformation using a polyphonic music dataset.

3D モーションデータを用いた手話データ生成ツール

三浦哲平, 酒向慎司

電子情報通信学会第114回福祉情報科学研究会電子情報通信学会

開催年月日： 2021年10月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンラインミーティング(Zoom)

ラウドなポピュラー音楽のダイナミクス復元

尾関日向, 酒向慎司

情報処理学会第132回音楽情報科学研究会情報処理学会

開催年月日： 2021年09月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンライン開催

複数パート間のズレを含む演奏音に対するマルチパートビートトラッキング

福谷和貴, 酒向慎司

情報処理学会第131回音楽情報科学研究会情報処理学会

開催年月日： 2021年06月

記述言語：日本語会議種別：ポスター発表

開催地：オンライン開催

本研究では，楽器ごとに一つのビートラベル列が存在し，複数のビートラベル列を持つ音楽演奏を対象とし，その混合音に対して複数パートのビート位置を同時にトラッキングすることを試み，このようなマルチパートビートトラッキングのための新たな手法を提案した．音源分離手法によって分離した単独音に対するビートトラッキングを組み合わせた方法と比較することで提案手法の有効性を確認した．

手話認識への応用を目的としたモバイル MoCap システム～ OpenPose を利用した 3D ポーズ推定の精度向上～

三浦哲平, 酒向慎司

電子情報通信学会第112回福祉情報科学研究会電子情報通信学会

開催年月日： 2021年06月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンラインミーティング(Zoom)

手話は，ろう者がコミュニケーションで用いる主要な言語である．しかし，健聴者で手話を扱えるものは少なく，両者の会話は筆談や手話通訳者を介さなければならない．より対話的で，直接に意思を伝えあうコミュニケーションを日常的におこなうために，携帯して常に使える手話の認識・翻訳システムが必要である．著者らはこれまでに，常に利用できる手話認識・翻訳システムへの応用をめざして，手話者の身体動作情報を取得できるモバイルモーションキャプチャシステムの研究開発をおこなってきた．開発しているシステムでは，学習用データの不足によって実環境において2D / 3D ポーズの推定精度の低下がみられた．本稿では，より精度の高いポーズ推定をおこなうために，高精度な2D ポーズ推定ツールであるOpenPose を利用する方法を提案する．

演奏タイミングのズレを含む混合音に対するマルチラベルビートトラッキング

福谷和貴, 酒向慎司

情報処理学会第129回音楽情報科学研究会情報処理学会

開催年月日： 2020年11月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンライン開催

本研究では，ビートラベル列が楽器ごとに存在し，マルチラベルとなっている演奏データに対して，それぞれのビートラベル列を認識するマルチラベルビートトラッキングを検討する．楽器演奏の初心者は一定のリズムで演奏しているつもりでも，タイミングがズレてしまうことがある．特に複数の楽器で合奏している場合，自分の演奏がズレているのか判断するのは困難である．そこで，演奏のタイミングがずれてしまう初心者に対して，演奏タイミングを示すことによって，練習支援を行うことができると考える．手法としては，各楽器に対応したビートラベル列を持つ複数楽器の音が混合された音響信号に対して，マルチラベルでのビートトラッキング技術を用いることで楽器ごとの演奏タイミングを認識する．まず，初心者の演奏を模擬した演奏データを作成する．次に，LSTM を用いたビートトラッキング手法をマルチラベルに拡張する．評価実験の結果，従来手法を組み合わせた方法でギター，ドラムについてそれぞれ F 値が 0.578，0.760 であったのに対し，マルチラベルビートトラッキングを行うことでそれぞれ F 値が 0.603，0.754 となった．

全天球カメラを用いた3Dポーズ推定～手話認識への応用に向けて～

三浦哲平, 酒向慎司

電子情報通信学会第107回福祉情報科学研究会電子情報通信学会

開催年月日： 2020年09月

記述言語：日本語会議種別：口頭発表（一般）

開催地：オンラインミーティング(Zoom)

手話は，ろう者が日常のコミュニケーションに用いる言語である．しかし，健聴者で手話を扱えるものは少なく，両者の会話は筆談や手話通訳者を介さなければならない．より対話的で，直接に意思を伝えあうコミュニケーションを日常の生活でおこなうためには，携帯して常に使える手話の認識，翻訳システムが必要である．手話は手指の形や動きだけでなく，目・眉・口や周囲の環境などの空間全体を使って意思を表現する．本研究では，手話の表現に用いる空間の情報を取得できること，手話者が日常的に携帯して使えることを考慮して，ウェアラブルな全天球カメラを用いた手話の認識について検討している．本稿では特に，手話者の動作を認識するために，身体に装着した全天球カメラで取得した画像を入力とした3D ポーズ推定を提案する．3D ポーズ推定には畳込みニューラルネットワーク(CNN) を用いる．全天球カメラで取得した手話の画像と，画像に同期した3D ポーズのデータセットを新たに構築し，そのデータセットによるモデルの学習と評価をおこなう．

20周年を迎えた福祉情報工学研究会の実績

酒向慎司

電子情報通信学会第105回福祉情報科学研究会電子情報通信学会

開催年月日： 2020年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：筑波技術大学春日キャンパス

福祉情報工学（WIT）研究会は電子情報通信学会のヒューマンコミュニケーショングループの第二種研究会として1999年（平成11年）に設立され、設立20周年を迎えた（現在は第一種研究会として活動中）。これまでに104回の研究会が全国各地で実施され、1,700件以上の研究発表がなされた。障害者や高齢者の情報・通信関連の諸課題に取り組む先端的情報・通信技術や科学をはじめ、認知科学、言語処理、ヒューマンインタフェースなど関連諸研究に従事する研究開発者が一同に会し、発表、討論する場としてWIT 研究会は大きな役割を果たしてきた。これまでの発表実績をもとに、対象領域の広がりや技術の変遷について振り返るとともに、これからのWIT 研究会の在り方について考える。

楽曲の再生履歴を利用した自動メロディ生成

松岡優太, 酒向慎司

情報処理学会第82回全国大会情報処理学会

開催年月日： 2020年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：金沢工業大学（現地開催中止のためオンライン発表）

自動作曲において，音楽的知識などの支援をすることはもちろん，ユーザの好みに合った曲の制作を支援することも重要である．しかし，人間の楽曲に対する嗜好は様々であいまいなものであるため，システムによって正確に捉えることは難しい．また，取得した嗜好をどのようにメロディ生成に反映させるかにも難しさがある．よって本研究ではユーザの嗜好を反映した楽曲を生成するための自動作曲システムの方略として，ユーザの持つ楽曲の再生履歴情報を利用することを検討する．履歴情報には，ユーザの楽曲への嗜好が表れると考えられ，実際に楽曲推薦の分野でユーザの嗜好を得るために現在も広く用いられている情報である．作曲には従来手法でよく用いられている遺伝的アルゴリズム（GA）を利用し，履歴情報の取得にはSpotify APIを利用する．

ギターパートを対象とするエンドツーエンド音源分離の検討

尾関日向, 酒向慎司

情報処理学会第82回全国大会情報処理学会

開催年月日： 2020年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：金沢工業大学（現地開催中止のためオンライン発表）

音源分離とは，複数の音源が混ざりあった音響信号から特定の要素を抽出する技術である．なかでも音楽音響信号を対象にした音源分離は，楽曲が含む各パートの音源を必要とする自動採譜技術にとって欠かせない要素技術である．従来はボーカルやドラムパートの分離が多く取り組まれてきたが，一般的に楽曲は他にも様々なパートを含んでおり，任意のパートが抽出できればより実用的な自動採譜や既存曲のリミックス，DJプレイなどに広く活用でき．例えばギターはポピュラー音楽で頻繁に使用され演奏者も多く，先述の用途において需要が高い．そこで本研究では最新のボーカル分離技術を適用したギターパート分離を試みる．特に，ステレオ音源の場合の定位情報，データセットの規模，パートが担う演奏上の役割の違いといった要素が分離精度に及ぼす影響を調査し，ギターにより適した分離手法を検討する．

発話の感情要素と感情強度を考慮した楽曲推薦手法の検討

池田将, 酒向慎司

情報処理学会第82回全国大会情報処理学会

開催年月日： 2020年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：金沢工業大学（現地開催中止のためオンライン発表）

近年の音楽配信サービスでは，視聴履歴などを利用してユーザの好みに合う楽曲を推薦する仕組みが導入されている．一方で，ユーザの現在の状況や心情などに応じた楽曲推薦を行うための研究もなされている．本研究ではユーザの感情を考慮した楽曲推薦手法につい
て取り組む．この研究の狙いは，楽曲推薦をより柔軟に行うほかにも，ユーザの状況や心情に適した楽曲を推薦することで，心理状態を安定させたりすることなどの音楽療法への応用が考えられる．音楽療法への応用のため，本研究では同質の原理に基づいて楽曲推薦を行う．この原理は音楽療法の基本原理であり，聴取者はその時の感情に同質な印象の音楽を望むというものである．この原理を利用するために，ユーザの感情を推定することが本研究の課題である．

超高齢化時代が対話システムに求める物理層の基盤的特性

市川熹,長嶋祐二,堀内靖雄,原大介,酒向慎司

言語・音声理解と対話処理研究会人工知能学会

開催年月日： 2019年12月

記述言語：日本語会議種別：口頭発表（一般）

開催地：早稲田大学西早稲田キャンパス

Real-time dialogue between people has the basic characteristics of reducing the psychological burden. Elderly people and people with disabilities have the right to achieve a high QOL, but their symptoms are different. On the other hand, it cannot be replaced by another person. Comparing voice, sign language, and music, it was confirmed that the two types of rhythms have a common basic structure. It is important to consider these characteristics in the dialogue system
used by the elderly and disabled.

ウェアラブルな全方位カメラの画像を入力とした 3D ポーズ推定～手話の認識と翻訳に向けて～

三浦哲平,酒向慎司

電子情報通信学会パターン認識・メディア理解研究会電子情報通信学会

開催年月日： 2019年10月

記述言語：日本語会議種別：口頭発表（一般）

開催地：東京大学生産技術研究所

手話は，ろう者が日常のコミュニケーションに用いる言語である．しかし，健聴者で手話を扱える者は少なく，両者間の会話は筆談や手話通訳者を介さなければならない．より対話的で，直接意思を伝え合うコミュニケーションを日常の生活でおこなうためには，携帯して常に使える手話の認識，翻訳システムが必要である．手話は手指の形や動きだけでなく，目・眉・口や周囲の環境などの空間全体を使って意思を表現する．本研究では，手話の表現に用いる空間の情報を取得できること，手話者が日常的に携帯して使えることを考慮して，ウェアラブルな全方位カメラを用いた手話の認識と翻訳について検討している．本稿では特に，手話者の動作を認識するための，ウェアラブルな全方位カメラで取得した画像を入力とした 3D ポーズ推定を提案する．3D ポーズ推定には畳込みニューラルネットワーク (CNN) の VNect を参考にしたモデルを用いる．全方位カメラで取得した手話の画像と，画像に同期した 3D ポーズのデータセットを新たに収集し，そのデータセットによるモデルの学習と評価をおこなう．

3次元CGモデルとdeep CNNによる指文字認識

グエントゥナム, 酒向慎司, ボグダンクォーレック

電子情報通信学会第102回福祉情報科学研究会電子情報通信学会

開催年月日： 2019年08月

記述言語：英語会議種別：口頭発表（一般）

開催地：帝京大学宇都宮キャンパス

本研究では日本手話の静的な指文字をカラー画像から認識するための枠組みを提案する。指文字の認識には、ResNet(Residual Network)ベースの畳み込みニューラルネットワーク(CNN)と2つのResNetクォータニオンCNNを組み合わせたアンサンブルモデルを用いた。また、実画像の手画像データセットを拡張するために精密な3次元手モデルを用いて指文字画像を合成した。具体的には41種類の指文字に対してそれぞれ微小な変形を施した指形状を用意し、開始ポーズと終了ポーズ間の補間することで複数の指文字画像をレンダリングした。実験結果は、拡張されたデータセットによって単一のRGBカメラの画像に対して高い認識率が達成できることを示した。ResNetクォータニオンCNNの性能は、ResNet CNNよりも優れており、さらにそれらのアンサンブルモデルが優れた性能を示した。

初学者に有用なバイオリン教本運指の自動推定

酒向慎司, 渡邉樹里

情報処理学会第123回音楽情報科学研究会情報処理学会

開催年月日： 2019年06月

記述言語：日本語会議種別：口頭発表（一般）

開催地：京都大学吉田キャンパス

バイオリンは同じ音に対応する運指が複数ある楽器であり，適切な運指習得の手段として，運指が部分的に併記された教本が用いられている．我々はこれまでに統計モデルによるバイオリンの自動運指推定手法を検討し，条件付き確率場を用いた手法を提案してきた．これまでの問題設定では，与えらえた楽譜すべてに運指を推定することであったが，運指の習得を支援するシステムという観点では，市販されている教本のような運指の習得を促すような部分的な運指標示が有効ではないかと考えた．本報告ではこのような着眼点の元で，これまでに提案してきた運指推定手法を拡張し，演奏技術の習得に効果的な運指標示の推定手法について検討することとする．楽譜や運指推定結果をもとに運指標示の有無に関係する特徴について検討し，楽譜から運指推定を行うとともに運指標示を有無を決定する手法を提案する．市販の教本との比較や，バイオリン演奏者による主観評価実験について報告する．

モーションキャプチャデータを用いた日本手話の非手指信号の基本要素抽出の試み

酒向慎司, 安江謙太

電子情報通信学会第101回福祉情報科学研究会電子情報通信学会

開催年月日： 2019年06月

記述言語：日本語会議種別：口頭発表（一般）

開催地：早稲田大学早稲田キャンパス

本研究では，手話の非手指信号として表出される様々な対象部位について，モーションキャプチャーデータを用いて共通する基本的な形状や動きの要素を抽出する手法に取り組んだ．有賀らによって提案された手指信号を対象とした手話の自動認識の研究で提案された，HMM（隠れマルコフモデル）による単語モデル間で共通するモデルパラメタを利用して，手指信号の共通部位を自動抽出する手法を参考にし，手話の非手指信号に対してでも同様に共通した非手指信号の抽出が可能であるか検証する．

手話CG Wikiの提案とその評価

金子岬暉, 田嶋克向, 澤野弘明, 鈴木裕利, 石井成郎, 酒向慎司

電子情報通信学会第101回福祉情報科学研究会電子情報通信学会

開催年月日： 2019年06月

記述言語：日本語会議種別：口頭発表（一般）

開催地：早稲田大学早稲田キャンパス

手話の学習に利用される手話映像の制作では，手話者による撮影が一般的であるが，肖像権の確保や撮影の準備など，撮影の手間の問題が挙げられる．
そこで本研究では手話映像の制作支援を目的とした，手話のCG映像が生成できる手話CG Wikiを提案する．
手話CG Wikiでは，ユーザはボタン操作により，手話を構成する表情，手の位置，手の方向，および手の形状の4要素をWikiに入力し，CG映像を生成する．
9人のユーザによる手話CG Wikiのユーザビリティ評価実験の結果，「今後このWikiを使いたい」など，肯定的なコメントが寄せられたが，一方でユーザビリティの問題も明らかになった．

モーションキャプチャデータを用いた日本手話の非手指信号の基本要素抽出

安江謙太, 酒向慎司

情報処理学会第81回全国大会情報処理学会

開催年月日： 2019年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：福岡大学

コンピュータを用いた手話認識の研究の中で、様々な手話単語の中に現れる手指信号の共通要素に着目した手話単語認識手法が提案されている。この手法では、手指信号に関する特徴量から単語HMMを学習し、全単語の状態集合をクラスタリングすることで共通要素を抽出する。非手指信号も同様に、様々な単語の中で現れる共通要素が存在すると考えられ、この手法を非手指信号に適用することを試みる。非手指信号の視覚的特徴は複雑であるが、手話動作中の顔の部位を詳細に計測したモーションキャプチャデータを用いることで、主要な要素である眉、口形、頭部動作などからの共通要素の抽出が可能であるか、またそのための効果的な特徴表現を検討する。

事例データに基づくベースラインとの対応関係と遺伝的アルゴリズムを用いたメロディ生成

山田航大, 酒向慎司

情報処理学会第81回全国大会情報処理学会

開催年月日： 2019年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：福岡大学

本稿では与えられるベースラインから対応するメロディを自動生成する作曲手法を提案する。コンピュータによる作曲を行う際、ユーザは事前に何らかのモチーフを与える必要がある。モチーフが複雑であるほど、制御性が高まるが、ユーザには高い創作能力が要求される。ベースラインは一般にパターン化されており、ユーザに高い創作能力を要求しない。一方で、ベースラインは旋律を持っており、楽曲において調性を安定させる役割を担うという点でメロディへの制御性を高めることが期待できる。本稿では既存楽曲のメロディを元に、遺伝的アルゴリズムを用いて、与えられたベースラインに対応するメロディを生成する手法を提案する。

バイオリンの初級者教育に有効な運指推定

渡邉樹里, 酒向慎司

情報処理学会第81回全国大会情報処理学会

開催年月日： 2019年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：福岡大学

本研究では、市販のバイオリン教本のように指番号を部分的に標記できるような自動運指推定の手法について検討する。従来のバイオリン運指推定では、与えられた楽譜情報から全ての音符について運指を推定していた。この手法を用いて得られた運指を楽譜に標示したものを初級者教育の観点から見ると、判読性の低下を招いたり、運指を判断する能力の向上を妨げてしまうという問題点がある。そこで本研究では、運指推定を行うとともに指番号標示の有無を推定することにより、演奏者の運指判断に必要な部分にのみ標示できるようにすることを目指す。これにより、任意の楽譜情報からのバイオリン教本の形に近い楽譜の生成が期待できる。

個人の音楽的知識を考慮した協調フィルタリングによる楽曲推薦

髙木広大, 酒向慎司

情報処理学会第81回全国大会情報処理学会

開催年月日： 2019年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：福岡大学

協調フィルタリングを用いた楽曲推薦では、推薦対象曲を推薦の標本となるユーザの消費した曲から選択するため、視聴者の少ないマイナー曲は推薦対象曲になる機会が少ない。この問題に対し、マイナー曲を含む幅広く詳細な楽曲を積極的に推薦することを目的とした協調フィルタリングによる楽曲推薦システムの提案を行う。手法として、従来の協調フィルタリングに幅広く詳細な楽曲を消費しているかという音楽的知識の豊富さを標本ユーザ選択の基準に追加する。

楽曲の音響信号からの高揚度変化の推定

福谷和貴, 酒向慎司

情報処理学会第81回全国大会情報処理学会

開催年月日： 2019年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：福岡大学

本研究では、メドレー曲の自動作成に有用と考えられる曲中の高揚度変化を推定することを目的とする。人が感じるメドレー曲の曲のつなぎ目における違和感の主要な要因は、展開の不一致にあると考えられる。このような問題を解消するために、人が曲をきいた時に感じる高揚度の変化を推定し、将来的にはメドレー曲の自動作成手法を検討している。ここでは、曲中の高揚度の変化を"上昇"・"下降"・"維持"の3種類とし、RWC音楽データベースの楽曲に対してラベル付けを行った。さらにそれらを推定するための特徴量として音量RMS、調波音・打楽器音のオンセット数、スペクトル重心などを検討し、複数の機械学習アルゴリズムを用いて実験を行った。

日本手話の多用途・3次元高精度データベースの開発

長嶋祐二, 酒向慎司, 渡辺桂子, 原大介, 堀内靖雄, 市川熹

電子情報通信学会第99回福祉情報科学研究会電子情報通信学会

開催年月日： 2019年02月

記述言語：日本語会議種別：口頭発表（一般）

開催地：愛媛大学城北地区キャンパスメディアホール（総合情報メディアセンター内）

手話は言語であるにもかかわらず，音声言語と比べて言語学，工学を含む関連諸分野での研究が進んでいない．この原因の1つは，言語学者や工学者など様々な分野の研究者が共通に利用できる汎用的なデータベース(DB)が存在しないためである．高精度な3次元手話動作データと手話映像が存在すれば，非手指動作を含めた手話の認識や動作分析において精密な解析が可能となり，手話理解のための方法論や工学的応用に寄与すると考えられる．本稿では，手話語彙のDBの構築方法について，手話語彙のデータ形式，DBに収録する手話の語彙の選定方法などについて検討し，構築中の日本手話データベースについて報告する．

手話の語彙構造・文法解明に供する3D超高精度DBの開発

長嶋祐二, 酒向慎司, 渡辺桂子, 原大介, 堀内靖雄, 市川熹

日本音響学会2018年秋季研究発表会日本音響学会

開催年月日： 2018年09月

記述言語：日本語会議種別：口頭発表（一般）

開催地：大分大学

多様な研究分野に利用可能な超高精細・高精度手話言語データベースの開発

長嶋祐二, 原大介, 堀内靖雄, 酒向慎司, 渡辺桂子, 菊澤律子, 加藤直人, 市川熹

言語資源活用ワークショップ2018 国立国語研究所コーパス開発センター

開催年月日： 2018年09月

記述言語：日本語会議種別：口頭発表（一般）

開催地：国立国語研究所

手話CG Wikiにおける動作の簡略入力手法の提案

山口達也, 村松大輔, 澤野弘明, 石井成郎, 鈴木裕利, 酒向慎司

情報処理学会第80回全国大会情報処理学会

開催年月日： 2018年03月

記述言語：日本語会議種別：口頭発表（一般）

開催地：早稲田大学

手話動画の制作では,肖像権の問題や撮影の準備,専門的な編集ツールの使用などの必要性から,敷居が高い課題がある.先行研究ではWeb上のボタン操作のみでCGキャラクタによる手話映像を生成するWiki (手話CG Wiki)を提案している.提案Wikiにおける評価結果では,手話動作を入力するためのボタンが多く,コンピュータの専門家ではない被験者には負荷が大きいことが示された.そこで本稿では手話動作の入力簡略化手法を提案する.まず手話の辞書データにて頻繁に使用される手型を列挙し,基本的な型として提示する.次にマウス操作による手話動作入力手法ついて述べる.最後に各提案方法の評価とその結果について述べる.

<酒向 慎司>

講演・口頭発表等 - 酒向 慎司

<酒向　慎司>

講演・口頭発表等 - 酒向　慎司