講演・口頭発表等 - 酒向 慎司
-
日本手話における個人性の研究:運動学的特徴の分析と手話者識別
戴 梓軒, 酒向 慎司
電子情報通信学会 HCGシンポジウム2024 2024年12月 電子情報通信学会
開催年月日: 2024年12月
記述言語:英語 会議種別:口頭発表(一般)
開催地:金沢歌劇座(金沢市) 国名:日本国
-
Song review generation using acoustic information and lyrics 国際会議
25nd International Society for Music Information Retrieval Conference 2024年11月 International Society for Music Information Retrieval
開催年月日: 2024年11月
記述言語:英語 会議種別:ポスター発表
開催地:San Francisco 国名:アメリカ合衆国
-
酒向 慎司
愛知パーカッション・フェア 2024 ~「共鳴~Kyo-mei」が繋ぐさまざまなパーカッションの世界~ 2024年11月 愛知県立芸術大学 社会連携センター
開催年月日: 2024年11月
会議種別:シンポジウム・ワークショップ パネル(指名)
開催地:愛知県立芸術大学 芸術資料館 地下演習室 国名:日本国
-
一人称視点映像によるボディトラッキング技術と手話認識への応用 招待あり
酒向 慎司
ろう者・難聴者がイキイキと働ける環境を目指して! 「スマートグラスやデジタルセンシングを使ったコミュニケーションを体験しよう」 2024年11月 特定非営利活動法人 ウェアラブルコンピュータ研究開発機構
開催年月日: 2024年11月
会議種別:口頭発表(招待・特別)
開催地:QUINTBRIDGE(NTT西日本) 国名:日本国
-
酒向 慎司, 笠間 健太郎
電子情報通信学会 第126回福祉情報科学研究会 2024年10月 電子情報通信学会
開催年月日: 2024年10月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:帝京大学 宇都宮キャンパス 国名:日本国
本研究では,手話の時間的構造(リズム)に関係があるとされる手話中の呼吸の状態を手話のモーションキャプチャデータから推定する手法について検討した.手話のような複雑な身体動作がなされた状態,手話そのものの計測の妨げとならないような計測は容易ではないと考えられる.ここでは高精度に計測された手話の3次元モーションデータから胸部の拡張の変化に着目して呼吸の状態を計測可能であるかを試みた.既存の手話データベース(KoSign)の3次元データを用いて呼吸の推定を行い,その結果の妥当性について検証した.
-
川地 奎多, 酒向 慎司
情報処理学会 第141回音楽情報科学研究会 2024年08月 情報処理学会
開催年月日: 2024年08月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:駒澤大学 駒澤キャンパス
近年,音楽配信サービスの普及により,楽曲へのアクセス性が大幅に向上した.その一方で,音楽の聴取スタイルは受動的かつ BGM として消費する傾向が強まり,深く鑑賞する機会が減少しているのではないかと感じている.そこで,本研究では音楽を言語化して説明することがリスナーの音楽理解を助け,音楽体験の価値を向上させる手段の 1 つであると考えた.音楽の言語化は,音楽キャプションタスク(音楽に関する情報を自然言語の文章形式で記述するタスク)として近年盛んに研究されている.従来の研究では音響情報のみを用いて,楽曲に関する説明文を生成することに焦点が置かれていた.そこで,本研究では音響情報に加えて歌詞にも着目し,楽曲のレビュー文を生成することに試みた.具体的には音楽特徴抽出器と大規模言語モデル(LLM)を用いて音楽記述を生成する MU-LLaMA をベースラインモデルとし,LLaMA に事前に指示を与えるシステムプロンプトを設計することで,歌詞も考慮したレビュー文生成を実現した.さらに,3 つの評価実験を通じて,提案手法が従来手法よりも表現の多様性や楽曲のイメージ形成に有効であることを確認した.
-
アノテーション支援のための日本手話の映像データにおけるマウジング検出の検討
辰巳 花菜, 酒向 慎司
電子情報通信学会 第125回福祉情報科学研究会 2024年08月 電子情報通信学会
開催年月日: 2024年08月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:はこだて未来大学(函館市)
本研究では,手話のアノテーション支援を目的とし,日本手話の口型の一種であるマウジング検出について検討を行った.口型とは,手話中に現れる口の動きのことを指す.現在,日本手話において,より大規模で汎用的なコーパスの開発が急務となっているが,手話の複雑性により,アノテーションは容易ではない作業とされている.そのため,自動アノテーションによるコーパス整備の効率化が望まれている.イギリス手話の大規模なデータ
セットであるBOBSLにおける自動アノテーションの研究[1]では,口型認識を用いた単語検出のアプローチを使用しており,これにより手指信号の認識だけでは検出が難しい語の検出を可能にしている.そこで本研究では,日本手話における口型認識に基づいて,音声言語由来の口の動きであるマウジングを検出する.本提案手法では,既存の機械読唇技術を用いて,日本手話における口型の認識を行う.そして,手話に対応した日本語音声の書き起こしテキスト内からマウジングの候補の語を特定し,口型認識の結果とマッチングさせることで,マウジングに相当する区間を特定する.また本研究では,日本手話映像を用いてマウジング検出の検証用にデータセットを作成し,その中で,マウジングの表出について調査した.その結果,表出パターンにはばらつきがみられ,提案手法におけるマウジング候補の特定方法をさらに検討する必要があることが分かった.最後に,口型のみの認識によるアノテーションの限界,そして,より正確なアノテーションのための手法の検討などの今後の方針を述べる. -
Chironomie に基づいた楽譜と演奏に対応した音楽の可視化
酒向 慎司, 辰巳 花菜
可視化情報シンポジウム2024 2024年07月 一般社団法人 可視化情報学会
開催年月日: 2024年07月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:沖縄産業支援センター 国名:日本国
聴覚障害者が音楽を楽しむ機会を増やすためには、彼らにとって利用しやすい形で音楽を提示することが必要である。本研究では、聴覚に障がいがあっても視覚に障がいのない人々の共通感覚である視覚に着目し、音楽の視覚化を試みる。音楽を視覚化する方法としては、色彩や図形など様々な方法が提案されている。本研究では、足や手の物理的な上げ下げ、空間的な上下の意味を含むキロノミーに着目し、楽譜や演奏に対応したわかりやすく直感的な視覚表現による音楽の視覚化を目指す。
-
照明演出の支援を目的とした音楽音響信号に基づく照明色・明度・動きの推定とその評価
月東 菜乃, 酒向 慎司
情報処理学会 第140回音楽情報科学研究会 2024年05月 情報処理学会
開催年月日: 2024年05月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:日本大学 文理学部キャンパス 百周年記念館
本研究では照明演出構成の支援を目的として,音楽をメインとして観客に聴かせ,多様な照明演出が施されることの多いポピュラー音楽コンサートを対象に,楽曲の特徴から自動で照明演出を決定する手法について検討する.楽曲音声に基づき推定された繰り返し構造ごとに楽曲の雰囲気に合った照明色・明るさ・動きを推定する.また,推定された照明演出のシミュレーション映像視聴による主観評価により本手法の有効性を確認した.
-
戴 梓軒, 酒向 慎司
電子情報通信学会 ヒューマンコミュニケーション基礎(HCS)研究会 2024年03月 電子情報通信学会
開催年月日: 2024年05月
記述言語:英語 会議種別:口頭発表(一般)
開催地:沖縄産業支援センター
-
論文作成・発表アクセシビリティガイドライン -共生社会実現に役立つ研究を進めるために-
布川 清彦, 若月 大輔, 酒向 慎司
電子情報通信学会 第124回福祉情報科学研究会 2024年03月 電子情報通信学会
開催年月日: 2024年03月
記述言語:日本語 会議種別:口頭発表(招待・特別)
開催地:筑波技術大学(春日キャンパス)
世界では,障害者を含め多様性による人類の進化を進める動きが加速している.日本においても,共生社会を実現するための法整備が進められてきた.ヒューマンコミュニケーショングループ(HCG)では,様々な人が研究に参加できることを目指して論文作成・発表アクセシビリティガイドライン[1]を作成し,その改定を進めてきた.本講演では,2023年度に行った論文作成・発表アクセシビリティガイドラインVer.4(以下,ガイドライン)への改訂の背景となるガイドラインの誕生から改訂にいたる経緯,障害者の権利に関する日本の法律である障害者差別解消法[2]について概説し,ガイドラインとの関係について述べる.
-
国際生活機能分類(ICF)と論文作成・発表アクセシビリティガイドライン
布川 清彦, 若月 大輔, 酒向 慎司
電子情報通信学会 第124回福祉情報科学研究会 2024年03月 電子情報通信学会
開催年月日: 2024年03月
記述言語:日本語 会議種別:口頭発表(招待・特別)
開催地:筑波技術大学(春日キャンパス)
本講演では,世界標準の障害観である国際生活機能分類(以後,ICFとよぶ. ICFはInternational Classification of Functioning, Disability and Healthの略)について概説し,ICFと2023年度に改訂された論文作成・発表アクセシビリティガイドラインVer.4(以下,ガイドラインとよぶ)[1]との関係について述べる.ICFでは,障害を生活機能のマイナス面としている.見えない・聞こえないといった身体や精神の特性だけではなく,その人の特性と環境とのミスマッチによって生活上の困難が生じている状況も含んでいる.そこから考えてみると,ユーザの特性に合わせた環境を作ることによって,その困難を解決して生活機能を高めること,つまり障害を低減して「できること」を増やせる可能性がある.ガイドラインは,障害のある研究者が他者と協働して研究を進めて行くときに有効な,研究者の特性に合わせた環境調整の具体例を示している.ガイドラインを利用する事により,研究活動時の障害を低減し,生活機能を高めることが期待できる.
-
照明演出の支援を目的とした楽曲の構造と雰囲気に基づく照明色・明度・動きの推定
月東 菜乃, 酒向 慎司
情報処理学会第86回全国大会 2024年03月 情報処理学会
開催年月日: 2024年03月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:神奈川大学横浜キャンパス
本研究では,初心者が音楽コンサートにおける照明演出を構成する際の支援を目的とし,楽曲音声をもとに繰り返し構造に基づき分割された楽曲セグメントごとに照明色・明度・動きを決定する.実際の照明演出構成手順にならいながら照明効果を決定することで楽曲の雰囲気に合った照明演出の構成を目指す.
-
笠間 健太郎, 酒向 慎司
情報処理学会第86回全国大会 2024年03月 情報処理学会
開催年月日: 2024年03月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:神奈川大学横浜キャンパス
本研究は手話の時間的構造に関係があるとされる手話中の呼吸を考慮することによる手話生成の自然性向上を目的として、手話データセットから呼吸情報を取得することを目指した研究である。既存の手話データセットの3次元データを用いて呼吸の推定を行い、推定された呼吸が手話特有の呼吸を示していることを検証する.
-
梅田 唯花, 酒向 慎司
情報処理学会第86回全国大会 2024年03月 情報処理学会
開催年月日: 2024年03月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:神奈川大学横浜キャンパス
本研究は日本手話のデータ不足解消を目的として日本手話の自動アノテーションを目指した研究である。手話中の口型のアノテーションに焦点を当て、機械読唇のモデルを用いて日本手話における口型の検出と認識を検証する。検証には日本手話の映像をもとに作成したデータセットを使用し、手話中に表れる口型の検出と認識の精度を確認し、評価を行う。
-
Music Visualization using Chironomie 国際共著 国際会議
Kana Tatsumi, Shinji Sako, Rafael Ramirez
24nd International Society for Music Information Retrieval Conference 2023年11月 International Society for Music Information Retrieval
開催年月日: 2023年11月
記述言語:英語 会議種別:ポスター発表
開催地:Milan 国名:イタリア共和国
The purpose of this study is to debilitate the enjoyment of music for both hearing-impaired and normal-hearing individuals by visually representing music. In order to effectively and distinctively portray the musical rhythm, we focus on Chironomie, a conducting technique used in Gregorian chant. Generally, Chironomie is drawn by a curve that corresponds to the musical score, and this curve is determined by whether a short segment of the score represents one of two classes: Arsis or Thesis. In pursuit of our objective, our endeavors encompass two essential facets: the adaptation of Chironomie for Western tonal music to express intuitively perceivable musical features like tension and relaxation, and the evaluation whether Chironomie can effectively convey music visually. We report an automated method for estimating Arsis and Thesis within composite beats to generate Chironomie. Additionally, it presents evaluation experiments involving normal-hearing to assess the effectiveness of Chironomie.
-
聴覚障害者の音楽体験支援のためのChironomieによる音楽可視化手法の提案
辰巳 花菜, 酒向 慎司
電子情報通信学会 第122回福祉情報科学研究会 2023年10月 電子情報通信学会
開催年月日: 2023年10月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:九州工業大学(戸畑キャンパス)
本研究のねらいは, 聴覚障害者と健が共に音楽をしむため,グレゴリオ聖歌の指揮法であるChironomieを用いて音楽可視化する ことである .この目標達成には,Chironomieを西洋調性音楽に適用して聴覚では直感的に得られる音楽特徴である緊張の高まりや緩みを表現すること,Chironomieにより音楽が視覚的に伝達できるかを評価することが課題であ.本報告では,西洋クラシック音楽やその派生を対象とし,Chironomieを描画するために複合拍に対するArsisとThesisを自動推定する手法の検討と,健聴者を対象とした評価実験によるChironomieの有用性調査結果を報告する.
-
ギターアンプのノブ操作による音色の変化に対応したブラックボックスモデリング
江崎 友都, 酒向 慎司
日本音響学会2023年秋季研究発表会 2023年09月 日本音響学会
開催年月日: 2023年09月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:名古屋工業大学
エレキギターはギターアンプを使うことで音を増幅させ,音色の調整が可能である.一般的にギターアンプはサイズが大きい点や,真空管を使ったギターアンプでは劣化による寿命がある点などの欠点がある.そこでそのような欠点を改善するために計算機によってギターアンプの信号処理をモデリングする研究や製品化が行われている.ノブの操作が伴わない一定の設定におけるギターアンプの信号処理をモデリングした研究では聴感的な差がほとんど感じられないほどの再現性が達成できている.しかしノブの操作を含めてモデリングしたときの研究には再現性の評価に余地があることが課題として挙げられる.そこで本論文ではユーザがノブの操作が可能なモデルの作成を検討し,モデルにおけるギターアンプから出力される信号の再現性の評価を試みる.
-
辰巳 花菜, 田中 愛菜, 酒向 慎司 ほか
情報処理学会 第138回音楽情報科学研究会 2023年08月 情報処理学会
開催年月日: 2023年08月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:明治大学(中野キャンパス)
ポピュラー音楽の制作では,マスタリングの際に曲の音量レベルを過剰に高めようとする傾向がみられる.しかし,このようにして作られたダイナミクスの小さな曲は,近年のリスニングスタイルに適していないことが多いと考えられる.そこで本研究では,ラウドなポピュラー楽曲のスペクトログラムからマスタリング前のラウドネスを推定することで,ダイナミクスの復元を目的とする.
-
松本 優太, 酒向 慎司
情報処理学会第85回全国大会 2023年03月 情報処理学会
開催年月日: 2023年03月
記述言語:日本語 会議種別:口頭発表(一般)
開催地:電気通信大学
Automatic arrangement by FCN for cylinder music box