合同ゼミ2026発表

News Presentation

2026年7月25日に開催された 第13回 AI時代を担う世代による情報処理技術研究会 において，MIPLABのM2学生1名，M1学生4名，B4学生3名，研究生1名による研究発表が行われました．

発表報告

発表リスト

概要

舌亜全摘出者のためのLLM-based TTSにおけるファインチューニングと推論方式の検討（天田）

本研究では，舌亜全摘出者の明瞭な音声合成を目的に，Qwen3-TTS のファインチューニングと推論方式を検討した．疑似障がい音声 4 話者による客観評価では，全 12 学習モデルで話者平均 x-vector かつ In-Context Learning なしの推論が最小文字誤り率を示した．Base のファインチューニングで文字誤り率は 0.097 から 0.048 へ低下した一方，CustomVoice の改善は限定的であった．

CycleGANを用いた自己教師あり音声特徴量の変換による構音障害者のための音声認識の検討（木山）

本研究では，構音障害音声から抽出した自己教師あり音声特徴量を，CycleGAN により健常音声特徴量の分布へ変換する音声認識方式を提案する．発話内容の変化を抑制するため，音声特徴量から音声認識をするために用いる CTC head の CTC 損失を導入した．構音障害者の音声コーパスである TORGO を用いた評価の結果，ベースラインと比較して，重度および中等度話者の単語発話 WER をそれぞれ 20.34 ポイント，7.82 ポイント改善した．

音声の音響特徴量を用いたパーキンソン病患者の個人別音素評価に基づく全体傾向分析（篠田）

パーキンソン病は運動症状に加え発話障害や嚥下障害を伴い，特に嚥下障害は誤嚥性肺炎に代表される重篤な合併症を引き起こす要因となる．しかし，その評価には医師による診察に加え，気管支鏡や嚥下造影検査など侵襲的な検査が必要であり，患者の負担が大きい．本研究は，発話困難な音素に着目した音声評価により，患者の負担を軽減した合併症評価の可能性を示すことを目的としている．その第一段階として，パーキンソン病患者個人における発話困難音素の特定に向けた分析および全体傾向分析内容について報告する．

環境音分類における入力データのドメイン適合度と分類結果の信頼度に基づくモデル選択方式の検討（高見）

DCASE Challenge 2026 Task7 におけるドメイン増分学習では，過去のドメインの学習データに再アクセスできない制約の下で，新たに追加されるドメインへ適応するとともに，既存の知識を保持することが求められる．ベースライン方式では，ドメインごとに学習した複数の分類モデルを保持し，出力エントロピーに基づいて推論時に使用するモデルを選択する．しかし，エントロピーを分類結果の信頼度の指標として用いる場合，誤分類であっても高い信頼度を示すことがある．そこで本研究では，VAE を用いた入力データのドメイン適合度の判定と，ConfidNet を用いた分類結果の信頼度推定を組み合わせたモデル選択方式を提案する．

環境音認識に基づく対話応答を可能にする雑談型音声対話エージェント（藤本）

本研究では，雑談型音声対話システムにおける環境音を活用する対話を行うためのプロンプト設計について検討を行う．ユーザ発話と環境音の関係性の判断を LLM に任せていたベースラインに対して，関係性を明確にするために環境音を活用するかどうかの判定を追加することで，生成される応答の違いを調べる．また，その評価にも LLM を用いて，1 つの応答に対する絶対評価と複数の応答に対する相対評価を行う．

筋電信号と音響信号を用いた異常検知モデルによるブラキシズム検出の検討（草野）

本研究では，筋電・音響信号を用いたブラキシズム検出に関して，異常検知モデルを利用することによって，ブラキシズムが発生している時刻を検出することを目指す．本報告では特に， Auto Encoder を用いた異常検知モデルを検討した．正常データとして有害なブラキシズム以外の睡眠時イベント（口の開閉運動，嚥下，安静状態）を学習に用い，再構成誤差に基づいた異常検知を試みた．また，この方式の妥当性を評価するためにも再構成誤差を用い，有害なブラキシズムとそれ以外の睡眠時イベントとを分離することについて，その実現可能性について検討した．

基本周波数により制御可能ニューラルボコーダによる感情音声合成の検討（小田）

本報告では，合成音声の品質維持とモデルの軽量化を両立したニューラルボコーダである WTNet を感情音声の合成に適用し，従来のボコーダとの比較・評価を行った．評価実験では，平坦な朗読音声で事前学習を行ったモデルに対し，感情音声コーパスを用いた追加学習を行う段階的なアプローチを採用した．生成された音声に対し，Pitch 誤差や PESQ などの客観評価指標の算出，および F0 軌跡の可視化による視覚的評価を行った．検証の結果，WTNet は，従来の手法と比較して，計算コストを抑えつつ，感情表現を含む音声においても同等以上の高い合成品質を達成できることが確認された．

音声合成に向けた数字列からの音素韻律記号列推定におけるニューラル機械翻訳モデルの検討（高橋）

本研究は，音声合成に向けた指動作入力システムにおいて，入力時の曖昧性を解消し，数字列から音素・韻律記号列を高精度に推定するモデルを検討する．先行研究では，この曖昧性を考慮した系列変換に Sequence-to-Sequence モデルが採用されていた．本研究では，系列変換における推定精度の向上を目的として，自己注意機構に基づく Transformer モデルを提案し，従来手法と評価の比較を行った．50 万ステップの学習の結果，従来手法に対し，提案手法は音素列正解率や文正解数において優位性を示した．

Improving Multi-modal Emotion Recognition through Audio-Textual Feature Fusion（SOE）

This research aims to build a robust multimodal emotion recognition system by integrating acousticfeatures and linguistic content.By focusing on "Audio-Textual Feature Fusion," this study explores how high-level representations from speech signals and transcribed text can be combined to achieve higher accuracy in emotional classification.We propose a system architecture that employs Wav2Vec 2.0 and BERT for feature extraction and late fusion approach to classify eight distinct emotional states.Our experiments, conducted on MSP-PODCAST Dataset, achieved an overall accuracy of 51.58%.The analysis reveals that while the model performs well in identifying dominant emotions like 'Happy' and 'Angry', addressing class imbalance remains a critical challenge for improving minority class recognition.These findings contribute to the development of more effective multimodal fusion strategies for real-world emotional analysis.

参考URL