%#!platex -kanji=%k
%#DVIPDF dvipdfmx -f ipa.map
\documentclass{jsbook}
%\pagestyle{empty}
\usepackage[dvipdfmx]{graphicx}
%\usepackage{listings, jlisting}
%\usepackage[sectionbib]{chapterbib}
%\usepackage{ascmac}
\usepackage{geometry}
\usepackage{url}		% 文中にURLを書くときは \url{} で括る
\geometry{textwidth=160mm, textheight=225mm}
\renewcommand{\bibname}{参考文献}
 
\title{3Dアニメーションを用いた手話言語検索サイトの提案}
\author{広瀬研究室3年\\C1202511 及川桜花}
\date {令和4年度}
 
\setcounter{tocdepth}{2}
\begin{document}
\maketitle

\begin{center}
 {\bfseries 概要}
\end{center}
%% 概要 %%
手話話者に対する知名度や認識が高まりつつある現代でも,その利用者は0.06\%と言われている。
また,手話言語の体得は難易度が高く,独学で身につけるための教材は多くないのが現状である。
本研究の目的は,3DCGアニメーションで手話の動作を確認でき,
それらの学習時に活用できるWebサイトを作成することである。
本研究では,手話動作の表現にアニメーションを利用することで手話を実際に動いている状態で
確認できるサイトを作成することで,今まで閲覧機能のみのサイトや辞典,紙媒体のテキストなど
を利用して行われていた手話の自主学習に新たな教材を提案する。
また,聴覚障害のある人やその身の回りの人,手話に興味をもち勉強したいと考えている人に対して
新たな教材を提案できるようになることを目標とする。

\tableofcontents
\chapter{はじめに}
本章では，研究を行なっていく上での背景や目的について説明する。

\section{背景}
現在,日本で手話を使用している人の数は約8万人と言われており,これは国内人口の0.06\%にあたる\cite{jinko}。
単純計算で約1,500人に1人が使用していると考えられるが,手話の存在自体は知っていても
活用することができる人は多くない。
 
手話には単語だけでなく文法が存在し習得が簡単ではないことから,
聴覚障害を持つ人でも全員が使用しているわけではなく,全国的に手話等の普及率は高くない。
しかし,手話話者と突発的に関わる場面や,声の出せない状況で何かを伝えたい状況において,
一般的にこれらは習得していて損のないものといえる。

また,東大阪市では手話通訳登録の促進を図るため,
手話の入門・基礎講座を修了した方(同程度可)で東大阪市の手話通訳登録者をめざす人を対象に
手話の応用を中心としたレベルアップ講座を毎週開催している\cite{osaka}。
手話及び指文字を勉強したい人にとって便利で利用したいと思われる新たな教材を提供することで,
現在勉強している人の助けになるほか,現在は関わりのない層に
新しく取り組んでもらうためのハードルを下げることにつながると考えられる。

このように手話言語の体得への関心が高まっている中,話者に見せて伝えるための手話を図解した
手話一覧,学習者向けの手話辞典は数少ない手話言語の教材として利用されてきた。
しかしそれらは静止画によるものが多く,動きで表現する手話の学習には最適ではない。
そこで本研究では3Dアニメーションを用いた動くサイトを作成し,手話学習の新たな教材を提案する。

\section{目的}
手話言語の認知を高め,その存在を広く知ってもらうとともに,
新たに興味を持った人が取り組みたくなるような手軽な教材を提案し,
習得者を増やす助けになることを目的とする。

また類似サービスとの差別化を図りつつ,聴覚障害のある人もそれ以外の人も,
全体的な普及率が上がるような工夫を目指す。

 
\chapter{先行事例}
本章では,手話アニメーションの活用事例や関連研究を調査し,現状の課題点を探る。

\section{類似サービス}
手話を確認できるサービスや手話言語での会話を助ける既存のサービスについて以下に示す。

\subsection{NHK手話CG}
\label{NHK}
NHK手話CGは,NHKが提供し約7000語の手話を3DCGで閲覧できるサイトである\cite{N}。
サイトのホーム画面ではキーワード検索か50音順で手話を検索でき,該当する手話が複数表示される(図2.1)。
また,任意の手話を選択することで3DCGアニメーション動画を再生できるポップアップが表示される(図2.2)。
再生できる動画内では人型のアニメーションが再生され,正面以外に左右斜めからも動作を確認
できるような動画が数秒間流れるようになっている。
学習者向けのサイトではないため,手話の検索と動画再生の機能が主である。

なお掲載されている単語は,ＮＨＫが放送した10年分のニュース原稿のなかでよく出てくる単語や
2年分の「手話ニュース」で使われた単語をもとに選択されたものである。

\begin{figure}[h]
    \centering
    \includegraphics[keepaspectratio, width=10cm]{nhk.png}
    \caption{NHK手話CG検索画面}
\end{figure}

　\begin{figure}[h]
    \centering
    \includegraphics[keepaspectratio, width=10cm]{aisatsu.png}
    \caption{NHK手話CG検索結果画面}
\end{figure}

\subsection{SureTalk}
SureTalkは,手話と音声をリアルタイムでテキストに変換し,画面を通して会話ができるサービスである\cite{S}。
端末のカメラから手話ユーザーの手話の動きを読み取ってテキストに変換し,
端末のマイクからは音声ユーザーの音声を聞き取ってテキストに変換することでコミュニケーションを行う(図2.3)。
手話認識で人それぞれの手話動作の特徴を抽出しAIに学習させるため,利用者による手話動画の
投稿の協力が必要であるほか,現在は一部の自治体のみで利用可能となっている。

\begin{figure}[h]
    \centering
    \includegraphics[keepaspectratio, width=10cm]{suretalk.png}
    \caption{SureTalkシステム概要}
\end{figure}

\section{関連研究}
手話に関して,3DCGアニメーションを使用した表現を研究している関連研究について以下に示す。

\subsection{手話辞書用の3DCGアニメーション作成}
大石らは,手話を学習する際に用いられる一般の手話辞書は使い勝手のよいものではないと考え,
3DCGアニメーションを用いた手話辞書を作成した。
3DCGアニメーションを作成するには,コンピュータ内の仮想3次元空間に配置したオブジェクトに対し，
時系列的に移動・回転・変形のパラメータを入力しなければならない。大石らの研究では,
その複雑さを改善するためパラメータの入力に「位置・手型・動き・手の向き」の4要素で手話単語を表記する
ハンブルク記号を用いた。
また問題点として,単語登録時に誤った記号列を登録すると記号解釈処理が無理に実行されて
動作不良が起こることが挙げられたが,「位置・手型・動き・手の向き」という4要素ではなく，
記述に適した細かな分類を設けることで改善された。

これにより一般に用いられている書籍タイプの手話辞書に対し, 動きがあり,
視点変更が可能で理解しやすい手話辞書を作成することができたが,手話においては
手指動作だけでなく，表情による感情の表現も重要なので，単語に適した表情アニメーションを
表示させる処理を追加する必要があるとした\cite{oishi}。

\subsection{コード化された手話単語からのアニメーション合成}
\label{code}
杉浦らは,手話通訳者のかわりになるものとして,実写画像に比べ作成や編集が容易で,
再利用が簡単にできること,肖像権の周題が生じないこと,機械翻訳の出力に利用できることなどの利点がある
CGアニメーションで手話を表現する方法に着目し,コード化した手話単語からアニメーションを合成する研究を行った。
手話CGアニメーションへの評価として肘位置が不自然で分かりにくいという意見が出たことを受け,
手の座標データから逆運動というアルゴリズムを用いることで肘位置を推定している。
計測実験では,手と肘に磁気センサーを取り付け,手の平(上下左右前後)と指先の方向(上下左右前後)の
組み合わせ24通りごとに手の向きを固定した状態で,1辺12cm縦5横5奥行き3の75個の格子点上の停止した状態の位置データを取得した。

また,肘位置以外の不自然さの原因として一定の速度で動作していることが挙げられると予想し,
手話単語中の動作,手話単語外のわたりの動作で加速度の特徴の違い等を計測し,
手話CGアニメーションに人間の手動作の加速度の特徴を持った動きを生成させることが課題であるとした\cite{sugiura}。


\chapter{システム提案}
\section{先行事例を踏まえた改善点}
\ref{code}の研究では,動作を自然に見せる要素として肘の動作について研究していたほか,
追加課題として人間の手動作の加速度の特徴を持った自然な動きの生成を検討している。
また\ref{NHK}のサービスでは,多彩な手話が用意されているかわりに
動画が再生できる以上の機能は備わっておらず,学習者向けの作りになっているわけではない。

これらを踏まえ,本研究では手話学習の手助けとなるサイトの提案にあたって
\begin{itemize}
 \item 肘や加速度を意識した自然な手動作の工夫
 \item 自主学習を助ける機能の搭載
\end{itemize}
の2点を検討し,以上を加えることで先行事例での課題解決を図る。

\section{システムの概要}
サイト内検索のできる画面をホーム画面として用意し,最初に学習する手話を選択できるようにする。
手話ごとのページへ移動した後,3DCG アニメーションを視聴することで手話動作を学習する。

なお,手話は国によって動作が異なるためグローバル的な視点で使用することはできないが,
今回は国内での扱いやすさを重視するために日本手話を使用して作成を行う\cite{nihon}。

\begin{figure}[h]
    \centering
    \includegraphics[keepaspectratio,scale=0.4]{gainenzu.png}
    \caption{システム概念図}
\end{figure}
 
\chapter{システム構成}
本システムではサイトの作成とアニメーションの作成が必要だが,現時点で着手できている
システム部分の詳細を以下に示す。

\section{3Dモデリングの概要}
3Dモデリングを行うにあたって,今回はBlender,VRoid Studioの2つの技術を使用する。
VRoid Studioとは人体モデリングに長けたアプリケーションである。

VRoid Studioを用いて人体の大まかなモデリングを行い,その3Dオブジェクトデータを
Blenderにインポートして調整を行う。Blenderは統合アプリケーションであるため
作成した3Dモデルでそのままアニメーション作成に移行できる。

\subsubsection{開発環境}
3Dモデリング及びアニメーションの作成に使用した技術とそのバージョンは以下の通りである。
\begin{itemize}

 \item VRoid Studio - 1.17.1
 \item blender - 3.3\cite{B}
 
　Blender は3DCGアニメーションを作成するための統合環境アプリケーションである。
 オープンソースのフリーウェアであり,モデリングや動画編集などの機能をもつ。
\end{itemize}

\section{ボーンの設定}
VRoid Studioを用いて人体の大まかなモデリングを行い,その3Dオブジェクトデータを
Blenderにインポートして調整を行う。
また,3Dモデルには可動域ごとにボーンを設定している(図4.1)。
ボーンとは関節や前髪,洋服など動きのある部分に設定する関節のようなもので,
これによりモデルが自然な動きをするかどうか確認しながら作成していく。

\begin{figure}[h]
    \centering
   \includegraphics[keepaspectratio, scale=0.3]{born.png}
    \caption{設定したボーンを選択した様子}
\end{figure}

\begin{figure}[h]
    \centering
   \includegraphics[keepaspectratio, scale=0.3]{model2.png}
    \caption{作成中の3Dモデル}
\end{figure}

\section{アニメーションの設定}
アニメーションを作成するための準備としてFPS(フレームレート)の設定を行う。
滑らかに作成するほどレンダリングに時間がかかるので,
作成したいアニメーションの動きや動作環境に合わせて設定する必要がある。

準備ができたら動作ごとにキーフレームを打っていく。
モデルのアーマチュア(骨格部分)を選択し,フレーム数を選んでドープシートに
キーフレームを打つ(図4.3)。
実際の手話動作を確認しながら,なるべく自然な動作になるように
意識してキーフレームを打ち込む。
アーマチュアは必要に応じて切り替え,キーフレームを組み合わせて
アニメーションを設定する。

\begin{figure}[h]
    \centering
   \includegraphics[keepaspectratio, scale=0.3]{animetion.png}
    \caption{キーフレームを打ったドープシート}
\end{figure}



\chapter{結論}
サイト上に動画を表示する際に,ただ掲載するだけだと先行事例とあまり違いが見られず
学習目的としてのサービスとして教材としての要素が少ないため,差別化を図れるように検討する。
また現時点では日常会話における頻出単語の実装を考えているが,実験ができる段階になったら手話の数を増やして使い勝手などを検討していきたい。
先行研究で改善点として出された自然な動作の再現にもまで至っていないので目標としたい。
元々学習者が多くはない手話言語について学習したい人はもちろん,手話にそこまで関心がない人も
とっつきやすいような仕組みやUIを考えて,多くの人が利用しやすいかたちになることを目指していく。
 
 
 
 
\begin{thebibliography}{99}
  
\bibitem{jinko}WIRED.``日本人の0.06パーセントのために。そして世界中の手話話者のインフラへ''.WIDER Audi INNOVATION AWERD 2017''.
\url{https://wired.jp/waia/2017/23_junto-ohki},(参照2022-07-12).

\bibitem{osaka}東大阪市.``令和4年度手話レベルアップ講座受講者を募集''.東大阪市役所.
\url{https://www.city.higashiosaka.lg.jp/0000033683.html},(参照2022-07-12).

\bibitem{oishi}大石 和男, 糸井 清晃, 小林 幸雄.``手話辞書用3DCGアニメーションの検討''.
\url{https://www.jstage.jst.go.jp/article/aiieej/31/0/31_0_77/_article/-char/ja},(参照2022-07-12).

\bibitem{sugiura}杉浦俊久,市川熹,堀内靖雄,長嶋祐二.``手話CGアニメーションにおける自然な手動作の生成''.
\url{https://www.jstage.jst.go.jp/article/jvs1990/23/Supplement1/23_Supplement1_343/_pdf/-char/ja},(参照2022-08-05).

\bibitem{N}NHK.``NHK手話CG''.
\url{https://www2.nhk.or.jp/signlanguage/sp/syllsear.cgi},(参照2022-07-12).

\bibitem{S}SoftBank.``SureTalk''.
\url{https://www.suretalk.mb.softbank.jp},(参照2022-11-08).

\bibitem{nihon}ことば研究館,``手話って世界共通ですか-ことばの疑問''.国立国語研究所.
\url{https://kotobaken.jp/qa/yokuaru/qa-43/},(参照2022-12-11)  

\bibitem{B}Blender.jp.``Blenderの機能''.
\url{https://blender.jp/modules/docs/index.php?content_id=1},(参照2022-12-11).

\bibitem{}Render pool.``【画像】Blender(ブレンダー)でアニメーションを制作する手順をわかりやすく解説''.
\url{https://jp.renderpool.net/blog/blender%E3%81%AE%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3/#top},(参照2022-1-11).


\end{thebibliography}

 
\end{document}