diff --git a/paper/c120251-thesis.pdf b/paper/c120251-thesis.pdf index f81ab48..8c46e60 100644 --- a/paper/c120251-thesis.pdf +++ b/paper/c120251-thesis.pdf Binary files differ diff --git a/paper/c120251-thesis.tex b/paper/c120251-thesis.tex index a829809..afeec7c 100644 --- a/paper/c120251-thesis.tex +++ b/paper/c120251-thesis.tex @@ -14,7 +14,7 @@ \title{3Dアニメーションを用いた手話学習サイトの提案} \author{広瀬研究室4年\\c1202511 及川桜花} -\date {令和5年} +\date {令和5年度} \begin{document} \maketitle @@ -39,48 +39,60 @@ \section{背景} 現在,日本で手話を使用している人の数は約8万人と言われており,これは国内人口の0.06\%にあたる\cite{jinko}。 -単純計算で約1,500人に1人が使用していると考えられるが,手話の存在自体は知っていても -活用することができる人は多くない。 - -手話には単語だけでなく文法が存在し習得が簡単ではないことから, -聴覚障害を持つ人でも全員が使用しているわけではなく,全国的に手話等の普及率は高くない。 -しかし,手話話者と突発的に関わる場面や,声の出せない状況で何かを伝えたい状況において, -一般的にこれらは習得していて損のないものといえる。 +以上の調査から約1,500人に1人が手話を使用してことが予想されるが,一般的な交友関係を踏まえた場合に自分の身の回りに手話者がいる,また手話を理解できる人がいるケースは多くないと推察される。 +聴覚障害の認識に関して,久本は夙川学院短期大学の学生を対象にアンケート調査を行い,学生の聴覚障害に関する認識及び手話の学習がもたらす効果を考察した\cite{kouka}。 +その結果,ろうあ者\footnote{聾唖者（ろうあ者）とは,一般的には,聴力損失が大きく,幼児期以前に失聴した人を指す。全く声を出せない人もいれば,声で話すことができる人もいる。} +との交流に対し20\%の人が積極的な交流を希望する半面,80\%近い人が程度の差はあるものの交流に難色を示していることが分かり,その理由としてコミュニケーションがとれず言葉の壁を感じることが最も多く挙げられた。またこれらの背景として,ほとんどの人が家族や友人・知人にろうあ者をもたず,交流経験もほとんど無いことが考察された。 +しかし「職場での同僚にろうあ者が存在する」という設定に対しては,積極的に交流するとした人が40\%弱と前述の20\%から大きく増加し,身近かにろうあ者が居れば,手話等のコミュニケーションの能力程度に関わらず,交流意欲は高くなる可能性が示された。 +身近に手話通訳者がいないことの懸念点としては,情報を得にくいろう者を狙った詐欺事件の発生,コミュニケーションなどの制約によってそれらの被害を関係機関に訴えられないなどが挙げられ,これまでも問題とされてきた\cite{roua}。 +前述の研究結果をふまえると,身近にろうあ者がいれば交流意欲が高まる人は多く,社会全体のろうあ者及び手話に関する理解が深まることは,ろうあ者を狙った犯罪の抑止につながると考えることができる。 -また,東大阪市では手話通訳登録の促進を図るため, +また手話通訳者の養成に関して,東大阪市では手話通訳登録の促進を図るため, 手話の入門・基礎講座を修了した方(同程度可)で東大阪市の手話通訳登録者をめざす人を対象に 手話の応用を中心としたレベルアップ講座を毎週開催している\cite{osaka}。 -手話及び指文字を勉強したい人にとって便利で利用したいと思われる新たな教材を提供することで, -現在勉強している人の助けになるほか,現在は関わりのない層に -新しく取り組んでもらうためのハードルを下げることにつながると考えられる。 +このように現行の通訳者養成は,各都道府県が行う福祉施策の必須事業である「意思疎通支援事業」の一環として実施されている。 +しかし,各都道府県の登録手話通訳者になるためには,全国統一手話通訳試験に合格する必要があり,さらにその受験資格には厚生労働省が定めた手話通訳者養成講座の基準を満たす形で各都道府県が実施する「手話通訳者養成講座」（基本,応用,実践コースの３段階あり,全て修了するには約２年半〜３年間を要する）の受講及び修了が求められる\cite{yousei}。 +このように,手話を学習しようと考えたとき,自治体が行う手話者育成講座は長期的かつハードルが高く,気軽に学びたいと考える場合に途中で挫折してしまう可能性がある。 -このように手話言語の体得への関心が高まっている中,話者に見せて伝えるための手話を図解した -手話一覧,学習者向けの手話辞典は数少ない手話言語の教材として利用されてきた。 +このように手話体得への関心が高まっているなか,前述のような講座は期間や内容において手軽さに欠ける。 +また独学における教材については,話者に見せて伝えるための手話を図解した手話一覧,学習者向けの手話辞典が主に利用されてきた。 しかしそれらは静止画によるものが多く,動きで表現する手話の学習には最適ではない。 -そこで本研究では3Dアニメーションを用いた動くサイトを作成し,手話学習の新たな教材を提案する。 +そこで本研究では3Dアニメーションを用いた動くサイトを作成し,だれでも手軽に手話を学習することができる新たな教材を提案する。 + +\section{手話通訳者養成の現状} +2013年に施行された障害者総合支援法によって,それまで任意事業だった手話通訳者養成事業が都道府県の必須事業として制度化され,現在は手話通訳者養成のための講座が各地で開催されている。しかし手話通訳士育成指導者養成委員会（1998）は,これまでの手話通訳者養成の問題点として,通訳そのものの学習ではなく手話の学習に焦点をあてていること,担当講師の経験や,学習者個人の努力に頼る形の養成であることを指摘しており,制度や内容等の面で多くの課題が残されていると考えられる。 + +これらの現状をふまえ霍間らは,各都道府県で行われている手話通訳者養成講座の実態について調べ,講座の運営に関する現状と課題,及び指導を担当する講師が感じている現状の課題について考察を行った\cite{kadai}。 +調査の結果,手話通訳者養成講座はすべての都道府県で行われている事業であるが,限られた予算はほとんどは講座の運営自体に使わざるを得ず,必要性があっても実施できていない研修会や指導内容があることが示された。 +テキストに関しては,ほとんどの講師が「厚生労働省手話通訳者養成カリキュラム対応テキスト」を用いていた(図\ref{fig:text})。しかし受講生の人数が多く対応しきれない,受講生の人数が少なくお互いの学び合いが難しい,同一の受講生が同じ講座を繰り返し受講しているといった実情に対応できるように作られていないとの指摘が見られた。 +このことをふまえ講座を担当する講師は,指導体制や副教材などを工夫し,それぞれの地域や受講生の実態に合わせた指導を行うための努力を行ってきたが,講師の人材不足は多くの地域で課題とされており,講師ひとりにかかる負担は非常に大きなものとなっていることが示された。 + +\begin{figure}[h] + \centering + \includegraphics[keepaspectratio, width=15cm]{text.jpg} + \caption{厚生労働省手話通訳者養成カリキュラム対応テキスト} + \label{fig:text} +\end{figure} \section{目的} -手話言語の認知を高め,その存在を広く知ってもらうとともに, -新たに興味を持った人が取り組みたくなるような手軽な教材を提案し, -習得者を増やす助けになることを目的とする。 +3Dアニメーションを用いた新たな利用しやすい動的教材の提案を通して,サイト利用者の手話への理解を深め,手話者が生活しやすい社会・環境づくりに貢献することを目的とする。 -また類似サービスとの差別化を図りつつ,聴覚障害のある人もそれ以外の人も, -全体的な普及率が上がるような工夫を目指す。 +また,その実現のために本システムを利用者が手話を身近なものとして捉えるきっかけとし, +サイト利用者の手話に関する知識向上や理解を促すものとなることを目指す。 \chapter{先行事例} -章の始めにリード文としてこの章で何をどういう順番で述べるかを入れる。 -2章では先行研究をとりあげ、身近な問題ではどうするかまで述べる。 +手話アニメーションの活用事例や関連研究を調査し,現状の課題点を探る。 \section{類似サービス} -手話を確認できるサービスや手話言語での会話を助ける既存のサービスについて以下に示す。 \subsection{NHK手話CG} \label{NHK} NHK手話CGは,NHKが提供し約7000語の手話を3DCGで閲覧できるサイトである\cite{N}。 -サイトのホーム画面ではキーワード検索か50音順で手話を検索でき,該当する手話が複数表示される(図2.1)。 -また,任意の手話を選択することで3DCGアニメーション動画を再生できるポップアップが表示される(図2.2)。 +サイトのホーム画面ではキーワード検索か五十音順で手話を検索でき,該当する手話が複数表示される\ref{NHK} +。 +また,任意の手話を選択することで3DCGアニメーション動画を再生できるポップアップが表示される(図\ref{fig:kekka})。 再生できる動画内では人型のアニメーションが再生され,正面以外に左右斜めからも動作を確認 できるような動画が数秒間流れるようになっている。 学習者向けのサイトではないため,手話の検索と動画再生の機能が主である。 @@ -90,33 +102,38 @@ \begin{figure}[h] \centering - \includegraphics[keepaspectratio, width=10cm]{nhk.png} + \includegraphics[keepaspectratio, width=15cm]{nhk.png} \caption{NHK手話CG検索画面} + \label{fig;kensaku} \end{figure} 　\begin{figure}[h] \centering - \includegraphics[keepaspectratio, width=10cm]{aisatsu.png} + \includegraphics[keepaspectratio, width=15cm]{aisatsu.png} \caption{NHK手話CG検索結果画面} + \label{fig:kekka} \end{figure} \subsection{SureTalk} +\label{sure} SureTalkは,手話と音声をリアルタイムでテキストに変換し,画面を通して会話ができるサービスである\cite{S}。 -端末のカメラから手話ユーザーの手話の動きを読み取ってテキストに変換し, -端末のマイクからは音声ユーザーの音声を聞き取ってテキストに変換することでコミュニケーションを行う(図2.3)。 +端末のカメラから手話ユーザの手話の動きを読み取ってテキストに変換し, +端末のマイクからは音声ユーザの音声を聞き取ってテキストに変換することでコミュニケーションを行う(図\ref{fig:talk})。 手話認識で人それぞれの手話動作の特徴を抽出しAIに学習させるため,利用者による手話動画の 投稿の協力が必要であるほか,現在は一部の自治体のみで利用可能となっている。 \begin{figure}[h] \centering - \includegraphics[keepaspectratio, width=10cm]{suretalk.png} + \includegraphics[keepaspectratio, width=15cm]{suretalk.png} \caption{SureTalkシステム概要} + \label{fig:talk} \end{figure} \section{関連研究} 手話に関して,3DCGアニメーションを使用した表現を研究している関連研究について以下に示す。 \subsection{手話辞書用の 3DCG アニメーション作成} +\label{face} 大石らは,手話を学習する際に用いられる一般の手話辞書は使い勝手のよいものではないと考え, 3DCGアニメーションを用いた手話辞書を作成した。 3DCGアニメーションを作成するには,コンピュータ内の仮想3次元空間に配置したオブジェクトに対し， @@ -148,24 +165,24 @@ \chapter{システム提案} \section{先行事例を踏まえた改善点} -\ref{code}の研究では,動作を自然に見せる要素として肘の動作について研究していたほか, -追加課題として人間の手動作の加速度の特徴を持った自然な動きの生成を検討している。 +\ref{code}の研究では,書籍タイプのものより理解しやすい辞典を作ることができたとした上で,手話が動作だけでなく，表情による感情の表現も重要なので，単語に適した表情アニメーションを表示させる処理を追加することを今後の展望としていた。 また\ref{NHK}のサービスでは,多彩な手話が用意されているかわりに 動画が再生できる以上の機能は備わっておらず,学習者向けの作りになっているわけではない。 これらを踏まえ,本研究では手話学習の手助けとなるサイトの提案にあたって \begin{itemize} - \item 肘や加速度を意識した自然な手動作の工夫 - \item 自主学習を助ける機能の搭載 + \item 単語に適した表情アニメーション + \item 自主学習を助ける機能の実装 \end{itemize} の2点を検討し,以上を加えることで先行事例での課題解決を図る。 +また\ref{sure}を受け,誰もがどこでも手軽に利用できるものにする。 \section{システムの概要} \label{movie} サイト内検索のできる画面をホーム画面として用意し,学習する手話を選択する。 手話ごとに動画を埋め込んだページを用意し,各ページで手話の3DCG アニメーションを視聴することで手話動作を学習する。 -アニメーション画面に用いる動画は、同じ動作を正面3回、右斜め1回、左斜め1回の計5回繰り返したものを作成する。 -これにより、学習者は何度も視聴ボタンを押す必要がなくなるため学習に集中しやすくなる。 +アニメーション画面に用いる動画は,同じ動作を正面3回,右斜め1回,左斜め1回の計5回繰り返したものを作成する。 +これにより,学習者は何度も視聴ボタンを押す必要がなくなるため学習に集中しやすくなる。 なお手話は国によって動作が異なるためグローバル的な視点で使用することはできないが, 今回は国内での扱いやすさを重視するために日本手話を使用して作成を行う\cite{nihon}。 @@ -175,20 +192,32 @@ \includegraphics[keepaspectratio,scale=0.5]{kensaku.png} \caption{検索ページ概念図} \end{figure} + +個別の学習ページ以外に,学習した手話の習熟度を確認できる確認テストのページを作成する。 +選択肢から適切な手話を選択するテストを通して,手話が身についたかを確認し,学習者に向けて学習意欲の維持の効果を期待する。 \chapter{システム構成} - \section{サイトの概要} -\subsection{動画学習ページ} +本研究では,学習したい手話を検索するホーム画面,手話の学習に使う手話の個別ページ,学習した手話の習熟度を測る確認テストのページを用意する。 +学習者だけに向けたサイトではなく,手話の普及そのものにつながることを目標として手軽にブラウザから使用できるものとするため,ログイン機能を始めとするアカウント登録は必要としないものとし,実装点数の記録や学習済み手話の記録などは行わない。 + +\subsection{動画学習ページ} +サイト内検索のできる画面をホーム画面として用意し,学習する手話を選択する。 +手話ごとに動画を埋め込んだページを用意し,各ページで手話の3DCG アニメーションを視聴することで手話動作を学習する。 +アニメーション画面に用いる動画は,同じ動作を正面3回,右斜め1回,左斜め1回の計5回繰り返したものを作成する。 +これにより,学習者は何度も視聴ボタンを押す必要がなくなるため学習に集中しやすくなる効果が得られると考える。 + +なお手話は国によって動作が異なるためグローバル的な視点で使用することはできないが, +今回は国内での扱いやすさを重視するために日本手話を使用して作成を行う\cite{nihon}。 \subsection{確認テスト} 学習システムとして確認テスト機能を実装する。 確認テストページでは,問題として3単語を目安とした短文の手話アニメーションを再生する。 選択肢では,問題に使用された手話を含む数単語のアニメーションをgif形式で用意し, それらを解答欄にドラッグして問題のとおりに並べ替える。 -このテストによって、動画で学習した手話が身になっているか、実践で使えるかを確認する。 +このテストによって,動画で学習した手話が身になっているか,実践で使えるかを確認する。 正誤判定ページでは選択肢に使用した手話の個別ページのリンクを用意し, 確認や振り返り学習を促している。 @@ -200,7 +229,7 @@ \section{3Dモデリングの概要} -3Dモデリングを行うにあたって,今回はBlender,VRoid Studioの2つの技術を使用する。 +3Dモデリングを行うにあたって,Blender,VRoid Studioの2つの技術を使用する。 VRoid Studioとは人体モデリングに長けたアプリケーションである。 VRoid Studioを用いて人体の大まかなモデリングを行い,その3Dオブジェクトデータを @@ -212,7 +241,7 @@ \begin{itemize} \item VRoid Studio - 1.17.1 - \item blender - 3.3\cite{B} + \item Blender - 3.3\cite{B} 　Blender は3DCGアニメーションを作成するための統合環境アプリケーションである。 オープンソースのフリーウェアであり,モデリングや動画編集などの機能をもつ。 @@ -223,12 +252,12 @@ VRoid Studioを用いて人体の大まかなモデリングを行い,その3Dオブジェクトデータを Blenderにインポートして調整を行う。 また,3Dモデルには可動域ごとにボーンを設定している。 -ボーンとは関節の役割を担うもので、関節や前髪,洋服など動きのある部分に設定する。 -この際、アニメーションとして動かしたときによりなめらかに動いて見えるようにするには -実際の関節に加え適宜ボーンを増やす必要があるが、モデルの操作性が複雑になったり +ボーンとは関節の役割を担うもので,関節や前髪,洋服など動きのある部分に設定する。 +この際,アニメーションとして動かしたときによりなめらかに動いて見えるようにするには +実際の関節に加え適宜ボーンを増やす必要があるが,モデルの操作性が複雑になったり アプリケーションやエンコードが重くなるといったデメリットがあるため確認しながら進める必要がある。 -今回のモデルでは手話に用いる肩から指関節までの腕のボーンを重視し、髪の毛や衣服のボーンは省略、首や腰回りのボーンは最低限の数を用意することで操作性を保つものとした。 +今回のモデルでは手話に用いる肩から指関節までの腕のボーンを重視し,髪の毛や衣服のボーンは省略,首や腰回りのボーンは最低限の数を用意することで操作性を保つものとした。 \begin{figure}[h] @@ -239,21 +268,14 @@ \subsection{アニメーションの設定} -アニメーションを作成するための準備としてFPS(フレームレート)の設定を行い、 +アニメーションを作成するための準備としてFPS(フレームレート)の設定を行い, 準備ができたら動作ごとにキーフレームを打つことで設定する。 -\ref{movie}に前述したとおり同じ動作を5回、向きを変えて繰り返すため、4回目以降はカメラの +\ref{movie}に前述したとおり同じ動作を5回,向きを変えて繰り返すため,4回目以降はカメラの アングルを変更してキーフレームを打つ。 -\ref{code}の先行研究で課題とされた自然な手動作については、肘を完全に固定したまま -動作を進めるのではなく、動作の変化に合わせて腕全体が動き、どこか関節の1箇所だけが +\ref{code}の先行研究で課題とされた自然な手動作については,肘を完全に固定したまま +動作を進めるのではなく,動作の変化に合わせて腕全体が動き,どこか関節の1箇所だけが 固定されたりすることのないように工夫する。 -また手話の動きについて、手話での会話には手動作以外に口の動きが大きな要因を担っている。 -手話者は手話以外に読唇術で相手の口の動きから言葉を推測したり、 -表情から会話のニュアンスを読み取るため、顔の動きも手話における大切な要素となり得る。 -そのため、手動作のほかに表情にも注目し、手話をしながらその単語の意味を口パクする動きや、 -ポジティブな単語なら笑顔、ネガティブな単語なら悲しい顔というような変化をつけることで、 -より現実的な教材を作成する。 - \begin{figure}[h] \centering \includegraphics[keepaspectratio, scale=0.2]{model2.png} @@ -262,13 +284,35 @@ \begin{figure}[h] \centering - \includegraphics[keepaspectratio, scale=0.3]{animetion.png} + \includegraphics[keepaspectratio, scale=0.3]{model1.png} + \caption{作成中の3Dモデル　テクスチャなし} +\end{figure} + +\begin{figure}[h] + \centering + \includegraphics[keepaspectratio, scale=0.4]{animetion.png} \caption{キーフレームを打ったドープシート} \end{figure} +\subsection{表情アニメーションの付与} +\ref{face}の研究で考察されたとおり, +手話での会話には手動作以外に口の動きが大きな要因を担っている\cite{face}。 +これは数字と五十音を併用する場合など,手話は同じ動きでも違う意味を示すことがあり, +その場合は手だけでなく口の動きから言葉を推測する必要があるためである。 +また表情から会話の細かなニュアンスを読み取るため,顔の動きも手話における大切な要素となり得る。 +そのため,手動作のほかに表情にも注目し,手話をしながらその単語の意味を口パクする動きや, +ポジティブな単語なら笑顔,ネガティブな単語なら悲しい顔というような変化をつけることで, +より現実的な教材を作成する。 + +\chapter{評価方法} +本研究では,サイトの学習効果及び手話への関心の変化に関するアンケートを実施することで,システムの有効性の検証,評価を行う。 + +はじめに,サイトを利用する前の時点での手話の知識や理解度など,どの程度関心をもっていたかに関するアンケートに回答してもらう。 +その後,確認テストを含めたサイトの機能を一通り利用してもらい,それをふまえてもう一度前述のアンケートに回答してもらう。 +この結果から,サイトの利用によって手話への理解が深まったことを検証し,学習効果を含むあらゆる人が手話に触れる機会となるシステムであるかを評価する。 \chapter{結論} -結論は簡潔に。 + @@ -277,14 +321,21 @@ \bibitem{jinko}WIRED.``日本人の0.06パーセントのために。そして世界中の手話話者のインフラへ''.WIDER Audi INNOVATION AWERD 2017''. \url{https://wired.jp/waia/2017/23_junto-ohki},(参照2022-07-12). +\bibitem{kouka}久本 信子.聴覚障害に関する認識 : 手話のもたらす効果. 夙川学院短期大学研究紀要. 1994, vol.18, p.103-114. + +\bibitem{roua}一般財団法人全日本ろうあ連盟. ``ろう者を対象とした詐欺事件に対する全日本ろうあ連盟の明''. 全日本ろうあ連盟. +\url{https://www.jfd.or.jp/info/2006/20061001-sagi.html}, (参照2023-05-28). + \bibitem{osaka}東大阪市.``令和4年度手話レベルアップ講座受講者を募集''.東大阪市役所. \url{https://www.city.higashiosaka.lg.jp/0000033683.html},(参照2022-07-12). -\bibitem{oishi}大石 和男, 糸井 清晃, 小林 幸雄.``手話辞書用3DCGアニメーションの検討''. -\url{https://www.jstage.jst.go.jp/article/aiieej/31/0/31_0_77/_article/-char/ja},(参照2022-07-12). +\bibitem{yousei} 二神麗子，金澤貴之，中野聡子.高等教育機関における手話通訳者の養成に関する課題―大学生が全国手話通訳統一試験受験資格を取得するための課題―.群馬大学教育実践研究.2018.p167-173. -\bibitem{sugiura}杉浦俊久,市川熹,堀内靖雄,長嶋祐二.``手話CGアニメーションにおける自然な手動作の生成''. -\url{https://www.jstage.jst.go.jp/article/jvs1990/23/Supplement1/23_Supplement1_343/_pdf/-char/ja},(参照2022-08-05). +\bibitem{kadai} 霍間郁実，四日市章.わが国における手話通訳者養成事業の実態と課題.通訳翻訳研究.2013.p97-114. + +\bibitem{oishi}大石和男, 糸井清晃, 小林幸雄. 手話辞書用3DCGアニメーションの検討. 2003 画像電子学会 第31回年次大会予稿集. 2003, vol.31, no.0, p.77-78. + +\bibitem{sugiura}杉浦俊久, 市川熹, 堀内靖雄, 長嶋祐二. 手話CGアニメーションにおける自然な手動作の生成. 可視化情報学会誌. 2003, vol.23, no.1, p.343-346. \bibitem{N}NHK.``NHK手話CG''. \url{https://www2.nhk.or.jp/signlanguage/sp/syllsear.cgi},(参照2022-07-12). @@ -301,6 +352,9 @@ \bibitem{}Render pool.``【画像】Blender(ブレンダー)でアニメーションを制作する手順をわかりやすく解説''. \url{https://jp.renderpool.net/blog/blender%E3%81%AE%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3/#top},(参照2022-1-11). +\bibitem{face}AGARA 紀伊民報. ``「口元見えるように」　手話通訳に手作りシールド''. +\url{https://www.agara.co.jp/article/62637}, (参照2023-11-19). + \end{thebibliography} diff --git a/paper/sozai/text.jpg b/paper/sozai/text.jpg new file mode 100644 index 0000000..3f43a1e --- /dev/null +++ b/paper/sozai/text.jpg Binary files differ diff --git a/resume/sozai/text.jpg b/resume/sozai/text.jpg new file mode 100644 index 0000000..3f43a1e --- /dev/null +++ b/resume/sozai/text.jpg Binary files differ diff --git "a/\345\215\222\350\253\2261.pdf" "b/\345\215\222\350\253\2261.pdf" new file mode 100644 index 0000000..21080ee --- /dev/null +++ "b/\345\215\222\350\253\2261.pdf" Binary files differ