\documentclass[a4j]{jarticle}
% -*- coding: utf-8 -*-

\topmargin  -2cm
\textheight 26cm
\textwidth 16.5cm
\oddsidemargin -0.3cm

% package
\usepackage[dvipdfmx]{graphicx}
\usepackage{url}
\usepackage{ascmac}

\pagestyle{empty}

% start
\begin{document}
\title{PoseNetを利用した農業ゲームの提案}
\author{広瀬研究室\\C1231470 辻啓太}
\date{2025年6月7日}

\twocolumn[
  \maketitle
  % 概要
  \begin{center}
    {\bfseries 概要}
  \end{center}
  近年日本の農業を支える個人経営の農業従事者が少子高齢化などにより減少傾向にある。また、若年層における農業体験や学校等における農業学習の実施状況も衰退し、若者が農業に携われる機会が減少している。そこで、本研究ではPoseNetを用い、体を動かし農業体験ができるゲームを開発し、農業バイト募集アプリなど実用的なサービスへの移行を円滑にする。
  \vspace*{2em}
]
\section{背景}
日本の農業を支える個人経営の農業従事者は長期的に減少傾向にある。農林水産省によると、図\ref{table:image}のように農業従事者のうち個人経営帯の世帯員である機関的農業従事者は平成12年の240万人と比べると令和2年は136万人と4割ほど減少している。しかし、その平均年齢は67．8歳と年々上昇傾向にある\cite{1} 。また、同時に農家と学校を結ぶ農林漁業体験学習の実施件数も近年では減少傾向にあり、若年層が実際に農業に携われる機会はさらに乏しくなっている\cite{2}。これらの背景をうけ、農業バイトアプリなど、スマートフォンを通じて若者と農業をつなぐシステムの開発が進められている。しかし、実際に農業の経験がない若年層や農業の実態を知らない人々にとっては、農業は心理的に距離のある存在となっており、アプリの情報だけでは参加の動機に限界があることが課題である。

\begin{figure}[htbp]
  \centering
  \includegraphics[scale=0.3]{nourinn.png}
  \caption{農林水産省による農林漁業体験実施状況}
  \label{table:image}
  \cite{3}
\end{figure}

  

\section{研究目的}
本研究では、WebカメラとAIポーズ認識を活用して、身体を動かして農業体験ができるゲームを開発する。これは、農業に対する興味や親しみを促進する導入的なコンテンツとしてい位置づけられる。本作品を通して、農作業に対し関心や興味などの感情を引き出し、農業バイト募集アプリなどの実用的なサービスへの接続をなめらかにすることを目的としている。
\section{システム}
\subsection{提案}
システムとしてPoseNetを活用した農業体験ゲームを提案する。以下の図\ref{table:concept} は本研究の概念図である。

\begin{figure}[htbp]
  \centering
  \includegraphics[scale=0.3]{concept.png}
  \caption{システム概念図}
  \label{table:concept}
\end{figure}


\subsection{構成}
\begin{itemize}
\item 使用技術
  \begin{itemize}
  \item HTML
  \item JavaScript
  \item TensorFlow.js(PoseNet)
  \end{itemize}
\item デバイス
  \begin{itemize}
  \item ノートPC : Lenovo ThinkPad
  \item カメラ : Lenovo パフォーマンス FHD Webカメラ
  \end{itemize}
\item 動作環境
  \begin{itemize}
  \item Webブラウザ : Firefox v133.0
  \item JavaScript実行環境 : ブラウザ上で実行
  \item インターネット接続 : 不要    
  \end{itemize}
\end{itemize}
本システムは、カメラから取得した映像を用い、TensorFlow.jsのPoseNetモデルにより、ユーザーの右手首をリアルタイムで検出する。ホーム画面ではユーザーが特定の範囲に一定時間留まることによりゲーム画面への遷移を行う。図\ref{table:start} は実際のスタート画面である。ゲーム画面では画面上に畑と水場の2箇所の範囲を作成し、ユーザーが水場、畑の順に右手を動かすことで画面中央の画像が変更される。これにより、簡易的な水やり体験を実現している。図\ref{table:game} は実際のゲーム画面である。


\begin{figure}[htbp]
  \centering
  \includegraphics[scale=0.3]{start.png}
  \caption{スタート画面}
  \label{table:start}
\end{figure}



\begin{figure}[htbp]
  \centering
  \includegraphics[scale=0.3]{game.png}
  \caption{ゲーム画面}
  \label{table:game}
\end{figure}

\subsection{画面設計}
\subsubsection{スタート画面}
画面は640*480ピクセルのビデオ映像上に3つのゾーンを上部と左右に配置している。それぞれ、ZoneRight,ZoneLeft,ZoneTopとし、それぞれの範囲に一定時間留まることによりゲーム画面への遷移が行われる。画面上には遷移がユーザーに伝わるように待機時に時間を出力している。
\subsubsection{ゲーム画面}
画面はスタート画面と同じくビデオ映像上に3つの半透明なゾーンを左右と下部に配置し、重ねて表示している。左側をZoneA右側をZoneB、下部をZoneCとし、画面中央には状況に応じてじょうろや野菜の画像が表示される。また、テキストの表示も行いユーザーの動きが正しく認識されたかリアルタイムで伝える。ZoneCについては一定時間待機することでメニュー画面へ移動するようになっている。
\subsection{動作の流れ}
ユーザーの右手がZoneBに入ると、じょうろを取ったと認識され、次にZoneAに移動した際に水やりがカウントされる。以上の行動を5回達成されると、「野菜が育った」と表示され野菜の画像に変更される。一連の体験を通し、農作業の一部を模倣した間隔が楽しみながら体験できる。

  
  

\subsection{PoseNet}
PoseNetとは、Googleの機械学習ライブラリTensorFlow.jsを用いたWebブラウザ上でリアルタイムに人間の姿勢を推定できる機械学習モデルである\cite{4}。モデルは、カメラからの画像や映像を入力として受取り、キーポイントとして情報を出力する。検出されたキーポイントは信頼度スコアによって各パーツに振り分けられる。
表\ref{table:posenet}に示すよう、PoseNetは17個のキーポイントを検出する。




\begin{table}
  \centering
  \caption{PoseNetで検出可能な部位一覧}
  \label{table:posenet}
\begin{tabular}{|r||l|r||l|} \hline
  ID & 部位 & ID & 部位 \\ \hline
  0 & 鼻 & 9 & 左手首 \\
  1 & 左目 & 10 & 右手首 \\
  2 & 右目 & 11 & 左腰 \\
  3 & 左耳 & 12 & 右腰 \\
  4 & 右耳 & 13 & 左膝 \\
  5 & 左肩 & 14 & 右膝 \\
  6 & 右肩 & 15 & 左足首 \\
  7 & 左肘 & 16 & 右足首 \\
  8 & 右肘 &   &   \\ \hline
\end{tabular}
\end{table}

\subsection{先行事例}
筑波大学では、農業従事者の高齢化問題に対し農作業支援ロボットを開発した。PoseNetを用い、RGB-Dカメラで画像を取得し、作業者と畝を検出し一定間隔の距離を保ちながら追従する。これを活用することで狭い畝の間においても人を追従し、畝の上に乗り上げることがなく収穫作業の運搬支援を行うことが可能である\cite{5}。


\section{課題}
現在、PCの内部カメラでも動くことは確認している。しかし、画質の問題により正確なキーポイントの取得が不能である。そのため、USBカメラに限定した設計となっている。今回の作成段階ではイラストを使用しているが実際に写真や画像を使用することでより現実感のある作品になると考える。また、現在は水やり体験ゲームだけの作成であるが、種まきや収穫など様々なゲームを作成することが重要な課題である。また、ゲームを起動した際にカメラの起動や手首の検出が正しく動作しないことも課題の一つである。

\begin{thebibliography}{9}

\bibitem{1} 農林水産省. 「農業経営をめぐる情勢について」,2024年4月,\url{https://www.maff.go.jp/j/kobetu_ninaite/nougyoukeiei_jousei_r6apr_set.pdf}(2025年6月2日参照
  )

\bibitem{2} 農林水産省. 「農林漁業に関する理解増進や生産者と消費者との交流の促進等の状況」\url{https://www.maff.go.jp/j/syokuiku/wpaper/h28/h28_h/book/part1/chap1/b1_c1_2_02.html}（2025年5月20日参照）

\bibitem{3} 農林水産省. 「食生活及び農林業業体験に関する調査・データ」\url{https://www.maff.go.jp/j/syokuiku/taiken_tyosa/jissen-datesyu.html}(2025年6月2日参照)

\bibitem{4} TensorFlow. 「ポーズ推定」\url{https://www.tensorflow.org/lite/examples/pose_estimation/overview?hl=ja}(2025年6月2日参照)
  
\bibitem{5} 筑波大学.荒井ルシア・萬 礼応・大矢 晃久・坪内 孝司,「農作業支援ロボットの狭い畝間での追従のための作業者認識―RGB-D カメラと PoseNet を用いた人の重心部の認識―」,2021,\url{http://www.cs.tsukuba.ac.jp/~ohya/pdf/Robomech2021-ARA.pdf}(2025年6月2日参照)
\end{thebibliography}


\end{document}