進捗どうでしょう

主な話題は 社会人生活/情報工学/アニメ/ライトノベル/漫画/映画/自炊 などです。

MENU

板書の翻訳に向けて

板書の認識には以下のモノを使った。

Google翻訳(アプリ)

Google Cloud VisionOCR

 

また、用意した板書は縦書きと横書きの2つです。

f:id:nanananananashi:20200919044301j:plain

f:id:nanananananashi:20200919044311j:plain

 

Google翻訳の場合

 全体の写真からどれほど認識できるのかを調べた。

f:id:nanananananashi:20200919045912p:plain

 ↑後半はいいが、前半がおかしい。

f:id:nanananananashi:20200919045935p:plain

↑完璧に訳せている。

f:id:nanananananashi:20200919045243p:plain

 ↑「日本の森林」の「本」を認識できず「日の森林」となっている。

f:id:nanananananashi:20200919045308p:plain

 ↑「だろつ」となってしまっているが英訳できている。

次に画像を一部分だけトリミングした画像を使ってみる。

f:id:nanananananashi:20200919063629j:plain

f:id:nanananananashi:20200919050351p:plain

↑チョークが読みとれない。ただ英語は通じそう。

 

f:id:nanananananashi:20200919063652j:plain

f:id:nanananananashi:20200919050140p:plain

↑さっきはできなかった「日本」を認識できている。

 

[Google翻訳の総評]

 基本的にちゃんと訳せている。トリミングした画像のほうが認識がいいのは単純に文字が大きくなったからか。

 またぜひアプリを触ってみてほしいが、写真を撮った後、訳したい文字をなぞるとなぞった文字の訳が出てくるのはとても使いやすかった。

 

Google Cloud Visionの場合

f:id:nanananananashi:20200919044301j:plain

"text": "板書のし方について\n
「果\n
里黒板にチョークで書く時の きれい\n
に見える書き方を覚えよう。\n
基本編\n
●準備\n
環境を整えろ\n
いて知ろ\n
2 用具の使い方\n
チ - 7の ち方\n
里板消しの使い方\n
|m定 規の使い方\n
二実践編 - 書く\n
構造的。\n
そろえろ\n
色をつけろ\n
こむ\n
文字っ大 1 学年今っ目安\n
六度法の説明\n
細かい注意点既習\n
写す見本となる\n
板書から\n
書き順\n
三 や,74ょう。\n"

↑頑張ってはいると思う。ただ意味が分からなくなってるところも多し。実用レベルではないと思う。

f:id:nanananananashi:20200919044311j:plain

 "wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww...................\n
機能の種類\n
水源かん養機能\n
評価額(年間)\n
降水の貯留 8兆7,400億円\n
洪水の防止 565,700億円\n
|水質の浄化 12兆8,100億円\n
●豊かな森林のある山\n
日時の森林は私たちとどのようなかかわりがあるのだろう\n
空気をきれいにする\n
森林にはどのような役割があるのだろう。森は海の恋人 福け\n
漁師が\n
(④素→CO2)\n
植樹材になるいいの場\n
海を豊かにす\n
その音を防ぐ\n
森林以海\n
1/50が必ずれを防ぐ\n
倍\n
風砂防ぐ\n
生き物のすみか\n
計2761,200億円\n
2862,600億円\n
土砂流出防止機能\n
要\n
土砂流出\n
だれが?\n
どうやってる\n
土砂崩壊防止機能\n
1864,400億円\n
●耕地のある山\n
[保健休養機能\n
2兆2,500億円\n
[野生鳥獣保護機能\n
367,800億円\n
徳\n
陶上\n
|大気保全機能\n
日中休み\n
集合\n
土砂流出量15t\n
二酸化炭素吸収\n
酸素供給\n
1162,4000円\n
369,000億円\n
いのしししか\n
●あれた山\n
虫\n
計5兆1,400億円\n
7469,900億円\n
計\n
食べ物実\n
土砂流出量307t\n
今日の学び\n
75兆円の価値\n
へ\n
trin\n"

 

↑キーワード単位では認識できてるっぽいけどなあ…。ただ変なところで区切っていたり他の文字列と合体していたりするのがあって良くない。

 

続いて部分ごとにトリミングした画像を食わせてみる。

f:id:nanananananashi:20200919052119j:plain

"text": "用具の使い方\n"

↑強い。全体画像でもできてるしな。

f:id:nanananananashi:20200919052502j:plain

"text": "や,てみよう\n"

↑「っ」がね…。

f:id:nanananananashi:20200919052734j:plain

"text": "-トについて知.\nる\n"

↑「-ト」とは。分かれちゃってるし。

f:id:nanananananashi:20200919060131j:plain

"text": "か\nか\nこ\nむ\n"

↑全部の文字で改行しちゃってる。「かかこむ」になってるし。

f:id:nanananananashi:20200919054211j:plain

"text": "細\nい注意点\n"

↑「細かい」が「細い」になる致命的なエラー。全体画像を食わせたときはできていたんだけど。

 

続いて横書き。

f:id:nanananananashi:20200919051518j:plain

"text": "と森林にはどのような役割があるのだろう\n"

 ↑もくもくした枠線を「と」と認識してしまっているがだいたいあってる。

f:id:nanananananashi:20200919051658j:plain

 "text": "日本の森林」私たちとどうなかかわりがあるのだろう\n"

 ↑微妙に間違ってる。ただ上の文章をGoogle翻訳に食わせるとちゃんと英訳できるので翻訳機の賢さに助けてもらえるかも…?

f:id:nanananananashi:20200919053045j:plain

  "text": "空気をきれいにする\n"

 ↑完璧。「う」は無視しているらしい。

f:id:nanananananashi:20200919053507j:plain

 "text": "そう音を防ぐ\n"

↑完璧

f:id:nanananananashi:20200919060355j:plain

"text": "がくずれを防ぐ\n"

↑「がくずれ」になってる。

f:id:nanananananashi:20200919060704j:plain

 "text": "食べ物木果\n"

 ↑左上の「虫」は無視できてる。ただ「木の実」が「木果」になっているのがおしい。先生はもっと間隔をあけて「木の実」って書いて。

f:id:nanananananashi:20200919060937j:plain

"text": "風砂防ぐ\n"

↑「を」が抜けた。

 

[Google Cloud Visionの総評]

 けっこう誤認識するなあという印象。横書きは結構いいんだけど縦書きが酷い。ただ翻訳機が賢ければところどころ日本語が怪しくてもちゃんとした英訳になる可能性はあるなと上の認識結果をGoogle翻訳にかけてみて思った。

 

[全体の総評]

Google翻訳アプリのほうがいいかなと思ったけど、アプリで「空気をきれいにする」とか「風・砂を防ぐ」とかも認識してみたらあまりきれいに認識できてなかった。(ぜひ手元のGoogle翻訳アプリで上の画像を試してほしい)

 なんていうか意外と文字認識自体がまだまだなのかなと思った。英語じゃなくて日本語っていうのが悪いのかも。NTTが日本語用の文字認識を出していて、たぶん日本語の認識性能はそっちのほうがいいと思うけど法人向けなので使えない。