R&D NOTE
開発NOTE
SCROLL
ロボットの活用が先行して進んでいる分野の一つが製造業の工場です。しかしその工場の中でも、なかなかロボットが普及しない業種があります。その一つが「食品」を製造する工場です。現場の労働力不足が懸念されているにもかかわらずロボットによる自動化が進まないのは、現場にとっていまだロボットは「使いにくい」存在であるためです。
その課題を解決するために、三菱電機はその使いにくさの最大の要因となっている「ティーチング」を不要にする技術を開発しました。ロボットによる作業を始めるために不可欠なティーチングをどのようにして不要にしたのか。今回はその開発プロジェクトのコアメンバーである4名に聞きました。
（前）先端技術総合研究所 自律制御システム開発プロジェクトグループ ロボットシステムグループ 主席研究員
（現）名古屋製作所 ロボット製造部 開発第二課 専任
白土 浩司
ロボットのティーチングを不要にする「ティーチングレスロボットシステム技術」は、ロボットシステム開発時に不可欠な「動作プログラムの開発を自動化する」技術です。ロボットは買ってきただけでは使うことはできず、どのような動作をどういうタイミングで行うかを教え込むティーチング作業が最初に必要です。しかし、現場の要求するパフォーマンスを実現しようとすると、その作業が意外と難しく、ロボットシステムの専門家の常駐が必要となり、ロボット普及のネックになっていました。労働力不足がさまざまな産業でクローズアップされているにもかかわらず、ロボットを活用できない現場が少なくないのが実態なのです。
ティーチングレスロボットシステム技術では、直感的なユーザーインタフェースで、簡単にこの作業を自動化するものです。ユーザーはロボットに「作業環境」と「作業指示」を伝えるだけで、ロボットが自律的に動くシステムを構築しました。まず、ロボットが動作する範囲にある周辺環境を3次元センサでモデル化し、作業環境モデルを用意します。また、ロボットへの指示については、対象物の種類や、搬送個数など大まかな情報のみをタブレット端末を使って伝えます。このとき、自然な音声発話（「唐揚げを2個弁当箱のメイン食材の場所に入れて」など）だけで操作可能にして、さらに指示内容をUIデザイン技術で分かりやすく可視化しています。これにより、複雑な機器の操作を覚える手間を削減し、誰でも直感的に使えます。この作業を終えると、ロボットが周辺環境にぶつからず現場の要求するレベルの高速動作が可能な動作経路を自律的に生成できるようになります。仮に、対象物を置くべき「弁当箱」などの位置がずれてしまってもロボットが自動で動作を補正します。
衛生管理が重要な食品工場では
「音声認識」機能が不可欠
開発のきっかけは、社内のVE（Value Engineering）活動でした。VE活動は新しい事業を創出するために課題分析とコンセプトづくりを行う社内横断型プロジェクトです。VE活動は私をVEリーダとして「ロボットのすそ野拡大」をテーマに2018年にスタートしました。ロボットは製造業、特に自動車や電子部品の工場では早くから積極的に活用され、生産効率向上に大きく貢献しています。しかし同じ製造業でも導入には温度差があり、中でも導入が進んでいないのが食品工場です。とりわけ、弁当などを製造する食品工場は調理済み食材を詰め込む作業などの自動化率が低く、人材不足に加え、働く人の高齢化も進んでいます。そこで「食品工場で使えるロボット」を目標に掲げることにしました。
食品工場で使うロボットシステムの要件を考え始める中で、すぐに出てきたのが「誰でも使いやすいこと」の必要性でした。例えば、食品工場は厳しい衛生管理が求められる現場で、作業者は手袋をつけていることがほとんどです。食品に触れた手袋のままロボット操作のために機器に触れては、問題があります。かといって操作のたびに手袋を外したり付け替えたりするのは無理があります。そこで、手で操作する必要がない音声認識機能は、作業者にとって必要不可欠と考えたのです。
もう一つ重要な要件として「作業の速さ」を定義しました。これを実感したのは、グループ会社でフードサービス事業を手掛ける三菱電機ライフサービスの工場を見学したときです。惣菜を弁当に詰めていく作業は想像以上に手際よいものでした。ロボットを導入するならそれ以上のスピードがなくては、導入してもやがて使われなくなるでしょう。具体的な速さとして、食材を1つ「2秒以内」に詰めるという要件を設定しました。
UI研究の技術者にもチーム参画をよびかける
このような要件をもとにプロジェクトチームには音声認識の技術者なども必要と考えたのですが、それに加えてUI（ユーザインタフェース）の技術者もチームに入ってもらうことにしました。現場でロボットシステムを立ち上げる作業は、他の製造業と同様に、設備設計・製作を担うシステムインテグレータやロボット専用オペレータが行う必要があります。しかし、日々のちょっとした作業内容の切替えのために、ロボット専用オペレータが食品工場に常駐するとなると、これは非現実的です。そこで、運用時に作業をちょっと変える部分は、誰でも直感的に作業を行えるUIで使いやすさを追求する必要があると考えたのです。
このためチームには統合デザイン研究所（以下、ID研）のスタッフにも加わってもらいました。エンジニアだけによる開発では、たとえば「音声認識技術の適用」「性能の追及」ということにフォーカスしてしまい、使うヒトの考え方や前提を疎かにしがちだからです。産業デザインを研究するID研が、技術開発の段階から参画するのはあまり例がありません。しかし上司に掛け合ったところ認めてもらいました。
ADVANCED TECHNOLOGY
R&D CENTER
また作業の速さを追求するうえで、必要な技術は多岐に渡りますが、社内だけでも、画像認識処理、軌道生成技術をはじめとする多様な技術者がいるため、それぞれの技術の目標値や仕様を決めてバランスをとる立場としては、非常にやりやすい環境でした。技術開発だけではなく、国内はもちろん欧州・アジアのマーケットの調査に関しても、専門家の支援を受けることができ、良い開発になりました。社内のあらゆる部門に気軽に声を掛けることができる環境で、ひとつアイデアを挙げてゴールを共有できると、さまざまなシナジーを生み出せます。これが、当社ならではの文化なのかもしれません。
体制が決まった後は、「ユーザが望むこと」と「私たちがやれること」の結びつけと、それらを実現するスケジュールの立案です。食品工場で使えるロボットはどうあるべきか、そのイメージを全員で目線合わせしながらの開発スタートでした。
先端技術総合研究所 ロボティクス技術部
知能ロボティクスグループ 主席研究員
斎藤 暁生
私は主にロボットの制御アルゴリズムの開発を担当しました。2019年に汎用サーボの開発部門からロボットの開発部門に異動し、今回のティーチングレスロボットの開発に加わりました。「誰でも使えるロボットを目指す」という白土さんの宣言には、正直なところ本当に実現できるのか半信半疑だったのですが、開発に参加しているうちに自分自身も絶対に実現したいという思いが強くなってきたことを覚えています。
ロボットが自律的に作業を行うには、ロボットが環境内のどこをどのくらいの速さで動くかを考える仕組みが必要です。食材を盛り付ける作業を2秒以内で完結させるなら、ロボットの動きをとにかく速くすればいいと思われるかもしれませんが、速過ぎると動作中に食材を落としてしまう恐れがあります。速度の追求に限界があるなら、動作のムダをなくすという方向に重きを置かなくてはなりません。
動作のムダをなくすために、周辺環境とぶつからず高速動作が可能な動作経路や速度パターンを生成する軌道生成アルゴリズム、食材や盛り付け位置を正確に認識してロボットの動作中に軌道を補正する3次元認識技術、ビジュアルフィードバック制御などをチームで開発しました。これらの技術をシステムとして組み合わせることで「2秒以内」という高い目標を達成することができました。
アルゴリズムを考えること自体はもともと得意で、開発の参考になりそうな論文も入手できたのですが、大変だったのは特許の作成でした。ロボット普及のネックがティーチングにあることは業界では共通認識で、他社でも同様の研究開発が盛んに行われていたため、多様な特許が既に出願済みだったのです。それらに抵触することなく、当社としての技術をどう開発するかに頭を使いました。
ただ当社が他社と異なるのは、AR（拡張現実）や音声認識を含め、あらゆる技術のベースが社内にあるという点です。他社ではAIベンチャーと提携して技術開発しているところが多いようですが、提携に制約を受けることもあります。しかし自社技術だけで開発できる当社の場合、何かに縛られるようなことなく自由に考えることができるのです。これは開発における大きなアドバンテージであり、技術者としてやりやすいことは間違いありません。
明確なビジョンさえあれば自分たちで実現できることが多い。そういった当社のメリットを再認識したのがこのプロジェクトでした。今後は要素技術レベルから、まずは具体的な製品化を進めたいと思っています。
情報技術総合研究所 知識情報処理技術部
認知技術グループ
三井 祥幹
私はこのプロジェクトでは音声認識AIの開発を担当しました。もともと大学院時代から音声の研究をやってきたのですが、AIについては2018年に入社してから取り組むようになりました。先輩の技術者とともに、ロボットの作業指示に必要な音声認識の技術を確立することが、先輩と私に課されたミッションでした。
開発にあたっての課題の一つは、「人と、人以外の音を切り分ける」ことでした。工場ではさまざまな機械が音を立てて動いています。いろいろな音が入り交じった現場でも人の声を認識するものでなくては、ロボットを音声で操作することはできません。人は無意識に両者を切り分けているのですが、どうやって切り分けているかは明らかでありません。AIを使えば、データから声と機械音を切り分ける特徴を学習できるのではないかと考え、活用を検討しました。
AIを開発し、検証するために、いろいろな音を集めました。工場で音を録ってくるだけでなく、集めきれない「音」については、購入したりもしましたね。それらをAIに学習させて、未知の音に対しても「人の声」を正しく取り出せるかを検証しました。
AIの活用で人の声を取り出すことは可能になったのですが、今度はその声から音声認識をする部分で十分な性能が出ないことが明らかになりました。音声でロボットを操作するのが最終目的なのですから、音声がきれいに取り出せても、正しく音声認識できなければ意味がありません。人の声を取り出すAIに合わせて、音声認識部分を調整しなおしましたが、「あちらを立てれば、こちらが立たず」の状態になり、いい塩梅を見つけるのが大変でした。
しかし課題に対する先輩の取り組み方を参考にしながら、最終的には「使える音声認識機能」を開発できたと思っています。このプロジェクトを通して、さまざまな課題にぶちあたっても、問題を一つひとつ潰していく取り組み方を、実地で学ぶことができました。今後はイチから自分で課題解決できるエンジニアを目指したいと思っています。
統合デザイン研究所 産業システムデザイン部
産業機器グループマネージャー
加藤 伸一
私は入社以来、プロダクトデザイナーとして車載機器や家電、エレベーターなどの機器デザインを担当してきました。統合デザイン研究所（ID研）はその名の通りデザイナーの集団ですから、製品開発のプロジェクトで担当するのはユーザーが使いやすい外観や操作画面のデザインを考えることがメインです。なので、今回のようにユーザーから見えない内側の制御システム開発に携わることはほとんどなく、プロジェクトの初期段階から関わるのは非常に珍しいケースでした。
デザイナーは人を観察する専門家です。エンジニアが中心となって進めるVE活動は、シーズ中心になりがちなため、「人の立場」すなわちニーズの側からどのような製品を作ることが、新たな価値創造につながるかを提言することにしました。
エンジニアは製品開発の中で技術的訴求ポイントとなる「点」を作りますが、それをユーザーが使えるようにするには点同士を結び付けてストーリーにすることが必要です。例えば食品工場でロボットが弁当に食材を詰める工程。食材を詰める場所をラインの作業者が指示するとき、「奥」や「右」などと指示するのが自然でしょう。しかしこうした指示方法はロボットには分かりにくいため、採用されません。そこで「奥」や「右」といった指示の代わりに弁当箱上に「番地」を作り、それで指定することを提案しました。さらにAR（拡張現実）で番地のマップを重ね、音声操作によって作業者の意図が正しくロボットに伝わるようにしたのです。こういう機能は、人を観察しているデザイナーがアイデアを出すべきところだと考えています。
外観のデザインだけでなく、機能や動作をどう作りこんでいくかという開発目標を考えるところから参画したので、エンジニアのメンバーとずっと一緒に仕事することになりました。私自身、ここまでエンジニアとどっぷり仕事したのは初めてで、開発目標をまとめるときに言葉（用語）や技術の肝になる点が分からないなど苦労もありましたが、いい経験になりました。今回のような製品開発のアプローチが組織として常態化すれば、これからも新しい製品、新たな価値を生み出し続けられるのではないかと思っています。
ADVANCED TECHNOLOGY
R&D CENTER
VE活動で開発した「ティーチングレスロボットシステム技術」は、2022年3月に行われた「2022国際ロボット展」でお披露目となりました。国際ロボット展では3次元センサとビジョンセンサ、タブレットPC上のAR、音声認識などを組み合わせて、専門知識なしでロボットシステムを運用できることを紹介しました。特にシステムの調整に要する時間が従来比で10分の1以下に短縮できる点には、多くの来場者の関心が集まったようです。
この国際ロボット展での展示後、新技術の製品企画・設計の業務のため、2022年4月に私は名古屋製作所のロボット製造部に異動になりました。これまでの経験が、最終的な製品への作りこみに生かせるよう新たな場でも挑戦し続けていきたいです。
今回は、新しい研究開発プロジェクトのスタイルを一つカタチにできたのではないかと思っています。これが広く後輩たちにも認知されて、ノウハウが蓄積され、新しいカタチとして伝承していかれることを願っています。
PROFILE
名古屋製作所
ロボット製造部
開発第二課 専任
白土 浩司
2007年4月入社。先端技術総合研究所にて産業用ロボットの知能化技術の開発などに携わる。2022年4月から名古屋製作所にて、産業用ロボットの製品企画・設計業務などを担当。技術士（機械部門）。
2007年4月入社。先端技術総合研究所にて産業用ロボットの知能化技術の開発などに携わる。2022年4月から名古屋製作所にて、産業用ロボットの製品企画・設計業務などを担当。技術士（機械部門）。
先端技術総合研究所
ロボティクス技術部
知能ロボティクスグループ
主席研究員
斎藤 暁生
2010年4月入社。先端技術総合研究所にて大学・大学院からの専門である制御工学を活かして汎用サーボ「MELSERVO-J4」、産業用ロボット「MELFA」、協働ロボット「MELFA ASSISTA」等のモーション制御分野の研究開発を担当。
2010年4月入社。先端技術総合研究所にて大学・大学院からの専門である制御工学を活かして汎用サーボ「MELSERVO-J4」、産業用ロボット「MELFA」、協働ロボット「MELFA ASSISTA」等のモーション制御分野の研究開発を担当。
統合デザイン研究所
産業システムデザイン部
産業機器グループマネージャー
加藤 伸一
1999年4月入社。統合デザイン研究所にてプロダクトデザイナーとして車載機器や家電、エレベーターなど幅広いジャンルの製品を手掛けてきた。現在は産業機器のデザインを担当。
1999年4月入社。統合デザイン研究所にてプロダクトデザイナーとして車載機器や家電、エレベーターなど幅広いジャンルの製品を手掛けてきた。現在は産業機器のデザインを担当。
情報技術総合研究所
知識情報処理技術部
認知技術グループ
三井 祥幹
2018年4月入社。情報技術総合研究所にて大学院時代からの専門である「音」に対する研究開発を続ける。今回のプロジェクトでは人の声を取り出すAIの開発や、そのAIをタブレット端末用に移植する業務を担当。
2018年4月入社。情報技術総合研究所にて大学院時代からの専門である「音」に対する研究開発を続ける。今回のプロジェクトでは人の声を取り出すAIの開発や、そのAIをタブレット端末用に移植する業務を担当。
