項目がありません

マルチモーダル生体データへの機械学習応用

生体データ処理に対するアプローチは、時系列データや医用画像を単独で理解することによる推論から、それら属性や構造の違う複数のデータを融合理解を目指すものへと移りつつあります。本プロジェクトでは、そうしたマルチモーダル生体データへの機械学習応用についての研究開発と、関連分野の国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 説明可能なAIに関する知識・経験
    • コンピュータービジョンに関する知識・経験
    • 表データの機械学習に関する知識・経験
  • 機械学習
  • コンピュータビジョン
  • 信号処理
  • マルチモーダル
  • ヒューマンセンシング

Combined Task and Motion Planning

This project aims to bridge the gap between high-level task planning and low-level motion planning for agile manipulation tasks. Interns will work on developing algorithms that enable robots to autonomously plan and execute complex manipulation tasks by efficiently integrating task-level objectives with continuous motion planning. The project involves exploring motion primitives, constraint reasoning, and optimization techniques.
We aim to submit top-tier robotic conference or journal papers, e.g., ICRA, IROS, RA-L. We are also actively hiring interns with experience in machine learning or reinforcement learning development with a strong interest in robotic applications.

  • 必須スキル・経験
    • Research experience in task/motion planning
    • Research or development in ROS
    • Programming with Python or C++
    • Ability to code using tools such as Git, Docker, and VSCode.
  • 歓迎スキル・経験

    * Experience in submitting papers in the field of robotics

    * Experience in participation in robot competitions

  • ロボティクス
  • アルゴリズム
  • 開発
  • 経路計画
  • 動作計画

少数教示によるコンタクトリッチマニピュレーション

本プロジェクトは、少量の教示データから、接触を伴い器用さが求められる作業をロボットが学習することを目的とします。インターンは、ロボットが接触を伴う環境で物体を把持し、操作できるようにするために、少量の教示データから必要な情報を抽出する研究を行います。
本プロジェクトでは、ロボットが多様な作業に汎化するために、学習アルゴリズムの開発、センサ統合の実装を行います。我々は、ロボティクス分野のトップレベル国際会議や論文誌(ICRA, IROS, RA-L)への投稿を目指しています。機械学習や強化学習の開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。

  • 必須スキル・経験
    • Research experience in robot learning (RL, LfD, IRL, and such)
    • Research or development in ROS
    • Programming with Python or C++
    • Ability to code using tools such as Git, Docker, and VSCode.
  • 歓迎スキル・経験

    * Experience in submitting papers in the field of robotics, machine learning or related fields

    * Experience in participation in robot competitions

  • 機械学習
  • ロボティクス
  • アルゴリズム
  • 開発
  • 経路計画
  • 動作計画

学習を取り入れたロボットのtask and motion planning: 学習を取り入れた計画による解釈可能な長期的な作業の遂行

本プロジェクトは、task and motion planningと学習ベースの手法を融合し、ロボットの行動や計画の解釈性を向上させ、ロボットが長期的な作業を遂行することを目的とします。採用されたインターンは、ロボットが計画した行動を解釈し説明できるアルゴリズムを開発し、意思決定における透明性と信頼性を高める研究を行います。具体的には、学習方策をsymbolic task planningに統合し、解釈性のあるフレームワークを設計します。我々は、ロボティクス分野のトップレベル国際会議や論文誌(ICRA, IROS, RA-L)への投稿を目指しています。機械学習や強化学習の開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。

  • 必須スキル・経験
    • Research experience in robot learning (RL, LfD, IRL, and such)
    • Research or development in ROS
    • Programming with Python or C++
    • Ability to code using tools such as Git, Docker, and VSCode.
  • 歓迎スキル・経験

    * Experience in submitting papers in the field of robotics, machine learning or related fields

    * Experience in participation in robot competitions

  • 機械学習
  • ロボティクス
  • アルゴリズム
  • 開発
  • 経路計画
  • 動作計画

柔軟な身体と触覚を有するロボットの道具操作学習

本プロジェクトでは、物理的に柔軟な身体と触覚を持つロボットが、道具を使用して接触を伴う複雑な作業を学習することを目的とします。このために、高次元の触覚情報処理や、少ない試行回数で効率的に学習できる方法が求められます。
採用されたインターンには、触覚センサを統合したロボット運動学習のアルゴリズム開発、ロボットのソフトウェア実装、実験、論文執筆作業に携わっていただきます。 我々は、ロボティクス・機械学習分野の難関国際会議や論文誌(ICRA, IROS, CoRL, RA-L, T-RO, NeurIPS)への投稿を目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトは機械学習や強化学習の開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。本プロジェクトはオンサイト(東京)での勤務を想定しています。

・Soft robotic contact-rich manipulation
・Tactile-based manipulation using vision-based or distributed tactile sensor
・Offline and online reinforcement learning
・Sim-to-real transfer learning

本プロジェクトのメンターが指導したインターンの主著論文実績:IROS2023×2、NeurIPS2023、IEEE ACCESS、IEEE CASE 2021、CoRL 2020
関連プロジェクト:触覚を使用した挿入学習 https://omron-sinicx.github.io/saguri-bot-page/

  • 必須スキル・経験
    • Python・C++の開発経験

    (以下のうちいずれか)

    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習・強化学習における開発経験
  • 歓迎スキル・経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • 強化学習
  • ソフトロボティクス
  • 触覚センシング

LLMベースのパーソナライズド対話エージェント

現在のLLMは対話エージェントとして、対話能力と問題解決能力は優れているが、ユーザー習慣への学習や、長期記憶などの能力は持っていないため、知能を持つ寄り添い役としては不足している。本研究はLLMの長期記憶の構築とルールの学習によって、ユーザーに「親しい、知能を持つ、成長性あるような」擬似的な体験を提供できる、パーソナライズされた会話エージェントの実現と評価をしたい。

  • 必須スキル・経験
    • Python、Github、Docker
    • LLMに関する知識・経験
  • 歓迎スキル・経験
    • LangChain
    • Vector Database
    • Knowledge Graph
  • 自然言語処理
  • LLM

LLMを用いた自動形式化

数学の証明は形式言語で書き直すことで妥当性を機械的にチェックすることができるが、これには一般に膨大な手作業が必要である。そのため、言語モデルを用いて書き直しを行うことが提案されているが、現時点では実用的な段階には至っていない。本研究では、自動形式化の実用化に向けた適切なトレーニングデータとベンチマークの作成を目指す。

  • 必須スキル・経験
    • いずれかの証明支援系に通じていること
    • 抽象数学の基礎的な知識
  • 歓迎スキル・経験
    • LLMに関する知識・経験
  • 機械学習
  • 自然言語処理
  • LLM
  • 証明支援系

俊敏なヒト型ロボットのための形状記憶合金アクチュエータの開発

俊敏なヒト型ロボットの駆動装置として、形状記憶合金アクチュエータを開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験(IROS, ICRA, etc.)
    • 流体制御システムの開発経験
    • 駆動機構設計の経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 学会における受賞経験、奨学金の獲得経験
  • ロボティクス

根本から駆動するマニピュレータ機構の開発

私たちが過去に開発したマニピュレータのように(https://omron-sinicx.github.io/twistsnake/)、根本から駆動する軽量マニピュレータを開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験(IROS, ICRA, etc.)
    • ロボットの機構やシステムの設計・製作経験
    • 3Dプリンタの利用経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 機械設計

多様な部品を挿入する作業スキルの学習

多様な部品を挿入するマニピュレータの作業スキル学習手法を開発します。私たちの開発してきたモデル転用(https://kazutoshi-tanaka.github.io/pages/transam.html)、モデル切り替え(https://kazutoshi-tanaka.github.io/pages/smmrl/)、触覚利用(https://omron-sinicx.github.io/saguri-bot-page/)などのモデルベース強化学習手法を、多様な物体を扱える学習フレームワークに拡張します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験(ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.)
    • ロボット物体操作学習研究の経験
    • ロボティクス分野の研究におけるROS, Python, C++の利用経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • モデルベース強化学習

サステナブルなロボット動力の開発

世界に動物と同じだけのロボットが働く世界を持続可能にするための、サステナブルなロボット動力を開発します。

  • 必須スキル・経験
    • ロボットシステムの開発研究経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 関連分野における論文執筆、学会発表経験(IROS, ICRA, etc.)
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • ロボット用エネルギ源の開発経験
  • ロボティクス

SLAMやNeRFなどの3D Visionに関する研究

Visual SLAMやNeRFなどの画像ベースの3Dセンシング技術について、新たなモデルや最適化手法の研究開発を行い、CVPRやICCV、ECCVといったコンピュータビジョン分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • カメラの投影モデルや3次元幾何変換などの3次元処理に関する基本的な数学的知識
    • Python
  • 歓迎スキル・経験
    • 3D Deep Learningまたは古典的なSLAMの知識・経験
    • 数理最適化関連の知識・経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • C++実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • コンピュータビジョン
  • アルゴリズム
  • 3D Vision
  • 最適化

物理シミュレーション手法・データ解析への機械学習の応用に関する研究

DFT, MD, テンソルネットワークのような物理シミュレーションが専門で、手法の精度改善・計算高速化・大量のシミュレーション結果解析のために、機械学習をの知見を応用する研究開発と、成果を論文執筆(Nature/Science, Physical Reviewなどの論文誌もしくはSC, ICMLなどの情報系国際会議)をおこないます。

  • 必須スキル・経験
    • 物理シミュレーション手法に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

機械学習手法の物理シミュレーションへの応用に関する研究

深層学習等の機械学習手法開発が専門で、手法をDFT, MD, テンソルネットワークなに代表される物理シミュレーションに応用する研究開発と、成果の論文(Nature/Science, Physical Review, SC/HPCG等)執筆をおこないます。

  • 必須スキル・経験
    • 機械学習手法に関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーション手法に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

トポロジーを考慮したマルチエージェント経路計画アルゴリズムの研究

複数エージェントが互いに衝突することなく目的地に到達するためのマルチエージェント経路計画について、経路の位相的性質の考慮という観点から取り組みます。メンターと協力し、研究成果を人工知能・機械学習分野のトップ国際会議に投稿することを目指します。

  • 必須スキル・経験
    • 位相幾何学や計算幾何学についての基礎的な知識
  • 歓迎スキル・経験
    • 経路計画、特にマルチエージェント経路計画に関する研究・実装経験
    • 人工知能分野における論文業績(AAAI, IJCAI, AAMAS, ICML, NeurIPS, ICLRなど)
    • 位相幾何学や計算幾何学についての専門的な知識
  • アルゴリズム
  • 経路計画
  • 動作計画
  • マルチエージェント

少数データ機械学習

Foundation modelに代表されるような事前学習済みのモデルがあるモダリティ・ドメインでは、そのfinetuningを少数データで実施することで目的のタスクを達成できます。一方で、そのようなモダリティ・ドメインでないものを対象としたタスクの場合はより高度な機械学習技術が求められます。本プロジェクトでは、そうした少数データ機械学習についての研究開発と、機械学習およびコンピュータビジョン分野のトップ国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • コンピュータビジョンに関する知識・経験
  • 機械学習
  • 転移学習
  • ドメイン適応

法則発見に関する研究

時系列データ上での因果解析や、説明性のあるAIなど、データ間の法則を明らかにしつつ何らかの予測を行う研究が進んでおります。例えば、科学における関数同定問題の研究などがあります。本プロジェクトでは、新たな切り口でこうした法則を発見する手法に関する研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。主に博士課程を対象とし、三ヶ月以上のインターンシップ期間を想定しています。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 信号処理に関する知識・経験
  • 機械学習
  • データマイニング

人間を楽しませる対戦ロボットの行動生成

卓球やエアホッケーなどの対人スポーツや遊びを人間とロボットが行う状況を取り上げ、人間を楽しませるロボットの行動生成に取り組みます。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験(HAI, HRI, RO-MAN, CHI, SIGGRAPH, etc.)
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • ロボティクス分野の周辺領域に関する知識(ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど)
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • ロボティクス
  • インタラクション
  • 開発

離散的情報処理の学習可能化に関する研究

微分可能レンダリングのように、ある計算モジュールを深層学習のパイプラインに入れられるように改善し、全体として機械学習可能にする研究が進んでいます。本プロジェクトでは、離散的情報処理の学習可能化に関する研究についての研究開発と、ICLRやICML, NeurIPSといった機械学習分野の国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
    • 凸最適化についての専門知識
  • 機械学習
  • 最適化
  • アルゴリズム

特殊構造データの表現学習

自然言語や画像などを対象とした機械学習では、大量のデータを用いた教師あり/自己教師あり学習による事前学習モデルが広く活用されており、foundation modelという概念も定着しつつあります。本プロジェクトでは、画像や自然言語ではない特殊な構造のデータの表現学習についての研究開発と、Nature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 画像/自然言語などでの表現学習に関する知識・経験
    • 点群/グラフなどでの機械学習に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • 表現学習
  • 点群処理
  • グラフ処理

画像/動画と自然言語の融合理解に関する研究

画像や自然言語を理解する機械学習の研究は枚挙に暇がありませんが、深層学習によってお互いのモジュールのコモディティ化が進み、複数のモダリティを組み合わせた研究もまた増えております。本プロジェクトでは、そうした中でも画像/動画と自然言語の融合理解に関する研究についての研究開発と、関連トップ国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • コンピュータビジョンに関する知識・経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理
  • マルチモーダル

専門文書のマルチモーダル理解

論文や特許などの専門文書の理解においては、構造化された文章や図表なども含めたデータ理解が必要となり、従来の自然言語処理の枠組みを超えた取り組みが必要となります。本プロジェクトでは、こうした専門文書のマルチモーダル理解についての研究開発および関連分野の国際会議を目指した論文執筆をおこないます。学部生の方のご応募もお待ちしています。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • コンピュータビジョン
  • 自然言語処理
  • マルチモーダル

Human-in-the-loop型機械学習に関する研究

機械学習に人間を取り込み、人間からのフィードバックを効率的に活かす機械学習の研究が広がりをみせています。本プロジェクトでは、そうしたHuman-in-the-loop型機械学習に関する研究についての研究開発と、機械学習やインタラクション分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • インタラクションに関する知識・経験
  • 機械学習
  • インタラクション

AI for Science/Science by AI

研究開発そのものを加速・自動化するAIの研究に従事頂きます。人間の研究者との対話的な共進化の中で、研究の主張立案、実験実行、解析、論文執筆ができるAIサイエンティストを実現する中の部分的なプロジェクトに参加して頂きます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像/表データ処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • インタラクション

高次元ブラックボックス最適化に関する研究

ベイズ最適化などのブラックボックス最適化では、最適化したいパラメータの数が増えると計算量が大きくなり過ぎてしまうことが課題になっています。本プロジェクトでは、高次元ブラックボックス最適化に関する研究についての研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • ベイズ最適化等ブラックボックス最適化に関する知識・経験
  • アルゴリズム
  • 最適化

人間を納得させるロボット物体操作学習

物体操作を命令したり、教示した人間が、納得するようなロボットの学習則や行動生成を探究します。強化学習や人間と機械・エージェント・ロボットとのインタラクションの知識や技術のある応募者を歓迎します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験(ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, CHI, etc.)
    • 関連分野の研究におけるROS, Python, C++の利用経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識(ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど)
  • 機械学習
  • ロボティクス
  • インタラクション
  • マニピュレーション
  • 信頼されるAI

募集要項

期間 週5日勤務換算で3ヶ月〜 (開始・終了日は調整可能。課題によっては1ヶ月からの参加も可能)
時間 フルタイム or パートタイム(週3回など相談可能)、休憩45分、土日祝休み
場所 国内在住の場合、フルリモート/オフィス出社とリモートの併用が選べます(法律的な問題から国外からリモートでのインターンシッププログラム参加はできません。国外居住者は東京滞在のオフィス出社となります。その場合、旅費は弊社が負担いたします)。一部のテーマではオフィス出社のみとなる場合があり、出社先も内容に応じて品川または本郷となります。
待遇 フルタイム月給24万円〜48万円。パートタイムの場合は時給換算。勤務条件に応じて社会保険などの加入、交通費、宿泊費など全額支給。パソコン貸与、その他研究活動に必要な支出のフルサポート。
言語 日本語あるいは英語(英語のみも可)
その他 研究経験の豊富な2名以上のメンターが研究をフルサポートします。計算資源(GPUの搭載されたワークステーション・サーバ・クラウド)やロボット設備(ロボットアーム、各種センサ、3Dプリンタ、モーションキャプチャ等の試作・実験装置)が利用できます。

応募方法・採用までの流れ

応募はWebフォームよりお願いいたします。その他のお問い合わせは internships@sinicx.com までお知らせください。
お送りいただいた内容に基づき、まずは書類ベースの選考をいたします。上記の選考を通過された方については、別途リモートでの面接を実施いたします。過去の研究・開発の取り組みについてより詳しくお聞きしたいと思いますので、スライド資料等をご用意ください。