インターンの募集（通年）

オムロン サイニックエックス（OSX）では、ロボティクスと機械学習、コンピュータビジョン、HCIに関連する以下のテーマに関して、メンバーとともに挑戦的な研究課題に取り組んでくださる研究インターンを通年で募集しています。これまでにも多くの方々に本インターンプログラムに参加いただき、その成果はCVPR,ICML, IJCAI, ICRA, CoRLといった国際会議における発表やOSSとしての公開につながっています。OSXにおける取り組みの詳細はMediumやGitHubで御覧ください。

募集要項 応募方法・採用までの流れ Explorer Activities

絞り込みキーワード

キーワードを選択（複数可）していただくことで、募集項目を絞り込むことができます

項目がありません

物理やアルゴリズムなどの原理と機械学習の融合

物性シミュレーションや数理最適化問題といった、物理やアルゴリズムなどの原理によって支えられている古典的問題について、機械学習と親和的に融合した新たなモデルや手法の研究開発を行います。また、成果に応じてNeurIPSやICML、ICLRといった機械学習分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • 幾何学的深層学習についての専門的知識、または 物理学・数学での学士以上の学位 のいずれか
    • Pythonでの開発スキル
  • 歓迎スキル・経験
    • 球面調和関数や回転同変性などの幾何学的な数学知識
    • 物理学・数学の知識（学部での物理学・数学の専攻）
    • 幾何学的深層学習の研究開発経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • C++実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • アルゴリズム
  • 幾何学的深層学習
  • 物理

柔軟な身体を活用したロボット基盤モデル

近年注目を集めているロボット基盤モデルと柔軟なロボットを活用して様々な作業に迅速に適応する手法を構築します。採択されたインターンには、ロボット基盤モデルの調査、事前学習モデルの導入、未知環境適応方法の検討、実験、論文執筆などに携わっていただきます。また、言語を活用したエラーリカバリ戦略など、言語を活用した頑健なロボットマニピュレーションも研究のスコープに入ります。我々は、ロボティクス・機械学習分野の難関国際会議や論文誌(CoRL, RSS, RA-L, T-RO, IJRR, ICRA, IROSなど)への投稿を目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトは大規模言語モデルの使用あるいは開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。本プロジェクトはオンサイト(東京)での勤務を想定しています。
・Soft robotic manipulation
・Robot foundation model
・Language-guided robot manipulation

  • 必須スキル・経験
    • Python・C++の開発経験
      (以下のうちいずれか)
    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習あるいは大規模言語モデルにおける開発経験
  • 歓迎スキル・経験
    • ロボット基盤モデルの使用・開発経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 信号処理
  • 自然言語処理
  • アルゴリズム
  • 開発
  • ソフトロボティクス
  • ロボット基盤モデル

オープンワールド物体操作のベンチマーク開発

未経験の環境・状況・物体・操作に対してロボットが自然言語指示に基づいて完全自律物体操作を行う能力を測るベンチマークを開発します。

  • 必須スキル・経験
    • ロボット物体操作研究の経験またはベンチマーク開発研究の経験
  • 歓迎スキル・経験
    • 国際会議採択の経験
    • ロボットシミュレーションの利用経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 自然言語処理
  • 開発

LLMの知識蒸留

大規模言語モデルが注目される一方で、モデルサイズの巨大化によりローカルでの利用が難しくなっています。本プロジェクトでは、特定のドメインにおいて汎用モデルと同等の性能を発揮可能な、新しい知識蒸留手法の研究に取り組みます。研究成果はトップ国際会議への論文投稿を目指すとともに、広く利用されるライブラリとして公開を目指します。

  • 必須スキル・経験
    • PyTorch、Github、Docker
    • LLMやRAGに関する知識・研究開発経験
  • 歓迎スキル・経験
    • faiss等を用いた大規模検索に関する研究・開発経験
    • モデルの蒸留に関する研究・経験
    • Transformerを用いた研究経験
    • 関連分野における論文発表経験（ICML,NeurIPS,ICLR,ACL,EMNLP,NAACL, SIGIR, KDD, ICDE, SIGMOD,VLDB）
  • 機械学習
  • 自然言語処理
  • データマイニング

人とロボットの身体融合による高度技能学習

人とロボットがインタラクティブに学習する、身体融合学習を通じて、ロボットが難作業を遂行するための高度技能を獲得します。採択されたインターンには、模倣学習や強化学習をベースにしたロボット運動学習アルゴリズム実装、実験、論文執筆などに携わっていただきます。我々は、ロボティクス・Human Computer Interaction(HCI)の融合研究による成果を、難関国際会議(CoRL, ICRA, IROS, HRI, CHIなど)に投稿することを目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトはロボット運動学習の研究開発経験があり、HCIとの融合研究に強い関心を持つインターンも積極的に採用します(その逆も強く歓迎します)。本プロジェクトはオンサイト(東京)での勤務を想定しています。
・Imitation learning
・Reinforcement learning
・Learning from human feedback and interaction

  • 必須スキル・経験
    • Python・C++の開発経験
      (以下のうちいずれか)
    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • HCI・VR分野の開発経験
  • 歓迎スキル・経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいはHCI分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストや展示会などの参加経験
  • 機械学習
  • ロボティクス
  • インタラクション
  • 信号処理
  • アルゴリズム
  • 開発

基盤モデルのためのデータ圧縮と検索に関する研究

大規模テキストコーパスや3D空間地図、マルチモーダルデータを効率的に圧縮する新たな表現学習手法の研究開発を行います。本プロジェクトでは特に，LLMやロボット基盤モデル等のアプリケーションから利用可能な埋め込みモデルの開発に取り組みます。研究成果はトップ国際会議への論文投稿を目指すとともに、広く利用されるライブラリとして公開を目指します。

  • 必須スキル・経験
    • PyTorchまたはJAXを用いた深層学習の実装経験
    • Transformerモデルに関する知識
    • 情報検索及び埋め込み表現に関する基礎知識
  • 歓迎スキル・経験
    • LLM（T5、BERT等）のファインチューニング経験
    • NeRF、Gaussian Splatting等の3D表現手法の知識
    • CLIP等のマルチモーダルモデルの使用経験
    • Normalizing Flows、可逆ニューラルネットワークの知識
    • CUDAやTritonによる低レベル最適化の経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 自然言語処理
  • アルゴリズム

人間の価値や意図に即したロボット物体操作

人間の価値や意図に即したロボット物体操作手法を開発します。

  • 必須スキル・経験
    • ロボット物体操作研究の経験またはAI alignment の研究経験
  • 歓迎スキル・経験
    • 国際会議採択の経験
    • ロボットシミュレーションの利用経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 自然言語処理
  • 開発

軽量小型マニピュレータの駆動機構の設計法

私たちが過去に開発したマニピュレータのように（https://omron-sinicx.github.io/twistsnake/）、軽量小型マニピュレータの駆動機構の設計法を構築します。

  • 必須スキル・経験
    • ロボットの機構やシステムの設計・製作経験
    • 3Dプリンタの利用経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 機械設計

多様な環境で使える物体操作スキルの学習法

ロボットが多様な環境で使える物体操作スキルを効率的に学習する学習法を開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • ロボット物体操作学習研究の経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 逆強化学習

大規模言語モデルを用いた分節化を伴う物体操作の学習法

大規模言語モデルを用いた分節化を伴うロボット物体操作の学習法を開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • 機械学習研究の経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • 機械学習
  • ロボティクス
  • 物体操作
  • 大規模言語モデル

環境変化にロバストなマルチモーダル画像認識モデルの研究

画像認識モデルは、環境変化等に起因するドメインシフトに対して脆弱であるということが指摘されますが、本プロジェクトでは、環境変化にロバストな画像認識モデル構築に挑みます。画像識別モデルの汎化に限らず、Vision-Languageモデル等の応用など、幅広い分野から、ロバストな画像認識モデルについての研究トピックを選び、国際会議等への投稿を目指す予定です。

  • 必須スキル・経験
    • Pythonの開発経験
    • 機械学習、画像認識における研究、開発経験
  • 歓迎スキル・経験
    • 画像認識モデルの知識
    • 転移学習、マルチモーダルモデルに関する知識
    • 機械学習、画像認識関連分野の論文執筆経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理
  • アルゴリズム
  • ドメイン汎化
  • 画像認識
  • マルチモダールモデル
  • ロバスト

AI for Science/Science by AI

研究開発そのものを加速・自動化するAIの研究に従事頂きます。人間の研究者との対話的な共進化の中で、研究の主張立案、実験実行、解析、論文執筆ができるAIサイエンティストを実現する中の部分的なプロジェクトに参加して頂きます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像/表データ処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • インタラクション

SLAMやNeRFなどの3D Visionに関する研究

Visual SLAMやNeRFなどの画像ベースの3Dセンシング技術について、新たなモデルや手法の研究開発を行います。また、成果に応じてCVPRやICCV、ECCVといったコンピュータビジョン分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • カメラの投影モデルや3次元幾何変換などの3次元処理に関する基本的な数学的知識
    • Pythonでの開発スキル
  • 歓迎スキル・経験
    • 3D Deep Learningまたは古典的なSLAMの知識・経験
    • 数理最適化関連の知識・経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • C++実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • コンピュータビジョン
  • 3D Vision

トポロジーを考慮したマルチエージェント経路計画アルゴリズムの研究

複数エージェントが互いに衝突することなく目的地に到達するためのマルチエージェント経路計画について、経路の位相的性質の考慮という観点から取り組みます。メンターと協力し、研究成果を人工知能・機械学習分野のトップ国際会議に投稿することを目指します。

  • 必須スキル・経験
    • 位相幾何学や計算幾何学についての基礎的な知識
  • 歓迎スキル・経験
    • 経路計画、特にマルチエージェント経路計画に関する研究・実装経験
    • 人工知能分野における論文業績（AAAI, IJCAI, AAMAS, ICML, NeurIPS, ICLRなど）
    • 位相幾何学や計算幾何学についての専門的な知識
  • アルゴリズム
  • 経路計画
  • マルチエージェント

物理シミュレーション手法・データ解析への機械学習の応用に関する研究

DFT, MD, テンソルネットワークのような物理シミュレーションが専門で、手法の精度改善・計算高速化・大量のシミュレーション結果解析などのために、機械学習の知見を応用する研究開発を行い、成果を論文執筆（Nature/Science, Physical Reviewなどの論文誌もしくはSC, ICMLなどの情報系国際会議）をおこないます。

  • 必須スキル・経験
    • 物理シミュレーション手法に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

機械学習手法の物理シミュレーションへの応用に関する研究

深層学習等の機械学習手法開発が専門で、その手法をDFT, MD, テンソルネットワークに代表される物理シミュレーションに応用する研究開発を行い、成果の論文（Nature/Science, Physical Review, SC/HPCG等）執筆をおこないます。

  • 必須スキル・経験
    • 機械学習手法に関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーション手法に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

ロボットソフトまたはハードウェアエンジニアリング

現在進行中の研究プロジェクトにおける、ロボットソフトウェアあるいはハードウェアエンジニアリングに携わっていただきます。ロボットを立ち上げるためのプログラミングや、ハードウェアメンテナンス、治具設計などが主な業務となります。
また、このエンジニアリングで生じた成果を、原著論文・システム論文やオープンソースコードなどとして公開することも推奨しています。

  • 必須スキル・経験

    (以下のうちいずれか)

    • ロボットソフト開発のためのROS・Python・C++の開発経験
    • ロボットハードウェアの開発経験
    • センシングおよび電装系の開発経験
  • 歓迎スキル・経験
    • ロボットコンテストなどの参加経験
  • ロボティクス
  • 開発
  • マニピュレーション
  • 機械設計
  • システム開発
  • OSS開発

言語モデルを用いたロボットの物体操作の生成法

言語モデルを用いて、行動の計画や動作の制御など、ロボットの物体操作を生成する手法を開発します。

  • 必須スキル・経験
    • 言語モデルに関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーションを用いたロボット運動学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 自然言語処理
  • 物理シミュレーション

柔軟な身体と触覚を有するロボットの道具操作学習

本プロジェクトでは、物理的に柔軟な身体と触覚を持つロボットが、複雑な道具操作作業の学習を実現し、ソフトロボット・触覚・運動学習のシナジーを解明することを目的とします。このために、触覚情報を考慮した運動学習手法の構築や、少ない試行回数で効率的に学習する方法、準最適なデータから学習する方法が求められます。
採用されたインターンには、触覚センサを統合したロボット運動学習のアルゴリズム開発、ロボットのソフトウェア実装、実験、柔軟エンドエフェクタ開発、論文執筆作業に携わっていただきます。
我々は、ロボティクス・機械学習分野の難関国際会議や論文誌(CoRL, RSS, RA-L, T-RO, IJRR, ICRA, IROSなど)への投稿を目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトは機械学習や強化学習の開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。本プロジェクトはオンサイト(東京)での勤務を想定しています。
・Soft robotic contact-rich manipulation
・Tactile sensor-based dextrous manipulation
・Offline and online reinforcement learning, and Imitation learning
本プロジェクトのメンターが指導したインターンの主著論文実績：IROS2024、ICRA2024×2, IROS2023×2、NeurIPS2023、IEEE ACCESS、IEEE CASE 2021、CoRL 2020
関連プロジェクト：触覚を使用した挿入学習 (https://omron-sinicx.github.io/saguri-bot-page/)、ソフトロボット強化学習（https://omron-sinicx.github.io/symmetry-aware-pomdp/、https://omron-sinicx.github.io/soft-robot-sim-to-real/）

  • 必須スキル・経験
    • Python・C++の開発経験
      (以下のうちいずれか)
    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習・強化学習における開発経験
  • 歓迎スキル・経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 信号処理
  • アルゴリズム
  • 開発
  • ソフトロボティクス
  • 触覚センシング

ロボットの身体化における認知メカニズムの検証と応用

本プロジェクトでは、ロボットシステムを自身の身体の一部や延長であるかのように認識（身体化）する認知メカニズムについて研究します。心理物理実験と機械学習を併用して、身体化に寄与する要因やそれらの応用について検証します。HCI系トップカンファレンス（CHI・UISTなど）や、トップジャーナル（Science系・Nature系など）への採録を目指した論文執筆を行います。本プロジェクトはオンサイト（東京）での勤務を想定しています。
関連プロジェクト：身体化群ロボット (CHI'24) https://medium.com/sinicx-ja/-1aa22ccea0db

  • 必須スキル・経験
    • 深層学習に関する基礎的な知識・経験
    • 心理学分野における身体化（行為主体感、身体所有感など）に関する知識
    • Unityを使ったVRシステムの開発スキル・経験
  • 歓迎スキル・経験
    • HCI・VR・CV・ML・Roboticsいずれかの分野における論文発表経験
    • ユーザ実験の設計や実施経験
    • 統計解析の基礎知識
    • ロボットやハードウェアの開発経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • インタラクション
  • 身体性認知
  • 行為主体感
  • 世界モデル

オフラインデータを活用した物体操作スキルの効率学習

ラベル付けされていない過去のデモンストレーションを活用し、小規模なモデルでも高い性能を発揮できる模倣学習やオフライン強化学習の新たな手法の研究を行います。特に、膨大な経験データから効率的にスキルを蓄積・検索できるデータベースの構築や、過去データのスキルを組み合わせて新しいタスクに適応させるための手法を扱います。研究成果は国際会議への論文投稿及び広く波及するライブラリとしての公開を目指します。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
  • 歓迎スキル・経験
    • 画像検索及び文書検索の研究・実装経験
    • ロボティクス（CoRL,ICRA,IROS), 機械学習分野（ICLR,ICML,NeurIPS) 又は情報検索分野（SIGIR)における論文発表経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン

募集要項

期間 週5日勤務換算で3ヶ月〜 (開始・終了日は調整可能。課題によっては1ヶ月からの参加も可能)
時間 フルタイム or パートタイム（週3回など相談可能）、休憩45分、土日祝休み
場所 国内在住の場合、フルリモート/オフィス出社とリモートの併用が選べます（法律的な問題から国外からリモートでのインターンシッププログラム参加はできません。国外居住者は東京滞在のオフィス出社となります。その場合、旅費は弊社が負担いたします）。一部のテーマではオフィス出社のみとなる場合があり、出社先も内容に応じて品川または本郷となります。
待遇 フルタイム月給24万円〜48万円。パートタイムの場合は時給換算。勤務条件に応じて社会保険などの加入、交通費、宿泊費など全額支給。パソコン貸与、その他研究活動に必要な支出のフルサポート。
言語 日本語あるいは英語（英語のみも可）
その他 研究経験の豊富な2名以上のメンターが研究をフルサポートします。計算資源（GPUの搭載されたワークステーション・サーバ・クラウド）やロボット設備（ロボットアーム、各種センサ、3Dプリンタ、モーションキャプチャ等の試作・実験装置）が利用できます。

応募方法・採用までの流れ

応募はWebフォームよりお願いいたします。その他のお問い合わせは internships@sinicx.com までお知らせください。
お送りいただいた内容に基づき、まずは書類ベースの選考をいたします。上記の選考を通過された方については、別途リモートでの面接を実施いたします。過去の研究・開発の取り組みについてより詳しくお聞きしたいと思いますので、スライド資料等をご用意ください。

Explorer Activities