インターンの募集（通年）

オムロン サイニックエックス（OSX）では、ロボティクスと機械学習、コンピュータビジョン、HCIに関連する以下のテーマに関して、メンバーとともに挑戦的な研究課題に取り組んでくださる研究インターンを通年で募集しています。これまでにも多くの方々に本インターンプログラムに参加いただき、その成果はCVPR,ICML, IJCAI, ICRA, CoRLといった国際会議における発表やOSSとしての公開につながっています。OSXにおける取り組みの詳細はMediumやGitHubで御覧ください。

募集要項 応募方法・採用までの流れ Explorer Activities

絞り込みキーワード

キーワードを選択（複数可）していただくことで、募集項目を絞り込むことができます

項目がありません

物理やアルゴリズムなどの原理と機械学習の融合

物性シミュレーションや数理最適化問題といった、物理やアルゴリズムなどの原理によって支えられている古典的問題について、機械学習と親和的に融合した新たなモデルや手法の研究開発を行います。また、成果に応じてNeurIPSやICML、ICLRといった機械学習分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • 幾何学的深層学習についての専門的知識、または 物理学・数学での学士以上の学位 のいずれか
    • Pythonでの開発スキル
  • 歓迎スキル・経験
    • 球面調和関数や回転同変性などの幾何学的な数学知識
    • 物理学・数学の知識（学部での物理学・数学の専攻）
    • 幾何学的深層学習の研究開発経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • C++実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • アルゴリズム
  • 幾何学的深層学習
  • 物理

ロボットの物体操作データを用いた大規模言語モデルの改良法

シミュレーションを用いた訓練データや遠隔操作を用いた教示データなど、ロボットの物体操作データを用いて、大規模言語モデルを改良する手法を開発します。

  • 必須スキル・経験
    • 言語モデルに関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーションを用いたロボット運動学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 自然言語処理
  • 物理シミュレーション

柔軟な身体を活用したロボット基盤モデル

近年注目を集めているロボット基盤モデルと柔軟なロボットを活用して様々な作業に迅速に適応する手法を構築します。採択されたインターンには、ロボット基盤モデルの調査、事前学習モデルの導入、未知環境適応方法の検討、実験、論文執筆などに携わっていただきます。また、言語を活用したエラーリカバリ戦略など、言語を活用した頑健なロボットマニピュレーションも研究のスコープに入ります。我々は、ロボティクス・機械学習分野の難関国際会議や論文誌(CoRL, RSS, RA-L, T-RO, IJRR, ICRA, IROSなど)への投稿を目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトは大規模言語モデルの使用あるいは開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。本プロジェクトはオンサイト(東京)での勤務を想定しています。
・Soft robotic manipulation
・Robot foundation model
・Language-guided robot manipulation

  • 必須スキル・経験
    • Python・C++の開発経験
      (以下のうちいずれか)
    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習あるいは大規模言語モデルにおける開発経験
  • 歓迎スキル・経験
    • ロボット基盤モデルの使用・開発経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 信号処理
  • 自然言語処理
  • アルゴリズム
  • 開発
  • ソフトロボティクス
  • ロボット基盤モデル

ロボットの身体化における認知メカニズムの検証と応用

本プロジェクトでは、ロボットシステムを自身の身体の一部や延長であるかのように認識（身体化）する認知メカニズムについて研究します。心理物理実験と機械学習を併用して、身体化に寄与する要因やそれらの応用について検証します。HCI系トップカンファレンス（CHI・UISTなど）や、トップジャーナル（Science系・Nature系など）への採録を目指した論文執筆を行います。本プロジェクトはオンサイト（東京）での勤務を想定しています。
関連プロジェクト：身体化群ロボット (CHI'24) https://medium.com/sinicx-ja/-1aa22ccea0db

  • 必須スキル・経験
    • 深層学習に関する基礎的な知識・経験
    • 心理学分野における身体化（行為主体感、身体所有感など）に関する知識
    • Unityを使ったVRシステムの開発スキル・経験
  • 歓迎スキル・経験
    • HCI・VR・CV・MLいずれかの分野における論文発表経験
    • ユーザ実験の設計や実施経験
    • 統計解析の基礎知識
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • インタラクション
  • 身体性認知
  • 行為主体感
  • 世界モデル

経験データベースを活用したスキルの効率学習

ラベル付けされていない過去のデモンストレーションを活用し、小規模なモデルでも高い性能を発揮できる模倣学習やオフライン強化学習の新たな手法の研究を行います。特に、膨大な経験データから効率的にスキルを蓄積・検索できるデータベースの構築や、過去データのスキルを組み合わせて新しいタスクに適応させるための手法を扱います。研究成果は国際会議への論文投稿及び広く波及するライブラリとしての公開を目指します。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
  • 歓迎スキル・経験
    • 画像検索及び文書検索の研究・実装経験
    • C++/CUDAによるプログラミング経験
    • ロボティクス（CoRL,ICRA,IROS), 機械学習分野（ICLR,ICML,NeurIPS) 又は情報検索分野（SIGIR)における論文発表経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン

動画からの質問生成

このテーマでは優れたインタビュアーが持つ「良い質問をする能力」の解明を目指し、動画から質問を生成する技術に関する研究に取り組みます。研究成果は国際会議への論文投稿を目指します。

  • 必須スキル・経験
    • 映像からの動作解析に関する研究開発経験
    • Vision-Language ModelやVideoLMに関する基礎知識
  • 歓迎スキル・経験
    • 国際会議等への採択経験
    • RAGを用いた研究開発経験
  • コンピュータビジョン
  • 自然言語処理

ロボットソフトまたはハードウェアエンジニアリング

現在進行中の研究プロジェクトにおける、ロボットソフトウェアあるいはハードウェアエンジニアリングに携わっていただきます。ロボットを立ち上げるためのプログラミングや、ハードウェアメンテナンス、治具設計などが主な業務となります。
また、このエンジニアリングで生じた成果を、原著論文・システム論文やオープンソースコードなどとして公開することも推奨しています。

  • 必須スキル・経験

    (以下のうちいずれか)

    • ロボットソフト開発のためのROS・Python・C++の開発経験
    • ロボットハードウェアの開発経験
    • センシングおよび電装系の開発経験
  • 歓迎スキル・経験
    • ロボットコンテストなどの参加経験
  • ロボティクス
  • 開発
  • マニピュレーション
  • 機械設計
  • システム開発
  • OSS開発

柔軟な身体と触覚を有するロボットの道具操作学習

本プロジェクトでは、物理的に柔軟な身体と触覚を持つロボットが、複雑な道具操作作業の学習を実現し、ソフトロボット・触覚・運動学習のシナジーを解明することを目的とします。このために、触覚情報を考慮した運動学習手法の構築や、少ない試行回数で効率的に学習する方法、準最適なデータから学習する方法が求められます。
採用されたインターンには、触覚センサを統合したロボット運動学習のアルゴリズム開発、ロボットのソフトウェア実装、実験、柔軟エンドエフェクタ開発、論文執筆作業に携わっていただきます。
我々は、ロボティクス・機械学習分野の難関国際会議や論文誌(CoRL, RSS, RA-L, T-RO, IJRR, ICRA, IROSなど)への投稿を目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトは機械学習や強化学習の開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。本プロジェクトはオンサイト(東京)での勤務を想定しています。
・Soft robotic contact-rich manipulation
・Tactile sensor-based dextrous manipulation
・Offline and online reinforcement learning, and Imitation learning
本プロジェクトのメンターが指導したインターンの主著論文実績：IROS2024、ICRA2024×2, IROS2023×2、NeurIPS2023、IEEE ACCESS、IEEE CASE 2021、CoRL 2020
関連プロジェクト：触覚を使用した挿入学習 (https://omron-sinicx.github.io/saguri-bot-page/)、ソフトロボット強化学習（https://omron-sinicx.github.io/symmetry-aware-pomdp/、https://omron-sinicx.github.io/soft-robot-sim-to-real/）

  • 必須スキル・経験
    • Python・C++の開発経験
      (以下のうちいずれか)
    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習・強化学習における開発経験
  • 歓迎スキル・経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • 信号処理
  • アルゴリズム
  • 開発
  • ソフトロボティクス
  • 触覚センシング

動画中の状態変化に敏感なVision-Language Modelの研究

物体の状態変化や動画中のイベントの変化に対して詳細な理解をすることができるVision-Language Modelの構築方法を研究します。

  • 必須スキル・経験
    • Vision-Language Modelに関する専門的な知識
    • 動画解析の深い知識、または、大規模データセット開発経験
  • 歓迎スキル・経験
    • VLMのCompositionality問題に関する研究開発経験
    • 動画中の物体追跡や状態変化記述に関する研究開発経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理

説明可能な言語指示制御型プランニングフレームワークの開発

本プロジェクトでは、言語指示による「信頼できる」作業プランの自動生成フレームワークを作成します。LLMやRAGと最適化技術によるパスプランニングを統合したタスクプランニング技術を開発します。

  • 必須スキル・経験
    • LLMやRAGの基本的な知識
    • 経路探索を始めとする最適化の幅広い知識
    • LLMを使ったプログラミング経験
  • 歓迎スキル・経験
    • RAGの構築経験
    • PDDL等のタスクプランナーの利用・開発経験
    • プロダクト開発経験
  • 自然言語処理
  • アルゴリズム
  • 状態空間の生成

一体造形された力伝達機構の設計法

私たちが過去に開発したマニピュレータのように（https://omron-sinicx.github.io/twistsnake/）、根本から駆動する軽量マニピュレータなどに使う、一体造形された力伝達機構の設計法を構築します。

  • 必須スキル・経験
    • ロボットの機構やシステムの設計・製作経験
    • 3Dプリンタの利用経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 機械設計

多様な環境で使える物体操作スキルの学習法

ロボットが多様な環境で使える物体操作スキルを効率的に学習する学習法を開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • ロボット物体操作学習研究の経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 逆強化学習

大規模言語モデルを用いた分節化を伴う物体操作の学習法

大規模言語モデルを用いた分節化を伴うロボット物体操作の学習法を開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • 機械学習研究の経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • 機械学習
  • ロボティクス
  • 物体操作
  • 大規模言語モデル

環境変化にロバストなマルチモーダル画像認識モデルの研究

画像認識モデルは、環境変化等に起因するドメインシフトに対して脆弱であるということが指摘されますが、本プロジェクトでは、環境変化にロバストな画像認識モデル構築に挑みます。画像識別モデルの汎化に限らず、Vision-Languageモデル等の応用など、幅広い分野から、ロバストな画像認識モデルについての研究トピックを選び、国際会議等への投稿を目指す予定です。

  • 必須スキル・経験
    • Pythonの開発経験
    • 機械学習、画像認識における研究、開発経験
  • 歓迎スキル・経験
    • 画像認識モデルの知識
    • 転移学習、マルチモーダルモデルに関する知識
    • 機械学習、画像認識関連分野の論文執筆経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理
  • アルゴリズム
  • ドメイン汎化
  • 画像認識
  • マルチモダールモデル
  • ロバスト

AI for Science/Science by AI

研究開発そのものを加速・自動化するAIの研究に従事頂きます。人間の研究者との対話的な共進化の中で、研究の主張立案、実験実行、解析、論文執筆ができるAIサイエンティストを実現する中の部分的なプロジェクトに参加して頂きます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像/表データ処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • インタラクション

医療分野における実用的なLLMに関する研究

大規模言語モデル（LLM）の医療応用を探る本研究は、診療支援や治療設計を含む実用的な課題解決を目指します。具体的には、医療現場での直感的なデータ活用を支えるマルチモーダルモデル、専門知識への対応力を高めるファインチューニング、常に最新の医学情報を参照可能にする外部知識連携など、複数のアプローチを検討します。さらに、情報過多な医療現場での迅速な意思決定を支援するため、役割分担された複数のLLMエージェントが協調して情報抽出・提案を行うマルチエージェント型の支援システムも視野に入れます。これにより、医療従事者の負担軽減や診療効率の向上を図り、実際の現場で役立つ技術基盤を構築します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験
    • LLMに関する知識・研究開発経験
  • 歓迎スキル・経験
    • 医療現場に関する経験
  • 機械学習
  • コンピュータビジョン
  • インタラクション
  • 自然言語処理
  • LLM
  • 医療

SLAMやNeRFなどの3D Visionに関する研究

Visual SLAMやNeRFなどの画像ベースの3Dセンシング技術について、新たなモデルや手法の研究開発を行います。また、成果に応じてCVPRやICCV、ECCVといったコンピュータビジョン分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • カメラの投影モデルや3次元幾何変換などの3次元処理に関する基本的な数学的知識
    • Pythonでの開発スキル
  • 歓迎スキル・経験
    • 3D Deep Learningまたは古典的なSLAMの知識・経験
    • 数理最適化関連の知識・経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • C++実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • コンピュータビジョン
  • 3D Vision

トポロジーを考慮したマルチエージェント経路計画アルゴリズムの研究

複数エージェントが互いに衝突することなく目的地に到達するためのマルチエージェント経路計画について、経路の位相的性質の考慮という観点から取り組みます。メンターと協力し、研究成果を人工知能・機械学習分野のトップ国際会議に投稿することを目指します。

  • 必須スキル・経験
    • 位相幾何学や計算幾何学についての基礎的な知識
  • 歓迎スキル・経験
    • 経路計画、特にマルチエージェント経路計画に関する研究・実装経験
    • 人工知能分野における論文業績（AAAI, IJCAI, AAMAS, ICML, NeurIPS, ICLRなど）
    • 位相幾何学や計算幾何学についての専門的な知識
  • アルゴリズム
  • 経路計画
  • マルチエージェント

物理シミュレーション手法・データ解析への機械学習の応用に関する研究

DFT, MD, テンソルネットワークのような物理シミュレーションが専門で、手法の精度改善・計算高速化・大量のシミュレーション結果解析などのために、機械学習の知見を応用する研究開発を行い、成果を論文執筆（Nature/Science, Physical Reviewなどの論文誌もしくはSC, ICMLなどの情報系国際会議）をおこないます。

  • 必須スキル・経験
    • 物理シミュレーション手法に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

機械学習手法の物理シミュレーションへの応用に関する研究

深層学習等の機械学習手法開発が専門で、その手法をDFT, MD, テンソルネットワークに代表される物理シミュレーションに応用する研究開発を行い、成果の論文（Nature/Science, Physical Review, SC/HPCG等）執筆をおこないます。

  • 必須スキル・経験
    • 機械学習手法に関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーション手法に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

募集要項

期間 週5日勤務換算で3ヶ月〜 (開始・終了日は調整可能。課題によっては1ヶ月からの参加も可能)
時間 フルタイム or パートタイム（週3回など相談可能）、休憩45分、土日祝休み
場所 国内在住の場合、フルリモート/オフィス出社とリモートの併用が選べます（法律的な問題から国外からリモートでのインターンシッププログラム参加はできません。国外居住者は東京滞在のオフィス出社となります。その場合、旅費は弊社が負担いたします）。一部のテーマではオフィス出社のみとなる場合があり、出社先も内容に応じて品川または本郷となります。
待遇 フルタイム月給24万円〜48万円。パートタイムの場合は時給換算。勤務条件に応じて社会保険などの加入、交通費、宿泊費など全額支給。パソコン貸与、その他研究活動に必要な支出のフルサポート。
言語 日本語あるいは英語（英語のみも可）
その他 研究経験の豊富な2名以上のメンターが研究をフルサポートします。計算資源（GPUの搭載されたワークステーション・サーバ・クラウド）やロボット設備（ロボットアーム、各種センサ、3Dプリンタ、モーションキャプチャ等の試作・実験装置）が利用できます。

応募方法・採用までの流れ

応募はWebフォームよりお願いいたします。その他のお問い合わせは internships@sinicx.com までお知らせください。
お送りいただいた内容に基づき、まずは書類ベースの選考をいたします。上記の選考を通過された方については、別途リモートでの面接を実施いたします。過去の研究・開発の取り組みについてより詳しくお聞きしたいと思いますので、スライド資料等をご用意ください。

Explorer Activities