インターンの募集（通年）

オムロンサイニックエックス（OSX）では、ロボティクスと機械学習、コンピュータビジョン、HCIに関連する以下のテーマに関して、メンバーとともに挑戦的な研究課題に取り組んでくださる研究インターンを通年で募集しています。これまでにも多くの方々に本インターンプログラムに参加いただき、その成果はCVPR, ICML, IJCAI, ICRA, CoRLといった国際会議における発表やOSSとしての公開につながっています。OSXにおける取り組みの詳細はMediumやGitHubで御覧ください。

募集要項 応募方法・採用までの流れ

絞り込みキーワード

キーワードを選択（複数可）していただくことで、募集項目を絞り込むことができます

項目がありません

機械学習分野の研究自動化

機械学習の研究を自律的に実行するAIの研究に従事して頂きます。
現在までにAutoRes (https://www.autores.one/) というプロジェクトにおいて，機械学習アルゴリズムの自動改善に取り組んできており、萌芽的な結果を得ています。本プロジェクトでは、この方向性をより発展させ、自動的に機械学習アルゴリズムを提案し、性能改善したことを検証するシステムを作成することを目指しています。

  • 必須スキル・経験
    • Pythonの開発経験
    • 機械学習における開発経験
  • 歓迎スキル・経験
    • 大規模言語モデルの知識
    • 機械学習関連分野の論文執筆経験
  • 機械学習
  • 自然言語処理
  • アルゴリズム
  • 開発
  • 大規模言語モデル (LLM)
  • 研究自動化

物理シミュレーション手法・データ解析への機械学習の応用に関する研究

DFT, MD, テンソルネットワークのような物理シミュレーションが専門で、手法の精度改善・計算高速化・大量のシミュレーション結果解析などのために、機械学習の知見を応用する研究開発を行い、成果を論文執筆（Nature/Science, Physical Reviewなどの論文誌もしくはSC, ICMLなどの情報系国際会議）をおこないます。

  • 必須スキル・経験
    • 物理シミュレーション手法に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

環境変化にロバストな画像認識モデルの研究

画像認識モデルは、環境変化等に起因するドメインシフトに対して脆弱であるということが指摘されますが、本プロジェクトでは、環境変化にロバストな画像認識モデル構築に挑みます。画像識別モデルの汎化に限らず、Vision-Languageモデル等の応用など、幅広い分野から、ロバストな画像認識モデルについての研究トピックを選び、国際会議等への投稿を目指す予定です。

  • 必須スキル・経験
    • Pythonの開発経験
    • 機械学習、画像認識における研究、開発経験
  • 歓迎スキル・経験
    • 画像認識モデルの知識
    • 転移学習、マルチモーダルモデルに関する知識
    • 機械学習、画像認識関連分野の論文執筆経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理
  • アルゴリズム
  • ドメイン汎化
  • 画像認識
  • マルチモダールモデル
  • ロバスト

法則発見に関する研究

時系列データ上での因果解析や、説明性のあるAIなど、データ間の法則を明らかにしつつ何らかの予測を行う研究が進んでおります。例えば、科学における関数同定問題の研究などがあります。本プロジェクトでは、新たな切り口でこうした法則を発見する手法に関する研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。主に博士課程を対象とし、三ヶ月以上のインターンシップ期間を想定しています。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 信号処理に関する知識・経験
  • 機械学習
  • データマイニング

専門文書のマルチモーダル理解

論文や特許などの専門文書の理解においては、構造化された文章や図表なども含めたデータ理解が必要となり、従来の自然言語処理の枠組みを超えた取り組みが必要となります。本プロジェクトでは、こうした専門文書のマルチモーダル理解についての研究開発および関連分野の国際会議を目指した論文執筆をおこないます。学部生の方のご応募もお待ちしています。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • コンピュータビジョン
  • 自然言語処理
  • マルチモーダル

説明可能な言語指示制御型システムフレームワークの開発

LangChainなど、LLMを前提としたアプリケーションの社会活用が黎明期を迎えています。本プロジェクトでは、言語指示による「信頼できる」システム制御」のフレームワークを作成し、この時期だからこそ可能な市場シェアの奪取に挑戦します。ユーザとの対話を通じて再利用・共有が可能なプロセスを生成するDefine-by-Communicate型フレームワークをOSSとして開発・公開するとともに、国際会議のOSS Trackへの投稿を目指します。

  • 必須スキル・経験
    • pytorchの中身が理解できる程度のPythonの知識
    • gitの基本的な知識
  • 歓迎スキル・経験
    • 線形計画法などの最適化に関する知識
    • OSSへの参加経験（程度は問わない）
    • LLMのcodingへの活用経験
  • インタラクション
  • アルゴリズム
  • 開発

柔軟な身体と触覚を有するロボットの道具操作学習

(2024年9月以降開始予定) 本プロジェクトでは、物理的に柔軟な身体と触覚を持つロボットが、道具を使用して接触を伴う複雑な作業を学習することを目的とします。このために、高次元の触覚情報処理や、少ない試行回数で効率的に学習できる方法が求められます。
採用されたインターンには、触覚センサを統合したロボット運動学習のアルゴリズム開発、ロボットのソフトウェア実装、実験、論文執筆作業に携わっていただきます。
我々は、ロボティクス・機械学習分野の難関国際会議や論文誌(ICRA, IROS, CoRL, RA-L, T-RO, NeurIPS)への投稿を目指します。本プロジェクトのメンターはインターンと、週1日以上のミーティングを行い、研究の進捗を確認し、論文投稿のための計画や、執筆作業分担について議論し、投稿をより確実なものにします。
具体的には以下のテーマが関連しますが、これに限るものではありません。インターンの専門に応じて柔軟にテーマを決定します。また、本プロジェクトは機械学習や強化学習の開発経験があり、ロボット応用に強い関心を持つインターンも積極的に採用します。本プロジェクトはオンサイト(東京)での勤務を想定しています。
・Soft robotic contact-rich manipulation
・Tactile-based manipulation using vision-based or distributed tactile sensor
・Offline and online reinforcement learning
・Sim-to-real transfer learning
本プロジェクトのメンターが指導したインターンの主著論文実績：ICRA×2, IROS2023×2、NeurIPS2023、IEEE ACCESS、IEEE CASE 2021、CoRL 2020
関連プロジェクト：触覚を使用した挿入学習 (https://omron-sinicx.github.io/saguri-bot-page/)。

  • 必須スキル・経験
    • Python・C++の開発経験

    （以下のうちいずれか）

    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習・強化学習における開発経験
  • 歓迎スキル・経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • 信号処理
  • アルゴリズム
  • 開発ソフトロボティクス
  • 触覚センシング

LLMベースのパーソナライズド対話エージェント

現在のLLMは対話エージェントとして、対話能力と問題解決能力は優れているが、ユーザー習慣への学習や、長期記憶などの能力は持っていないため、知能を持つ寄り添い役としては不足している。本研究はLLMの長期記憶の構築とルールの学習によって、ユーザーに「親しい、知能を持つ、成長性あるような」擬似的な体験を提供できる、パーソナライズされた会話エージェントの実現と評価をしたい。

  • 必須スキル・経験
    • Python、Github、Docker
    • LLMに関する知識・経験
  • 歓迎スキル・経験
    • LangChain
    • Vector Database
    • Knowledge Graph
    • RAG
    • LLM Finetuning
    • LLM Agent
    • LLMに関する実際開発経験
  • インタラクション
  • 自然言語処理
  • 開発
  • LLM

少数データ機械学習

Foundation modelに代表されるような事前学習済みのモデルがあるモダリティ・ドメインでは、そのfinetuningを少数データで実施することで目的のタスクを達成できます。一方で、そのようなモダリティ・ドメインでないものを対象としたタスクの場合はより高度な機械学習技術が求められます。本プロジェクトでは、そうした少数データ機械学習についての研究開発と、機械学習およびコンピュータビジョン分野のトップ国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • コンピュータビジョンに関する知識・経験
  • 機械学習
  • 転移学習
  • ドメイン適応

Human-in-the-loop型機械学習に関する研究

機械学習に人間を取り込み、人間からのフィードバックを効率的に活かす機械学習の研究が広がりをみせています。本プロジェクトでは、そうしたHuman-in-the-loop型機械学習に関する研究についての研究開発と、機械学習やインタラクション分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • インタラクションに関する知識・経験
  • 機械学習
  • インタラクション

SLAMやNeRFなどの3D Visionに関する研究

Visual SLAMやNeRFなどの画像ベースの3Dセンシング技術について、新たなモデルや最適化手法の研究開発を行い、CVPRやICCV、ECCVといったコンピュータビジョン分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • カメラの投影モデルや3次元幾何変換などの3次元処理に関する基本的な数学的知識
    • Python
  • 歓迎スキル・経験
    • 3D Deep Learningまたは古典的なSLAMの知識・経験
    • 数理最適化関連の知識・経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • C++実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • コンピュータビジョン
  • アルゴリズム
  • 3D Vision
  • 最適化

多様な部品を挿入する作業スキルの学習

多様な部品を挿入するマニピュレータの作業スキル学習手法を開発します。私たちの開発してきたモデル転用（https://kazutoshi-tanaka.github.io/pages/transam.html）、モデル切り替え（https://kazutoshi-tanaka.github.io/pages/smmrl/）、触覚利用（https://omron-sinicx.github.io/saguri-bot-page/）などのモデルベース強化学習手法を、多様な物体を扱える学習フレームワークに拡張します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • ロボット物体操作学習研究の経験
    • ロボティクス分野の研究におけるROS, Python, C++の利用経験
  • 歓迎スキル・経験
    • Git/GitHub, Docker等を利用した開発経験
    • チームでの研究・開発経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • モデルベース強化学習

固定視点映像解析技術に関するCompetitionの参加・運営

2025年度の画像処理系トップ会議でのCompetition型Workshop開催に向けた運営やCompetitionへの参加など、多様な形での参加者をインターンとしても募集します。

  • 必須スキル・経験

    （以下のうちいずれか）

    • - Competition型Workshopへの参加体験
    • - Vision&Language技術の研究経験
    • - Human-Object Interaction検出技術の研究経験
  • 歓迎スキル・経験
    • Competition型Workshopの運営参加経験
    • 作業動画解析の研究経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理
  • Vision&Language
  • 作業理解
  • Human-Object Interaction Detection

画像/動画と自然言語の融合理解に関する研究

画像や自然言語を理解する機械学習の研究は枚挙に暇がありませんが、深層学習によってお互いのモジュールのコモディティ化が進み、複数のモダリティを組み合わせた研究もまた増えております。本プロジェクトでは、そうした中でも画像/動画と自然言語の融合理解に関する研究についての研究開発と、関連トップ国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • コンピュータビジョンに関する知識・経験
  • 機械学習
  • コンピュータビジョン
  • 自然言語処理
  • マルチモーダル

高次元ブラックボックス最適化に関する研究

ベイズ最適化などのブラックボックス最適化では、最適化したいパラメータの数が増えると計算量が大きくなり過ぎてしまうことが課題になっています。本プロジェクトでは、高次元ブラックボックス最適化に関する研究についての研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • ベイズ最適化等ブラックボックス最適化に関する知識・経験
  • アルゴリズム
  • 最適化

特殊構造データの表現学習

自然言語や画像などを対象とした機械学習では、大量のデータを用いた教師あり/自己教師あり学習による事前学習モデルが広く活用されており、foundation modelという概念も定着しつつあります。本プロジェクトでは、画像や自然言語ではない特殊な構造のデータの表現学習についての研究開発と、Nature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 画像/自然言語などでの表現学習に関する知識・経験
    • 点群/グラフなどでの機械学習に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • 表現学習
  • 点群処理
  • グラフ処理

根本から駆動するマニピュレータ機構の開発

私たちが過去に開発したマニピュレータのように（https://omron-sinicx.github.io/twistsnake/）、根本から駆動する軽量マニピュレータを開発します。

  • 必須スキル・経験
    • 関連分野における論文執筆、学会発表経験（IROS, ICRA, etc.）
    • ロボットの機構やシステムの設計・製作経験
    • 3Dプリンタの利用経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 機械設計

機械学習によるマルチモーダル医療データの理解と応用

医療分野の機械学習応用は、時系列データや医用画像を単独で理解することによる推論から、それら属性や構造の違う複数のデータを融合理解を目指すものへと移りつつあります。本プロジェクトでは、そうしたマルチモーダルのデータ（画像、音声、生体信号、ビデオ、表、テキスト等）への理解と応用についての研究開発と、関連分野の国際会議採択を目指した論文執筆を行います。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
    • コンピュータービジョンに関する知識・経験
  • 歓迎スキル・経験
    • 説明可能なAIに関する知識・経験
    • モダリティ融合（例：CLIP）に関する知識・経験
  • 機械学習
  • コンピュータビジョン
  • 信号処理
  • 自然言語処理
  • アルゴリズム
  • マルチモーダル
  • ヒューマンセンシング

ロボットラーニングのための経験データベースの構築及び高速検索に関する研究

ロボットラーニングのための経験データベース及びその高速検索を応用した新たな方策学習手法の創出に取り組みます．本テーマでは特にGPGPUを活用し 大規模なデータ又はその組み合わせに対してスケーラブルなアルゴリズムの設計及び実装を行います．研究成果は国際会議への論文投稿及び広く波及するライブラリとしての公開を目指します．

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • GPUを用いたプログラミング経験
    • 画像検索及び文書検索の研究・実装経験
  • 歓迎スキル・経験
    • C++/CUDAによるプログラミング経験
    • Cython/pybind/nanobind を用いたPython拡張ライブラリの設計・実装経験
    • プロファイラを用いたパフォーマンスの分析経験
    • ロボティクス（CoRL,ICRA,IROS), 機械学習分野（ICLR,ICML,NeurIPS) 又は情報検索分野（SIGIR)における論文発表経験
  • 機械学習
  • 高速探索
  • CUDA

離散的情報処理の学習可能化に関する研究

微分可能レンダリングのように、ある計算モジュールを深層学習のパイプラインに入れられるように改善し、全体として機械学習可能にする研究が進んでいます。本プロジェクトでは、離散的情報処理の学習可能化に関する研究についての研究開発と、ICLRやICML, NeurIPSといった機械学習分野の国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
    • 凸最適化についての専門知識
  • 機械学習
  • アルゴリズム
  • 最適化

密なグラフにも効果的で、かつ、深いグラフニューラルネットワークの実現

一般にグラフニューラルネットワーク（GNN）は枝密度が高い場合に過剰平滑化により頂点ごとに固有な情報が失われることが知られています。この問題に対する従来手法であるWeaveNetという手法には高いメモリ消費量や計算の冗長性の問題があります。本プロジェクトではこれらの問題を解決することで実用サイズの問題に適用可能にすることや、一般的なGNNにとって未解決な多様な問題に挑戦することで機械学習系の最難関国際会議への投稿を目指します。

  • 必須スキル・経験
    • GNNの実装ができる程度のpytorchの知識
    • gitの基本的な知識
  • 歓迎スキル・経験
    • 組合せ最適化などGNNでは手が出にくい重要領域に関する知識
  • 機械学習
  • アルゴリズム
  • グラフニューラルネットワーク

機械学習手法の物理シミュレーションへの応用に関する研究

深層学習等の機械学習手法開発が専門で、その手法をDFT, MD, テンソルネットワークに代表される物理シミュレーションに応用する研究開発を行い、成果の論文（Nature/Science, Physical Review, SC/HPCG等）執筆をおこないます。

  • 必須スキル・経験
    • 機械学習手法に関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーション手法に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

AI for Science/Science by AI

研究開発そのものを加速・自動化するAIの研究に従事頂きます。人間の研究者との対話的な共進化の中で、研究の主張立案、実験実行、解析、論文執筆ができるAIサイエンティストを実現する中の部分的なプロジェクトに参加して頂きます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像/表データ処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • インタラクション

募集要項

期間 週5日勤務換算で3ヶ月〜 (開始・終了日は調整可能。課題によっては1ヶ月からの参加も可能)
時間 フルタイム or パートタイム（週3回など相談可能）、休憩45分、土日祝休み
場所 国内在住の場合、フルリモート/オフィス出社とリモートの併用が選べます（法律的な問題から国外からリモートでのインターンシッププログラム参加はできません。国外居住者は東京滞在のオフィス出社となります。その場合、旅費は弊社が負担いたします）。一部のテーマではオフィス出社のみとなる場合があり、出社先も内容に応じて品川または本郷となります。
待遇 フルタイム月給24万円〜48万円。パートタイムの場合は時給換算。勤務条件に応じて社会保険などの加入、交通費、宿泊費など全額支給。パソコン貸与、その他研究活動に必要な支出のフルサポート。
言語 日本語あるいは英語（英語のみも可）
その他 研究経験の豊富な2名以上のメンターが研究をフルサポートします。計算資源（GPUの搭載されたワークステーション・サーバ・クラウド）やロボット設備（ロボットアーム、各種センサ、3Dプリンタ、モーションキャプチャ等の試作・実験装置）が利用できます。

応募方法・採用までの流れ

応募はWebフォームよりお願いいたします。その他のお問い合わせは internships@sinicx.com までお知らせください。
お送りいただいた内容に基づき、まずは書類ベースの選考をいたします。上記の選考を通過された方については、別途リモートでの面接を実施いたします。過去の研究・開発の取り組みについてより詳しくお聞きしたいと思いますので、スライド資料等をご用意ください。