インターンの募集（通年）

オムロンサイニックエックス（OSX）では、ロボティクスと機械学習、コンピュータビジョン、HCIに関連する以下のテーマに関して、メンバーとともに挑戦的な研究課題に取り組んでくださる研究インターンを通年で募集しています。これまでにも多くの方々に本インターンプログラムに参加いただき、その成果はCVPR, ICML, IJCAI, ICRA, CoRLといった国際会議における発表やOSSとしての公開につながっています。OSXにおける取り組みの詳細はMediumやGitHubで御覧ください。

募集要項 応募方法・採用までの流れ

絞り込みキーワード

キーワードを選択（複数可）していただくことで、募集項目を絞り込むことができます

項目がありません

歩行と視線によるマルチモーダルデータからの認知症予測

本研究では、歩行と視線から認知症を予測する研究を行う。
主に、歩行と視線のマルチモーダル時系列データから、認知症を予測する機械学習モデルを研究する。
本研究は一関高専 鈴木明宏研究室との共同研究である。

  • 必須スキル・経験
    • Pyhonの開発経験
    • Pytorchなどを用いた機械学習の経験
    • git, docker, vscodeなどを用いてコーディングができること。
  • 歓迎スキル・経験
    • なし
  • 機械学習
  • インタラクション
  • マルチモーダル医療

眼科専門医AI

本研究では眼科専門医試験に合格する能力を持った眼科専門医AIをLLMを使用して開発しその正確さを様々な方向から検証する。
また解答の根拠を複数のソースから提示し、要約するシステムの研究開発を行う。

  • 必須スキル・経験
    • Pyhonの開発経験
    • Pytorchなどを用いた機械学習の経験
    • git, docker, vscodeなどを用いてコーディングができること。
  • 歓迎スキル・経験
    • なし
  • 機械学習
  • インタラクション
  • LLM
  • 説明性AI

最速のマルチモーダルJetRacer

本開発では、世界で一番早いJetRacerを作ります。FaBo社と協力して、近年の最新研究成果を JetRacerに盛り込みます。レーシング場として、会津大学などを想定しています。

  • 機械学習
  • インタラクション
  • JetRacer

背面投影型ロボットヘッドの開発

高齢者介護のための感情を持ったアバターを開発する。
具体的には、マイクロプロジェクタと魚眼レンズを用いて背面投影型のロボットヘッドとヘッドを動かすための2自由度のネックの設計およびそれを制御するソフトウェアを開発する。開発協力として、一関高専 鈴木明宏教授及びロボットクリエイター 有限会社海馬 榊原克衞氏のご指導を頂きながら開発する。

  • 必須スキル・経験
    • ロボット開発技術
    • STマイクロなどのCPUの組み込みソフト開発技術
    • EAGLEなどを用いた回路設計
    • Fusionなどを用いた機構設計
    • 3Dプリンタを使ったことがある
    • Arduinoやラズパイなどを使ったことがある
  • 歓迎スキル・経験
    • 高専や大学などでロボコンなどを通してロボットを作っている
    • 開発を通して新技術を習得するのが目的であり、研究ではありません。
    • 開発文書としては以下が参考になります。
      Furhat: A Back-Projected Human-Like Robot Head
      for Multiparty Human-Machine Interaction, 2012.
  • ロボティクス
  • インタラクション
  • 開発
  • ロボット
  • 組み込みソフトウェア

柔軟マニピュレータによる物体操作学習

身体の柔軟性を活かして作業を学習するマニピュレータの学習手法を探究します。

  • 必須スキル・経験
    • ロボット学習研究の経験と知識
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 関連分野における論文執筆、学会発表経験（IROS, ICRA, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • 機械学習
  • ロボティクス

ロボットのエネルギ源開発

世界に動物と同じだけのロボットが働くようになった世界で、持続可能であるための、ロボットの駆動エネルギ源を開発します。

  • 必須スキル・経験
    • ロボットシステムの開発研究経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 関連分野における論文執筆、学会発表経験（IROS, ICRA, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • ロボット用エネルギ源の開発経験
  • ロボティクス

GPUによる大規模にスケーラブルな高速検索アルゴリズムに関する研究

3D地図データベース又はファッションコーディネートの組み合わせ探索を題材に，最適輸送を応用した新たな検索アルゴリズムの創出に取り組みます．
本テーマでは特にGPGPUを活用し 大規模なデータ又はその組み合わせに対してスケーラブルなアルゴリズムの設計及び実装を行います．研究成果は国際会議への論文投稿及び広く波及するライブラリとしての公開を目指します．

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • GPUを用いたプログラミング経験
    • 画像検索及び文書検索の研究・実装経験
  • 歓迎スキル・経験
    • C++/CUDAによるプログラミング経験
    • Cython/pybind/nanobind を用いた Python 拡張ライブラリの設計・実装経験
    • プロファイラを用いたパフォーマンスの分析経験
    • 機械学習分野（ICLR,ICML,NeurIPS） 又は関連分野（CVPR,ICCV,ECCV,SIGIR）における論文発表経験
  • 機械学習
  • 開発
  • 最適輸送
  • 高速探索
  • CUDA

SLAMやNeRFなどの3D Visionに関する研究

Visual SLAMやNeRFなどの画像ベースの3Dセンシング技術について、新たなモデルや最適化手法の研究開発を行い、CVPRやICCV、ECCVといったコンピュータビジョン分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • PyTorch等の深層学習フレームワークを用いた研究経験、あるいは論文の再現実装経験
    • カメラの投影モデルや3次元幾何変換などの3次元処理に関する基本的な数学的知識
    • Python
  • 歓迎スキル・経験
    • 3D Deep Learningまたは古典的なSLAMの知識・経験
    • 数値最適化関連の知識・経験
    • PyTorchなどにおける独自foward&backward関数や独自GPUカーネルの実装スキル
    • GitHub/GitLabやDockerの使用経験
  • 機械学習
  • コンピュータビジョン
  • アルゴリズム
  • 3D Vision
  • 数値最適化

物理シミュレーション手法・データ解析への機械学習の応用に関する研究

DFT, MD, テンソルネットワークのような物理シミュレーションが専門で、手法の精度改善・計算高速化・大量のシミュレーション結果解析のために、機械学習をの知見を応用する研究開発と、成果を論文執筆（Nature/Science, Physical Reviewなどの論文誌もしくはSC, ICMLなどの情報系国際会議）をおこないます。

  • 必須スキル・経験
    • 物理シミュレーション手法に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

機械学習手法の物理シミュレーションへの応用に関する研究

深層学習等の機械学習手法開発が専門で、手法をDFT, MD, テンソルネットワークなに代表される物理シミュレーションに応用する研究開発と、成果の論文（Nature/Science, Physical Review, SC/HPCG等）執筆をおこないます。

  • 必須スキル・経験
    • 機械学習手法に関する知識・経験
  • 歓迎スキル・経験
    • 物理シミュレーション手法に関する知識・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

トポロジーを考慮したマルチエージェント経路計画アルゴリズムの研究

複数エージェントが互いに衝突することなく目的地に到達するためのマルチエージェント経路計画について、経路の位相的性質の考慮という観点から取り組みます。メンターと協力し、研究成果を人工知能・機械学習分野のトップ国際会議に投稿することを目指します。

  • 必須スキル・経験
    • 位相幾何学や計算幾何学についての基礎的な知識
  • 歓迎スキル・経験
    • 経路計画、特にマルチエージェント経路計画に関する研究・実装経験
    • 人工知能分野における論文業績（AAAI, IJCAI, AAMAS, ICML, NeurIPS, ICLRなど）
    • 位相幾何学や計算幾何学についての専門的な知識
  • アルゴリズム
  • 経路計画
  • 動作計画
  • マルチエージェント

運動学習する柔軟マニピュレータの設計法

身体の柔軟性を活かして作業を学習するマニピュレータの身体設計を探究します。

  • 必須スキル・経験
    • ロボットの機構やシステムの設計・製作経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 関連分野における論文執筆、学会発表経験（IROS, ICRA, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 開発
  • 機械設計
  • システム開発

汎用な物体操作技能の教師なし学習

教示や報酬関数の設計によって明に目標を与えることなくマニピュレータが教師なしで制御器や行動則を様々なタスクに使える物体操作の技能として獲得する手法を開発していただきます。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • 機械学習
  • ロボティクス
  • 教師なし学習
  • スキル獲得

少数データ機械学習

Foundation modelに代表されるような事前学習済みのモデルがあるモダリティ・ドメインでは、そのfinetuningを少数データで実施することで目的のタスクを達成できます。一方で、そのようなモダリティ・ドメインでないものを対象としたタスクの場合はより高度な機械学習技術が求められます。本プロジェクトでは、そうした少数データ機械学習についての研究開発と、機械学習およびコンピュータビジョン分野のトップ国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • コンピュータビジョンに関する知識・経験
  • 機械学習
  • 転移学習
  • ドメイン適応

ウェブ会議のリアルタイム情報可視化による効果分析

Zoomなどで開催された多人数ウェブ会議において、コミュニケーションに関するリアルタイム情報（会話量・表情など）を可視化するツールを利用した実験を設計・実施します。またその実験によって、会議参加者間の交流・交代を円滑させる効果を検証します。研究成果はCHIをはじめとしたインタラクション分野における国際会議への投稿を目指します。

  • 必須スキル・経験
    • HCIに対する興味
  • 歓迎スキル・経験
    • 対話分析など，ユーザ参加型実験の実施経験
    • CHIの投稿経験
  • インタラクション
  • 対話解析

マルチモーダル生体データへの機械学習応用

生体データ処理に対するアプローチは、時系列データや医用画像を単独で理解することによる推論から、それら属性や構造の違う複数のデータを融合理解を目指すものへと移りつつあります。本プロジェクトでは、そうしたマルチモーダル生体データへの機械学習応用についての研究開発と、関連分野の国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 説明可能なAIに関する知識・経験
    • コンピュータービジョンに関する知識・経験
    • 表データの機械学習に関する知識・経験
  • 信号処理
  • マルチモーダル
  • ヒューマンセンシング

フィジカルアバターロボットを利用したリモートコミュニケーションの強化

働く場所の制約を解消することにより多くの社会問題の解決が見込まれますが現状の社会情勢を持ってしてもリモートワークは広く受け入れられる働き方とはなっていません。本プロジェクトでは、このような社会問題に対してロボットを媒介とした人同士のリモートコミュニケーションという切り口からの問題解決を図り、HCI/HRI分野における国際会議を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • 対話分析など，ユーザ参加型の実験による研究経験
    • リモートコミュニケーションのみによるプロジェクトの推進経験
  • 歓迎スキル・経験
    • JavaScript / Python Flaskの実装経験
  • インタラクション
  • ヒューマンセンシング

法則発見に関する研究

時系列データ上での因果解析や、説明性のあるAIなど、データ間の法則を明らかにしつつ何らかの予測を行う研究が進んでおります。例えば、科学における関数同定問題の研究などがあります。本プロジェクトでは、新たな切り口でこうした法則を発見する手法に関する研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。主に博士課程を対象とし、三ヶ月以上のインターンシップ期間を想定しています。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 信号処理に関する知識・経験
  • 機械学習
  • データマイニング

俊敏なロボットの機構・システムの開発

俊敏に運動するロボットの、機構やシステムの開発を行います。機構では、ワイヤ駆動、パラレルリンク系、カム機構などの機構の自動設計法、3Dプリンタの利用を含む先進的な製造法などを検討します。システムでは、高速移動体の知覚、予測、短時間での判断などを開発します。

  • 必須スキル・経験
    • ロボットの機構やシステムの設計・製作経験
  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 関連分野における論文執筆、学会発表経験（IROS, ICRA, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 開発
  • 機械設計
  • システム開発

バーチャルチャットボットに、ユーザの複数のモダリティから感情推定させるための機能の開発と研究

人は、相手が表出した表情や声、言葉を報酬として, するべき行動を決定します。
本開発では、アバター化したユーザの複数のモダリティ（表情特徴、音声特徴、言語的特徴、バイタル的特徴）から感情を推定する機能の開発と研究を行います。
本件は開発が中心になります。
その延長線上で開発を研究まで発展させることも可能です。機械学習分野への国際会議論文投稿も歓迎します。

  • 必須スキル・経験
    • Pyhonの開発経験
    • Pytorchなどを用いた機械学習の経験
    • 自然言語処理あるいは音声信号処理あるいは、画像処理の経験
    • git, docker, vscodeなどを用いてコーディングができること
  • 歓迎スキル・経験
    • wxPythonによるアプリ開発経験
    • 携帯アプリ（iPhone, android）の開発経験
    • Unityの開発経験（C#）
    • ChatGPT,GPT4によるプロンプティングの経験のいずれか、あるいは両方
  • 機械学習
  • コンピュータビジョン
  • インタラクション
  • 信号処理
  • 自然言語処理
  • 画像処理
  • 音声処理
  • 生体処理
  • 感性コンピューティング

物体操作作業の長期計画の学習

自律マニピュレータが一連の作業を完遂するための、作業計画の学習法を開発します。失敗からの復帰行動、成功判定、自然言語による命令との関連付けなどを検討します。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 手順計画

ダイナミックな物体操作の学習

投げ上げを含む把持物体の姿勢変更、打撃、投擲など、ダイナミックな物体操作を、視覚・力覚・触覚など知覚情報を活用して行う方法を、試行錯誤を通じて学習する手法を開発します。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いたロボティクス・機械学習・コンピュータビジョン・自然言語処理・マルチメディア分野での研究経験、あるいは最新論文の再現実装経験
  • 歓迎スキル・経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
    • 人工知能分野、ロボティクス分野における論文執筆、学会発表経験（IROS, ICRA, ICML, NeurIPS, ICLR, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクスや機械学習に関連したコンペティションの参加経験
    • Git/GitHub, Docker等を利用した開発経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 非把持物体操作

マルチモーダルアバター対話データセット生成システムを使用した検証研究

弊社では、マルチモーダルアバター対話データセット生成システムを開発している。本研究開発では、このシステムを用いて、2つの研究テーマのどちらかを本データセット生成システムを活用して行う。
1つ目は、本データセット生成システムを用いて、Non multimodal pretraining modelの検証を行い、本システムの有効性を示す研究。2つ目は、本システムを用いて数覚データセットを作り、数覚及び数の演算の研究に応用する。

  • 必須スキル・経験
    • Pyhonの開発経験
    • Pytorchなどを用いた機械学習の経験
    • LLMによるprompting及びfine-tuning
    • 自然言語処理あるいは音声信号処理あるいは、画像処理の経験
    • git, docker, vscodeなどを用いてコーディングができること。
  • 歓迎スキル・経験
    • React, VueのWebプログラミング経験
    • AngularJSでのWebアプリ開発経験
    • 本研究を選択するにあたって以下の論文を参考にしてください。
      - Towards Language Models That Can See: Computer Vision Through the LENS of Natural Language
      - Number detectors spontaneously emerge in a deep neural network designed for visual object recognition
      - Emergence of Number Sense in Deep Multimodal Neural Networks
      - Leveraging Large Language Models for Scalable Vector Graphics-Driven Image Understanding
      - K-VQG: KNOWLEDGE-AWARE VISUAL QUESTION GENERATION FOR COMMON-SENSE ACQUISITION
  • 機械学習
  • インタラクション
  • 自然言語処理
  • マルチモーダル対話
  • 数覚
  • Webシステム
  • 感性コンピューティング

人間を楽しませる対戦ロボットの行動生成

卓球やエアホッケーなどの対人スポーツや遊びを人間とロボットが行う状況を取り上げ、人間を楽しませるロボットの行動生成に取り組みます。

  • 必須スキル・経験
      （以下のうちいずれか）
    • HAI, HRI, HCI の研究経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究・開発の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（HAI, HRI, RO-MAN, CHI, SIGGRAPH, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • ロボティクス
  • インタラクション
  • 開発

機械学習を用いた球技試合映像の分析

OSXでは、人間の振る舞いを観察し、その意図や欲求を理解する技術を開発しています。本プロジェクトでは、卓球をはじめとした球技の試合映像に対して機械学習を適用することで、選手の行動を抽出し、複数の選手による意思決定・相互作用を解析します。また、これらの取り組みを通して意思決定の原理を解明することを目指します。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
  • 歓迎スキル・経験
    • Kaggle等の機械学習コンペティションにおける入賞経験
    • Git/GitHub, Docker等を利用した開発経験
    • 学会における受賞経験、奨学金の獲得経験
    • 関連分野における論文執筆、学会発表経験（CVPR, ICCV, ECCV, NeurIPS, ICML, ICLR, TPAMIなど）
  • 機械学習
  • コンピュータビジョン
  • インタラクション
  • ヒューマンセンシング
  • 球技

バーチャルチャットボットとユーザの間の共感を励起させるための感情表出手法の研究と開発

バーチャルチャットボットが人に寄り添った対話をするための、共感を励起するようなしぐさ、表情、言動を、人に携わっている熟練の看護師、介護士のふるまいをもとに検討し、チャットボットに憑依させる研究を行います。本件は現場でのデータ収集実験、開発、研究等様々なタスクがあるなかで、あなたのやりたいことを優先します。機械学習分野への国際会議論文投稿も歓迎します。

  • 必須スキル・経験
    • Pyhonの開発経験
    • Pytorchなどを用いた機械学習の経験
    • 自然言語処理あるいは音声信号処理あるいは、画像処理の経験
    • git, docker, vscodeなどを用いてコーディングができること
  • 歓迎スキル・経験
    • wxPythonによるアプリ開発経験
    • 携帯アプリ（iPhone, android）の開発経験
    • Unityの開発経験（C#）
    • ChatGPT,GPT4によるプロンプティングの経験のいずれか、あるいは両方
  • 機械学習
  • コンピュータビジョン
  • インタラクション
  • 信号処理
  • 自然言語処理
  • 画像処理
  • 音声処理
  • 生体情報
  • 感性コンピューティング

超音波データと流体シミュレーションのデータ同化による連続血圧推定の研究開発

本研究では、超音波による血流計測と流体シミュレーションによる計算に対して計測（観察）に計算が近づくように、データ同化することで流体場を推定し、血圧を再現できる推論モデルを発明することを試みます。機械学習、生体工学分野への国際会議論文投稿も歓迎します。

  • 必須スキル・経験
    • Pytorchの開発経験
    • Fortranの開発経験
    • 有限体積法による流体シミュレーションの研究及び開発経験
    • 血圧、血流に対する知識
    • 流体力学の知識
    • 機械学習の開発経験
  • 歓迎スキル・経験
    • 深層強化学習の知識と実装能力
    • アンサンブルカルマンフィルタの知識と実装能力のいずれか、あるいは両方
    • 連続血圧推定、血圧、血流診断装置の研究や開発経験があると尚良い
  • 機械学習
  • 信号処理
  • 流体シミュレーション
  • 有限体積法
  • 生体情報
  • 深層強化学習

双腕ロボットの物体操作学習

双腕ロボットが作業を学習するための強化学習、模倣学習、見まね学習の手法を開発します。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 双腕協調

視覚を用いた物体操作の学習

視覚を用いた物体操作を学習する手法を開発します。転用、汎化、即時適用について考慮することに加え、力覚、触覚、音をともに利用する方法や、自然言語の利用を検討します。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • 機械学習
  • ロボティクス
  • コンピュータビジョン
  • マニピュレーション
  • 表現学習

離散的情報処理の学習可能化に関する研究

微分可能レンダリングのように、ある計算モジュールを深層学習のパイプラインに入れられるように改善し、全体として機械学習可能にする研究が進んでいます。本プロジェクトでは、離散的情報処理の学習可能化に関する研究についての研究開発と、ICLRやICML, NeurIPSといった機械学習分野の国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
    • 凸最適化についての専門知識
  • 機械学習
  • 最適化
  • アルゴリズム

特殊構造データの表現学習

自然言語や画像などを対象とした機械学習では、大量のデータを用いた教師あり/自己教師あり学習による事前学習モデルが広く活用されており、foundation modelという概念も定着しつつあります。本プロジェクトでは、画像や自然言語ではない特殊な構造のデータの表現学習についての研究開発と、Nature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 画像/自然言語などでの表現学習に関する知識・経験
    • 点群/グラフなどでの機械学習に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • 表現学習
  • 点群処理
  • グラフ処理

画像/動画と自然言語の融合理解に関する研究

画像や自然言語を理解する機械学習の研究は枚挙に暇がありませんが、深層学習によってお互いのモジュールのコモディティ化が進み、複数のモダリティを組み合わせた研究もまた増えております。本プロジェクトでは、そうした中でも画像/動画と自然言語の融合理解に関する研究についての研究開発と、関連トップ国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • コンピュータビジョンに関する知識・経験
  • コンピュータビジョン
  • 自然言語処理
  • マルチモーダル

専門文書のマルチモーダル理解

論文や特許などの専門文書の理解においては、構造化された文章や図表なども含めたデータ理解が必要となり、従来の自然言語処理の枠組みを超えた取り組みが必要となります。本プロジェクトでは、こうした専門文書のマルチモーダル理解についての研究開発および関連分野の国際会議を目指した論文執筆をおこないます。学部生の方のご応募もお待ちしています。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • コンピュータビジョン
  • 自然言語処理
  • マルチモーダル

Human-in-the-loop型機械学習に関する研究

機械学習に人間を取り込み、人間からのフィードバックを効率的に活かす機械学習の研究が広がりをみせています。本プロジェクトでは、そうしたHuman-in-the-loop型機械学習に関する研究についての研究開発と、機械学習やインタラクション分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • インタラクションに関する知識・経験
  • 機械学習
  • インタラクション

AI for Science/Science by AI

研究開発そのものを加速・自動化するAIの研究に従事頂きます。人間の研究者との対話的な共進化の中で、研究の主張立案、実験実行、解析、論文執筆ができるAIサイエンティストを実現する中の部分的なプロジェクトに参加して頂きます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像/表データ処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • インタラクション

高次元ブラックボックス最適化に関する研究

ベイズ最適化などのブラックボックス最適化では、最適化したいパラメータの数が増えると計算量が大きくなり過ぎてしまうことが課題になっています。本プロジェクトでは、高次元ブラックボックス最適化に関する研究についての研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • ベイズ最適化等ブラックボックス最適化に関する知識・経験
  • アルゴリズム
  • 最適化

人間を納得させるロボット物体操作学習

物体操作を命令したり、教示した人間が、納得するようなロボットの学習則や行動生成を探究します。強化学習や人間と機械・エージェント・ロボットとのインタラクションの知識や技術のある応募者を歓迎します。

  • 必須スキル・経験
    • ロボット学習研究か強化学習研究かインタラクション研究かの経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, CHI, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • 機械学習
  • ロボティクス
  • インタラクション
  • マニピュレーション
  • 信頼されるAI

募集要項

期間 週5日勤務換算で3ヶ月〜 (開始・終了日は調整可能。課題によっては1ヶ月からの参加も可能)
時間 フルタイム or パートタイム（週3回など相談可能）、休憩45分、土日祝休み
場所 国内在住の場合、フルリモート/オフィス出社とリモートの併用が選べます（法律的な問題から国外からリモートでのインターンシッププログラム参加はできません。国外居住者は東京滞在のオフィス出社となります。その場合、旅費は弊社が負担いたします）。一部のテーマではオフィス出社のみとなる場合があり、出社先も内容に応じて品川または本郷となります。
待遇 フルタイム月給24万円〜48万円。パートタイムの場合は時給換算。勤務条件に応じて社会保険などの加入、交通費、宿泊費など全額支給。パソコン貸与、その他研究活動に必要な支出のフルサポート。
言語 日本語あるいは英語（英語のみも可）
その他 研究経験の豊富な2名以上のメンターが研究をフルサポートします。計算資源（GPUの搭載されたワークステーション・サーバ・クラウド）やロボット設備（ロボットアーム、各種センサ、3Dプリンタ、モーションキャプチャ等の試作・実験装置）が利用できます。

応募方法・採用までの流れ

応募はWebフォームよりお願いいたします。その他のお問い合わせは internships@sinicx.com までお知らせください。
お送りいただいた内容に基づき、まずは書類ベースの選考をいたします。上記の選考を通過された方については、別途リモートでの面接を実施いたします。過去の研究・開発の取り組みについてより詳しくお聞きしたいと思いますので、スライド資料等をご用意ください。