インターンの募集（通年）

オムロンサイニックエックス（OSX）では、ロボティクスと機械学習、コンピュータビジョン、HCIに関連する以下のテーマに関して、メンバーとともに挑戦的な研究課題に取り組んでくださる研究インターンを通年で募集しています。これまでにも多くの方々に本インターンプログラムに参加いただき、その成果はCVPR, ICML, IJCAI, ICRA, CoRLといった国際会議における発表やOSSとしての公開につながっています。OSXにおける取り組みの詳細はMediumやGitHubで御覧ください。

募集要項 応募方法・採用までの流れ

絞り込みキーワード

キーワードを選択（複数可）していただくことで、募集項目を絞り込むことができます

項目がありません

学習ベース経路計画アルゴリズムの研究

Neural A* (ICML-21)やCTRMs (AAMAS-22) のような、経路計画と深層学習の融合的アプローチについて研究します。特に、複数エージェントが互いに衝突することなく目的地に到達するためのマルチエージェント経路計画、動的・非統制環境を対象とした経路計画に関して重点的に取り組みます。メンターと協力し、研究成果を人工知能・機械学習分野のトップ国際会議に投稿することを目指します。

  • 必須スキル・経験

    (以下のうちいずれか)

    • 深層学習を用いた研究・実装経験
    • 経路計画、動作計画に関する研究・実装経験
  • 歓迎スキル・経験
    • マルチエージェント経路計画、あるいはマルチエージェント強化学習に関する研究・実装経験
    • 人工知能分野における論文業績（AAAI, IJCAI, AAMAS, ICML, NeurIPS, ICLRなど）
    • 機械学習に関連したコンペティションの参加経験
    • 関連分野に関する知識（最適化、制御、HCI、グラフアルゴリズム、コンピュータビジョン、コンピュータグラフィックス、ソフトウェア開発など）
  • 機械学習
  • 経路計画
  • マルチエージェント

マルチエージェント・動的環境におけるローカルプランニングアルゴリズムの
研究・開発

複数ロボットの協調的移動が必要となるマルチエージェント環境、あるいは周囲に歩行者などが混在する動的環境のためのローカルプランニングアルゴリズムを研究します。[L2B (IROS-20)]のように混雑環境を対象とした強化学習ベースのアプローチ、また、シミュレーション環境で学習されたプランナーを実世界のロボットに転用（Sim2Real）するための理論構築又はライブラリ開発に従事いただけます。メンターと協力し、研究成果を人工知能・ロボティクス分野のトップ国際会議に投稿することを目指します。

  • 必須スキル・経験

    (以下のうちいずれか)

    • 深層学習を用いた研究・実装経験
    • 二輪ロボットの動作計画に関する研究・実装経験
    • ROS / ROS navigation stack を用いた自律移動システムの開発経験
  • 歓迎スキル・経験
    • 転移学習、ドメイン適応に関する研究・実装経験
    • 自律移動ロボットに関連する分野でのコンペティション又は論文業績
    • 関連分野に関する知識（最適化、制御、マルチエージェント、グラフアルゴリズムなど）
    • PyBullet や MUJOCO 等のシミュレータを利用した研究・実装経験
    • 人工知能およびロボティクス分野における論文業績（ICML, NeurIPS, ICLR, AAAI, IJCAI, AAMAS, ICRA, IROS, CoRL, RSS, CVPR, ICCV, ECCV など）
  • ロボティクス
  • マルチエージェント
  • 経路（動作）計画
  • 強化学習
  • 転移学習・ドメイン適応
  • OSS開発

柔軟なロボット又は力制御を使用した運動学習

OSXは、柔軟なロボットあるいは力制御を使用して、部品組立や調理に応用することを考えています。本プロジェクトではその基盤技術として、ロボット学習、マルチモーダルセンシング(視覚・力触覚)、プランニングの研究に携わっていただきます。また、柔軟なロボットのシミュレータ開発もテーマにございます。メンターと協力し研究成果をトップ国際会議や論文誌(ICRA, IROS, RA-Lなど)に投稿することを目指します。機械学習・強化学習開発の経験があり、学習技術のロボット応用に強い興味を持つ方も積極的に採用します。

  • 必須スキル・経験
    • Python・C++の開発経験
      (以下のうちいずれか)
    • ロボット学習・センシング・プランニング・古典および現代制御理論における開発経験
    • 機械学習・強化学習における開発経験
  • 歓迎スキル・経験
    • ロボティクス分野の研究・開発における、ROSの開発経験
    • ロボティクスあるいは機械学習分野における国際会議あるいは論文誌への投稿経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 強化学習
  • 経路（動作）計画

ロボットのソフトウェアまたはハードウェアのエンジニア

部品組立や調理ロボットのためのソフトウェアあるいはハードウェアエンジニアリングに携わっていただきます。ロボットを立ち上げるためのプログラミングや、ハードウェアメンテナンス、治具設計などが主な業務となります。
また、このエンジニアリングで生じた成果を、システム論文やオープンソースコードなどとして公開することも推奨しています。

  • 必須スキル・経験

    (以下のうちいずれか)

    • ロボットソフト開発のためのROS・Python・C++の開発経験
    • ロボットハードウェアの開発経験
    • センシングおよび電装系の開発経験
  • 歓迎スキル・経験
    • ロボットコンテストなどの参加経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • 機械設計・システム開発
  • ロボット開発
  • OSS開発

俊敏・柔軟なロボットの機構・システムの開発

柔軟な機械要素を備え、俊敏に運動するロボットの、機構やシステムの開発を行います。とりわけ、ワイヤ駆動、パラレルリンク系、カム機構などの機構の自動設計法、3Dプリンタの利用を含む先進的な製造法などを検討します。高速移動体の知覚、予測、短時間での判断など、俊敏に反応するロボットのシステムも開発します。

  • 必須スキル・経験

    ロボットの機構やシステムの設計・製作経験

  • 歓迎スキル・経験
    • ロボティクスに関連した競技会の参加経験
    • チームでの研究・開発経験
    • 関連分野における論文執筆、学会発表経験（IROS, ICRA, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
  • ロボティクス
  • 機械設計・システム開発
  • ロボット開発

機械学習を用いた球技試合映像の分析

OSXでは、人間の振る舞いを観察し、その意図や欲求を理解する技術を開発しています。本プロジェクトでは、卓球をはじめとした球技の試合映像に対して機械学習を適用することで、選手の行動を抽出し、複数の選手による意思決定・相互作用を解析します。また、これらの取り組みを通して意思決定の原理を解明することを目指します。

  • 必須スキル・経験

    PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験

  • 歓迎スキル・経験
    • Kaggle等の機械学習コンペティションにおける入賞経験
    • Git/GitHub, Docker等を利用した開発経験
    • 学会における受賞経験、奨学金の獲得経験
    • 関連分野における論文執筆、学会発表経験（CVPR, ICCV, ECCV, NeurIPS, ICML, ICLR, TPAMIなど）
  • 機械学習
  • コンピュータビジョン＆グラフィックス
  • インタラクション
  • ヒューマンセンシング
  • スポーツロボット

人間を楽しませる対戦ロボットの行動生成

卓球やエアホッケーなどの対人スポーツや遊びを人間とロボットが行う状況を取り上げ、人間を楽しませるロボットの行動生成に取り組みます。

  • 必須スキル・経験

    （以下のうちいずれか）

    • HAI, HRI, HCI の研究経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた機械学習・コンピュータビジョン・自然言語処理・マルチメディア分野での研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究・開発の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（HAI, HRI, RO-MAN, CHI, SIGGRAPH, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • ロボティクス
  • インタラクション
  • ロボット開発
  • スポーツロボット

ダイナミックな物体操作の学習

投げ上げを含む把持物体の姿勢変更、打撃、投擲など、ダイナミックな物体操作を、視覚・力覚・触覚の知覚情報を活用して行う方法を、試行錯誤を通じて学習する手法を開発します。

  • 必須スキル・経験

    PyTorch, Tensorflow等の深層学習フレームワークを用いたロボティクス・機械学習・コンピュータビジョン・自然言語処理・マルチメディア分野での研究経験、あるいは最新論文の再現実装経験

  • 歓迎スキル・経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
    • 人工知能分野、ロボティクス分野における論文執筆、学会発表経験（IROS, ICRA, ICML, NeurIPS, ICLR, etc.）
    • 学会における受賞経験、奨学金の獲得経験
    • ロボティクスや機械学習に関連したコンペティションの参加経験
    • Git/GitHub, Docker等を利用した開発経験
  • 機械学習
  • ロボティクス
  • マニピュレーション
  • マルチモーダル

フィジカルアバターロボットを利用したリモートコミュニケーションの強化

働く場所の制約を解消することにより多くの社会問題の解決が見込まれますが現状の社会情勢を持ってしてもリモートワークは広く受け入れられる働き方とはなっていません。本プロジェクトでは、このような社会問題に対してロボットを媒介とした人同士のリモートコミュニケーションという切り口からの問題解決を図り、HCI/HRI分野における国際会議を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • 対話分析など，ユーザ参加型の実験による研究経験
    • リモートコミュニケーションのみによるプロジェクトの推進経験
  • 歓迎スキル・経験
    • JavaScript / Python Flaskの実装経験
  • インタラクション
  • ヒューマンセンシング

マルチモーダル眼推定及び予測

マルチモーダル眼推定及び予測についての研究開発と、EMBCをはじめとした工学・医学の融合領域における国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • python, pytorchなどを用いた機械学習の経験
    • Git, docker, vscodeなどを用いてコーディングができること
  • 歓迎スキル・経験
    • V＆Lやマルチモーダル解析の知識がある
    • 眼に対する医学的な知識や遺伝子などの知識がある
  • 信号処理
  • マルチモーダル
  • ヒューマンセンシング
  • 生体信号

ウェブ会議のリアルタイム情報可視化による効果分析

Zoomなどで開催された多人数ウェブ会議において、コミュニケーションに関するリアルタイム情報（会話量・表情など）を可視化するツールを利用した実験を設計・実施します。またその実験によって、会議参加者間の交流・交代を円滑させる効果を検証します。研究成果はCHIをはじめとしたインタラクション分野における国際会議への投稿を目指します。

  • 必須スキル・経験
    • HCIに対する興味
  • 歓迎スキル・経験
    • 対話分析など，ユーザ参加型実験の実施経験
    • CHIの投稿経験
  • インタラクション
  • 対話解析

画像データセットの改善による機械学習の性能向上に関する研究

データセントリックという単語とともにしばしば言われるように、ラベルの一致性のようなデータセットの質を改善することは、しばしば機械学習モデルの性能向上に大きく貢献します。本プロジェクトでは、コンピュータビジョン分野においてそのようなデータセントリックなアプローチの有効性を検証するとともに、関連国際会議への論文投稿を目指します。

  • 必須スキル・経験
    • Python
    • 深層学習＆画像処理に関する知識・経験
  • 歓迎スキル・経験
    • 大規模データセットでのobject detection/segmentationモデルの実装・実験経験
  • 機械学習
  • コンピュータビジョン＆グラフィックス
  • データセット構築

画像/動画と自然言語の融合理解に関する研究

画像や自然言語を理解する機械学習の研究は枚挙に暇がありませんが、深層学習によってお互いのモジュールのコモディティ化が進み、複数のモダリティを組み合わせた研究もまた増えております。本プロジェクトでは、そうした中でも画像/動画と自然言語の融合理解に関する研究についての研究開発と、関連トップ国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • コンピュータビジョンに関する知識・経験
  • コンピュータビジョン＆グラフィックス
  • 自然言語処理
  • マルチモーダル
  • ビジョン＆ランゲージ

離散的情報処理の学習可能化に関する研究

微分可能レンダリングのように、ある計算モジュールを深層学習のパイプラインに入れられるように改善し、全体として機械学習可能にする研究が進んでいます。本プロジェクトでは、離散的情報処理の学習可能化に関する研究についての研究開発と、ICLRやICML, NeurIPSといった機械学習分野の国際会議を対象とした論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • 最適化

高次元ブラックボックス最適化に関する研究

ベイズ最適化などのブラックボックス最適化では、最適化したいパラメータの数が増えると計算量が大きくなり過ぎてしまうことが課題になっています。本プロジェクトでは、高次元ブラックボックス最適化に関する研究についての研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • ベイズ最適化等ブラックボックス最適化に関する知識・経験
  • 機械学習
  • ブラックボックス最適化
  • ベイズ最適化

特殊構造データの表現学習

自然言語や画像などを対象とした機械学習では、大量のデータを用いた教師あり/自己教師あり学習による事前学習モデルが広く活用されており、foundation modelという概念も定着しつつあります。本プロジェクトでは、画像や自然言語ではない特殊な構造のデータの表現学習についての研究開発と、Nature/Science系のトップジャーナル採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 画像/自然言語などでの表現学習に関する知識・経験
    • 点群/グラフなどでの機械学習に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • 表現学習
  • 点群処理
  • グラフ処理

法則発見に関する研究

時系列データ上での因果解析や、説明性のあるAIなど、データ間の法則を明らかにしつつ何らかの予測を行う研究が進んでおります。例えば、科学における関数同定問題の研究などがあります。本プロジェクトでは、新たな切り口でこうした法則を発見する手法に関する研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。主に博士課程を対象とし、三ヶ月以上のインターンシップ期間を想定しています。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 信号処理に関する知識・経験
  • 機械学習
  • データマイニング

特殊なテキストへのdata2textに関する研究

機械翻訳は入力されたテキストを別のテキストへ変換する技術ですが、入力を画像や経済データなどのデータとした際に、そのキャプションやニュースの見出しなどを生成するdata2textの研究が広がりをみせております。本プロジェクトでは、後段のtextが特殊な形態だるdata2textに関する研究についての研究開発と、機械学習分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。

  • 必須スキル・経験
    • Python、Github、Docker
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 信号処理に関する知識・経験
  • 機械学習
  • マルチモーダル
  • データマイニング

Human-in-the-loop型機械学習に関する研究

機械学習に人間を取り込み、人間からのフィードバックを効率的に活かす機械学習の研究が広がりをみせています。本プロジェクトでは、そうしたHuman-in-the-loop型機械学習に関する研究についての研究開発と、機械学習やインタラクション分野におけるトップ国際会議、あるいはNature/Science系のトップジャーナル採録を目指した論文執筆を行います。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • インタラクションに関する知識・経験
  • 機械学習
  • インタラクション
  • Human-in-the-loop

専門文書のマルチモーダル理解

論文や特許などの専門文書の理解においては、構造化された文章や図表なども含めたデータ理解が必要となり、従来の自然言語処理の枠組みを超えた取り組みが必要となります。本プロジェクトでは、こうした専門文書のマルチモーダル理解についての研究開発および関連分野の国際会議を目指した論文執筆をおこないます。学部生の方のご応募もお待ちしています。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • コンピュータビジョン＆グラフィックス
  • 自然言語処理
  • マルチモーダル
  • 文書理解

少数データ機械学習

Foundation modelに代表されるような事前学習済みのモデルがあるモダリティ・ドメインでは、そのfinetuningを少数データで実施することで目的のタスクを達成できます。一方で、そのようなモダリティ・ドメインでないものを対象としたタスクの場合はより高度な機械学習技術が求められます。本プロジェクトでは、そうした少数データ機械学習についての研究開発と、機械学習およびコンピュータビジョン分野のトップ国際会議採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • コンピュータビジョンに関する知識・経験
  • 機械学習
  • コンピュータビジョン＆グラフィックス
  • 転移学習・ドメイン適応

マルチモーダル生体データへの機械学習応用

生体データ処理に対するアプローチは、時系列データや医用画像を単独で理解することによる推論から、それら属性や構造の違う複数のデータを融合理解を目指すものへと移りつつあります。本プロジェクトでは、そうしたマルチモーダル生体データへの機械学習応用についての研究開発と、関連分野の国際会議採択を目指した論文執筆をおこないます。学部生の方のご応募もお待ちしています。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語処理に関する知識・経験
    • コンピュータビジョンに関する知識・経験
    • 信号処理に関する知識・経験
  • コンピュータビジョン＆グラフィックス
  • 信号処理
  • マルチモーダル
  • ヒューマンセンシング
  • 生体信号

Radiance Fieldの最適化に関する研究

Radiance Fieldのモデル化・最適化に関する研究についての研究開発と、CVPRやICCV、ECCVといったコンピュータビジョン分野におけるトップ国際会議での採択を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • 深層学習に関する知識・経験
    • Python
  • 歓迎スキル・経験
    • 3D Deep Learning (NeRFなど)の知識・経験
    • 数値最適化関連の知識・経験
  • コンピュータビジョン＆グラフィックス
  • 数値最適化

物理シミュレーションへの機械学習の応用

物理シミュレーションへの機械学習の応用についての研究開発と、関連分野における論文（Nature/Science, Physical Review, SC/HPCG等）の執筆をおこないます。特に量子レベル、原子レベルから地球・宇宙レベルまでそれぞれのスケールのシミュレーションの課題のうち、マルチスケールの課題を機械学習を用いて解決することを目指します。

  • 必須スキル・経験
    • 深層学習もしくはシミュレーションに関する知識・経験
  • 歓迎スキル・経験
    • Pytorch, Pythonでプログラムが書けること
    • Github、Dockerなどのツールを使いこなせること
  • 機械学習
  • 物理シミュレーション

深層強化学習を用いた、ゲームのテストプレイ自動化

深層強化学習を用いた、ゲームのテストプレイ自動化に関する研究に携わっていただきます。特に、既存のバグ再現動画を利用して、効率的なバグ探索法の学習および異なるゲーム間での汎化が出来るような強化学習アルゴリズムの研究開発を行っていただきます。

  • 必須スキル・経験
    • 強化学習に関する基礎知識
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた実装経験
  • 歓迎スキル・経験
    • ゲームへの関心
    • 深層強化学習アルゴリズムの実装経験
    • 理系分野の研究経験（分野不問）
    • 学会における受賞経験、奨学金の獲得経験
  • 機械学習
  • 強化学習
  • ゲーム

汎用な物体操作技能の教師なし学習

教示や報酬関数の設計によって明に目標を与えることなくマニピュレータが教師なしで制御器や行動則を様々なタスクに使える物体操作の技能として獲得する手法を開発していただきます。

  • 必須スキル・経験
    • PyTorch, Tensorflow等の深層学習フレームワークを用いた研究経験、あるいは最新論文の再現実装経験
    • ロボット学習研究の経験
  • 歓迎スキル・経験
    • 関連分野における論文執筆、学会発表経験（ICRA, IROS, CoRL, ICML, NeurIPS, ICLR, etc.）
    • Git/GitHub, Docker等を利用した開発経験
    • ロボティクス分野の研究・開発におけるROS, Python, C++の利用経験
    • チームでの研究・開発経験
    • ロボティクス分野の周辺領域に関する知識（ソフトウェア開発、最適化、制御、HCI、マルチエージェント、グラフアルゴリズム、コンピュータビジョンなど）
  • 機械学習
  • ロボティクス
  • マニピュレーション

AI for Science

研究開発そのものを加速・自動化するAIの研究に従事頂きます。人間の研究者との対話的な共進化の中で、研究の主張立案、実験実行、解析、論文執筆ができるAIサイエンティストを実現する中の部分的なプロジェクトに参加して頂きます。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像/表データ処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 機械学習
  • インタラクション

料理動画を用いた作業理解の研究

現在のVision and Language技術は静止画から動画へ、さらに単純な物体の移動からものづくりのような複雑な作業へと理解の対象を拡大しつつあります。本プロジェクトではレシピに基づいて人間が調理している様子を収録した動画を用いて、手順書と作業の理解を進めるVision and Languageタスクに従事いただきます。なお本プロジェクトはクックパッド株式会社との共同研究です。

  • 必須スキル・経験
    • Python、Github、Docker
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 自然言語/画像処理に関する知識・経験
    • 機械学習および深層学習に関する数理的な知識と立式能力
  • 自然言語処理
  • マルチモーダル
  • コンピュータビジョン

ロボットのための自然言語指示の詳細化

現状のロボットプログラミングでは環境に合わせてプログラマがロボットの動作を一台一台最適化する必要があります。本プロジェクトでは自然言語指示と環境の観測情報によってロボットの動作を生成するための技術開発の一部として，自然言語のみから統計情報に基づいてロボットが行うべき行動系列を推定する技術開発を行います。成果は他テーマと統合する形でロボティクス分野の国際会議や論文での採択を目指します。

  • 必須スキル・経験
    • 深層学習の知識・経験
    • 自然言語処理の基礎知識
  • 歓迎スキル・経験
    • データセットの構築・公開経験
    • 自動翻訳あるいはキャプショニングの研究開発経験
  • 自然言語処理

状態変化を表現する潜在特徴空間の獲得

CLIPなどの大規模モデルが発展しているが，静止画と言語の組み合わせで学習されたモデルであるため，動的な環境の変化に対しては十分最適化されていません．本テーマでは環境変化の差分と言語の関係を表現できるようなCLIP拡張を検討します．また，成果を関連する国際会議やジャーナルに投稿することを目標とします．

  • 必須スキル・経験
    • 深層学習の知識・経験
    • コンピュータビジョンまたは自然言語処理の基礎知識（どちらか一つでよい）
  • 歓迎スキル・経験
    • CLIPやGPTなどの基盤モデルを利用した研究・開発経験
    • データセットの構築・公開経験
    • 自然言語処理と画像処理両方の基礎知識
  • 自然言語処理
  • コンピュータビジョン

三次元点群の位置合わせ

近年の点群深層学習の発展とセンサやデータセットの充実に伴い，深層学習を用いた点群の剛体位置合わせ，非剛体位置合わせ，点群のフロー推定等の複数点群を比較し対応付ける研究が盛んになっています．本テーマは学習可能な対応付けを点群に応用し，様々なシナリオで形状と空間的な連続性をうまく利用した点群位置合わせ手法の実現を目指します．

  • 必須スキル・経験
    • Python
    • 深層学習に関する知識・経験
  • 歓迎スキル・経験
    • 三次元データを取り扱う経験
    • 点群・グラフなどの非構造データを取り扱う経験
  • コンピュータビジョン
  • 点群マッチング
  • 点群深層学習

GPUによる大規模にスケーラブルな並列機械学習アルゴリズム

カーネル法を始め代表的な機械学習アルゴリズムの中には，GPUでの超並列計算の恩恵を受けられるものが未だ多く眠っています．
GPU上での機械学習アルゴリズムの設計には，機械学習の理論及びSIMT(Single Instruction Multiple Thread)と呼ばれる計算モデル，この両者を深く理解した上での近似アルゴリズムの導出が不可欠です．
本テーマでは特に billion-scale のデータに対してスケーラブルな近似機械学習アルゴリズムの設計及び実装を行います．
研究成果は国際会議への論文投稿及び広く波及するライブラリとしての公開を目指します．

  • 必須スキル・経験
    • GPUを用いたプログラミング経験
    • 線形代数の基礎知識
    • 機械学習分野における研究・論文執筆経験
  • 歓迎スキル・経験
    • C++/CUDAによるプログラミング経験
    • Cython/pybind/nanobind を用いた Python 拡張ライブラリの設計・実装経験
    • プロファイラ（nvprof, nvvp, NSight systems) を用いたパフォーマンスの分析経験
  • 機械学習
  • GPGPU
  • CUDA
  • HPC

ロボットを身体化する操作インタフェース・インタラクション

ホームロボットや工業用ロボットを自身の身体の一部であるかのように直感的に操作するためのインタフェース・インタラクションの研究開発をおこないます。バーチャル環境におけるシミュレータの開発や、シミュレーション結果を現実環境や実ロボットに対して応用することに取り組みます。インタラクション分野におけるトップ国際会議（CHIやUISTなど）への採録を目指した論文執筆をおこないます。

  • 必須スキル・経験
    • ヒューマンコンピュータインタラクション（HCI）・ヒューマンロボットインタラクション（HRI）・バーチャルリアリティ（VR）分野いずれかでの研究経験
    • 心理学分野における身体化（embodiment、body ownership、agency）に関する知識
    • Unityを使ったVRシステムの開発スキル・経験
  • 歓迎スキル・経験
    • HCI・HRI・VR分野における論文執筆、学会発表関連（e.g., CHI, UIST, HRI, IMWUT, TVCG, ICRA, IROS）
    • ロボットプログラミングのスキル・経験
    • ユーザ実験の設計や実施経験
    • 統計解析の基礎知識
    • ロボットハードウェア・ソフトウェアの開発経験
    • 電子工作やファブリケーションのスキル
  • 機械学習
  • ロボティクス
  • インタラクション
  • バーチャルリアリティ

いいね！で人のプロファイルを獲得するバーチャルチャットボットの研究

現在の対話システムで用いられる目的関数は、統計的に最もらしい応答を提示するように学習するものです。
そのため統計的には正しい応答でも、論理的には正しくないことが多々生じます。
本研究では、ユーザが、ユーザの個性に関して、チャットボットに質問したとき、正しい応答に対しては、いいね、正しくない応答をしたとき、よくないね することで応答を修正し、チャットボットにユーザを理解させていくバーチャルチャットボットの研究とプロトタイプ開発を行います。

  • 必須スキル・経験
    • Pytorch
    • Transformerを中心とした自然言語処理の知識
    • 深層強化学習の知識
  • インタラクション
  • 自然言語処理
  • 強化学習

バーチャルチャットボットにユーザの表情を認識させるための機能の開発

人は、相手が表出した表情や声、言葉を報酬として, するべき行動を決定します。
本開発では、アバターの表情から感情を推定する機能の開発と研究を行います。
本件は開発が中心になります。
その延長線上で開発を研究まで発展させることも可能です。

  • 必須スキル・経験
    • pyhon
    • pytorchなどを用いた機械学習の経験
    • OpenCVなどの経験
    • git, docker, vscodeなどを用いてコーディングができること
  • 歓迎スキル・経験
    • 携帯アプリ(iPhone, android)の開発経験
    • Unityの開発経験
  • 画像処理

アバター作成システムの開発

自分好みのアバターをかんたんに作成して、その姿でチャットができたり、
自分の相棒のバーチャルチャットボットにすることができるシステムを開発します。
本件は開発が中心になります。

  • 必須スキル・経験
    • AngularJSでのWebアプリ開発経験
  • Webシステム

血流計測と流体シミュレーションを用いた強化学習による流れ場の推定

本研究では、超音波による血流計測と流体シミュレーションによる計算に対して計測(観察)に計算が近づくように、深層強化学習を使用することで流体場を推定できる推論モデルを創造することを試みます。

  • 必須スキル・経験
    • PytorchとFortran
    • 有限体積法による流体シミュレーション
    • 深層強化学習の知識
  • 流体シミュレーション
  • 深層強化学習
  • 有限体積法
  • 医療システム

募集要項

期間 3ヶ月～（開始・終了日は調整可能。課題によっては1ヶ月からの参加も可能）
時間 フルタイム or パートタイム（週3回など相談可能）、休憩45分、土日祝休み
場所 新型コロナウィルス感染症等に関わる各種要請に応じて本郷オフィス出社やリモート勤務など随時決定。希望に応じて自宅等遠隔地からのフルリモート勤務が可能です。オフィスへの出社が必要となった際の安全衛生には十分に配慮いたします。
待遇 フルタイム月給24万円〜48万円。パートタイムの場合は時給換算。勤務条件に応じて社会保険などの加入、交通費、宿泊費など全額支給。パソコン貸与、その他研究活動に必要な支出のフルサポート。
言語 日本語あるいは英語（英語のみも可）
その他 研究経験の豊富な2名以上のメンターが研究をフルサポートします。計算資源（DGX, その他GPUワークステーション、ABCI）やロボット設備（ロボットアーム、各種センサ、3Dプリンタ、モーションキャプチャ等の試作・実験装置）が利用できます。

応募方法・採用までの流れ

応募される方は、

1) ご自身のCV
2) 本ページに公開されている課題の中で取り組みたいもの（複数可）

を internships@sinicx.comまでお知らせください。お送りいただいた内容に基づき、まずは書類ベースの選考をいたします。上記の選考を通過された方については、別途リモートでの面接を実施いたします。過去の研究・開発の取り組みについてより詳しくお聞きしたいと思いますので、スライド資料等をご用意ください。