オムロン サイニックエックス株式会社（本社：東京都文京区、代表取締役社長：諏訪正樹、以下 OSX）は、「2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics（以下、NAACL 2025）」にて、最新の研究成果を発表します。

NAACL 2025は、自然言語処理分野のトップカンファレンスの一つです。2025年は、4月29日から5月4日（現地時間）にかけて、アメリカ ニューメキシコ州にて開催されます。

OSXより発表する研究論文は、以下のとおりです。

NAACL 2025での発表内容

_^■ Where is the answer? An empirical study of positional bias for parametric knowledge extraction in language model

（日本語訳：言語モデルからの知識抽出における位置バイアスに関する研究）

Kuniaki Saito (OSX), Chen-yu Lee (Google Cloud AI), Kihyuk Sohn (Google Research), Yoshitaka Ushiku (OSX)

本論文では、言語モデルがどのように情報を記憶し、質問形式で抽出するかを検証しています。
言語モデルはラベルなしのテキストデータを使い、自己教師あり学習を通じて多様な知識を学びます。この知識は、特定の質問に対する答えをモデルのパラメータから引き出す形で”抽出”することが求められます。

従来手法では、“perplexity curse¹⁾” という問題に直面します。これは、訓練データの損失を最小化し記憶しても、実際の質問に対する正確な答えを引き出すのが難しい現象です。

そこで、本論文では、訓練データの”位置的な偏り”がこの問題を引き起こしている原因の1つであることを示しました。具体的には、訓練データでは中間部や終わりに記載された情報について、モデルがうまく答えることができないことが分かりました。また、この問題は自動回帰型学習（次のトークンを前のトークンをもとに予測する方式）に起因していることを示しました。
これらの発見は、言語モデルのパラメータから知識を効果的に抽出するための重要な鍵となると考えられます。
_{1) Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig,Xi Victoria Lin, Wen-tau Yih, and Srinivasan Iyer. Instruction-tuned language models are better knowledge learners. arXiv preprint arXiv:2402.12847, 2024.}

https://arxiv.org/abs/2402.12170

※所属は、論文執筆時点のものです。現時点では、情報が異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。

技術に関するご相談・OSXに関するご質問など、お気軽に下記よりお問い合わせください。
お問い合わせはこちら