生成AIの急速な発展により、企業におけるAI活用の可能性も広がり続けている。日々新しいAIサービスが展開されている一方で、いかなるAIをインテグレーションすべきか頭を悩ませている企業も多いだろう。とりわけ、日本企業においてはドキュメントをLLMに学習させるには多くの問題がある。

こうした課題に対し、生成AIオールインワンパッケージ「neoAI Chat」を展開しているのが、neoAIだ。同社の代表取締役 CEO & Founderである千葉駿介氏に、neoAI Chatの特徴や、このたび採用を決定したインテル® Gaudi® 3 AI アクセラレーターについて伺った。

  • 株式会社neoAI　代表取締役 CEO 千葉駿介氏

AIに対しドキュメントを“翻訳”するneoAI Chat

ChatGPT登場直前の2022年8月、AIやディープラーニングを研究する「東京大学 松尾研究室」発のスタートアップ企業として設立されたneoAI。千葉氏は立ち上げメンバーである東京大学の学部生6人の代表として「neoAI Chat」に関わってきた。

同氏は今年5月に発表された「Forbes 30 UNDER 30 2025 Asia」において、neoAIでCOOを務める寺澤滉士良氏とともに“世界を変える30歳未満”30人のうちのひとりに選出されるなど、いまテック業界で注目されている人物のひとりだ。

neoAIは、生成AIの技術をビジネスの現場で適時に応用することを目指しており、さまざまなアプリケーション、ソフトウェアの提供とインテグレーションサービスを行っている。

「最近ではAIエージェントなども話題になっていますが、AIの技術がどんどん複雑になってきているなかで日本の企業が抱えているのは、日々更新されていく技術を、セキュリティを担保しながら、どう社内にインテグレーションするかです。そこに対するサービスとして、私たちはneoAI Chatを提供しています」(千葉氏)

  • neoAI Chat

同社のneoAI Chatを導入しているのは、銀行や信用金庫、電力会社といった高いセキュリティが求められる企業がほとんどだ。とくに近年、企業からは“RAG (Retrieval-Augmented Generation/検索拡張生成)”の需要が高い。RAGとは、企業が保有するさまざまなドキュメントデータをLLM(大規模言語モデル)に繋げていく技術であり、いわば企業の社内知識を持ったAIをつくる取り組みといえる。

「ただ、“言うは易し”で、実際にやってみるとなかなか高い精度が出なかったり、AIが嘘をついてしまったりすることがあります。とくに日本企業が持っているドキュメントは日本語ベースであるだけでなく、フローチャートのような図が入っていたり、表計算ソフトのセルが結合されていたり、手書きのものもあったりします。また業界によっては専門用語も使用されており、汎用的な製品ではこれらを一気に取り込むのは難しいのです。そういったさまざまなドキュメントをAIが読めるように前処理を行うのが、我々のneoAI Chatです」(千葉氏)

RAG開発は非常に手間がかかる作業だが、neoAI Chatならば企業がドキュメントをアップロードするだけで前処理のアルゴリズムが走り、適切なデータがAIに入力される。いわばneoAI Chatは、AIに対して企業のドキュメントを翻訳してくれる“通訳”のような存在だ。

クラウド型サービスのみならず多種多様な生成AI基盤で利用が可能

AIを管理する機能も搭載されている。現在、すでにOpenAIやGoogle、Metaなどが開発したLLMが存在しており、それぞれが得意分野を持っている。今後はさまざまなAIが乱立する世界になっていくことは疑うべくもないだろう。

しかし、AIは一般的に使用ごとにコストがかかる。企業にはこれから、コストや機能を踏まえたLLMのマネジメントが求められることになるだろう。neoAI Chatはそういった次の世界に先駆け、さまざまなLLMを一括で使えるようにし、ユースケースごとに繋げたり付け替えたりできる機能を有している。

「我々がやっていることは、実はすごく泥臭いものです。単にLLMを選ぶだけではなく、お客様特有のドキュメントが読めるように個別に作り込んでいます。結果として、その企業に特化したようなものができあがります。とはいえneoAI ChatはSaaSなので、その業界全体で使えるように標準化を行ったうえで実装しています」(千葉氏)

AIを管理し、ユースケースごとに利用できることはセキュリティの向上にも役立つ。たとえば、個人情報保護法や企業のプライバシー/セキュリティポリシーによって、クラウドサービスにアップロードできないデータは多い。

一方、既存の代表的な生成AI型サービスは基本的にクラウド上で動作しており、基本的にオンプレミスで管理するしかないデータは利用できない。そういったデータをローカルLLMに取り込むといった使い方も可能なわけだ。クラウドもオンプレミスも含め、多種多様な生成AI基盤で利用できることは、neoAI Chatの大きな強みといえるだろう。

neoAIによるインテル® Gaudi® 3 AI アクセラレーターの評価

近年のAI開発に用いられているプロセッサは、基本的にGPUだ。すでにコミュニティ形成も進んでおり、多くのAIエンジニアがその上でAI開発を行っている現状がある。

だが最近はAIに特化したプロセッサも増えてきている。とくに推論においては、非常に高速な専用チップも登場しており、用途に応じてさまざまなチップを使い分けてインテグレーションしていくような使い方が今後は増えていくだろう。AI開発は第二段階に足を踏み入れつつある。

そんななか、neoAIは2025年6月、neoAI Chatをインテル® Gaudi® 3 AI アクセラレーターベースで提供するための技術検証を実施したことを発表した。

「推論に関しては、同時に多数のユーザーがアクセスした場合の負荷テストを行いました。通常、アクセス数が増えるとAIの回答速度は遅くなりますが、どの程度遅くなるかを評価しました。50人や100人レベルのアクセスを入れても、リクエストの速度があまり落ちずに回答を返せたことから、ある程度大規模な利用にも耐えられそうだということがわかりました」(千葉氏)

「学習の方でも、オープンソースのLLMに日本語のデータを追加学習させる検証をしました。こちらも大きな問題なく、日本語のオープンソースモデルの日本語性能がちゃんと向上したことを確認できました。また、マルチノードの学習もテストとして実施し、複数のチップを繋げることでより大規模な学習を行えることも実証済みです」(千葉氏)

インテル® Gaudi® 3 AI アクセラレーターの技術検証を進めた背景には、“さまざまな環境下でneoAI Chatが動くようにしたい」という基本方針があるという。今後さまざまなAI向けチップが登場することが予想されるなか、既存のGPU以外の選択肢も用意し、企業がLLMごとのコストや強みを活かせるようにすることが狙いだ。

だが一般論として新しいチップには、コミュニティが未成熟な面がある。AIエンジニアがAIを開発できないのでは、いくら性能に特徴があっても宝の持ち腐れだ。「本当にインテル® Gaudi® 3 AI アクセラレーターでちゃんと学習させたり推論させたりできるのだろうか」というのが検証の最大のポイントだったという。

「実際にやってみると、細かな改善点はありつつも、違和感なく普通に推論できましたし、性能もすごく良く出ていました。学習に関してもマルチノード含め、ちゃんといろいろな学習ができました。選択肢として十分成立すると感じています。これからどのチップがどの分野で強くなるかは正直わかりませんが、選択肢が増えるのはすごく喜ばしいことです」(千葉氏)

一方、テスト前の印象と大きく変わったのは、推論や学習を行うためのライブラリやソースコードのサンプルが整っているか、すぐに使い始められるか、という点だったそうだ。

「ここが一番不安だったのですが、実際にはしっかりと整っていました。私の想定よりもだいぶ早く学習や推論を動かすことができたのは、とても良かった点です。インテルには、技術的な支援をいただいただけでなく、エンジニアからの提案にも迅速に対応いただきました。一緒に作り上げていく感じがありましたね」(千葉氏)

検証を終えた千葉氏から見て、インテル® Gaudi® 3 AI アクセラレーターの魅力はやはりコストパフォーマンスにあるという。企業から見ればAIはお金がかかる投資。コストと性能のバランスが良ければ企業も採用しやすく、またneoAIとしても勧めやすい。LLMだけでなくチップも選べる時代に向け、インテル® Gaudi® 3 AI アクセラレーターは十分な価値を有していると千葉氏は評価する。

インテル® Gaudi® 3 AI アクセラレーターは有効な選択肢のひとつに

neoAI ChatはもともとSaaSからスタートしたプロダクトだが、シングルテナントやオンプレミスなどへの対応を進めながら順調にバージョンアップを進めている。インテル® Gaudi® 3 AI アクセラレーターでの技術検証を終えたいま、千葉氏に今後の展望を伺った。

「次のステップとして、インテルやハードウェアベンダーと話し合いながら、お客様にどのようなパッケージを提案していくかを固めていくことになるでしょう。我々がすぐにインテル® Gaudi® 3 AI アクセラレーターの検証を行えたように、検証自体はすぐに始められる環境があります。なかでもコスト面が課題になっている企業にとっては、インテル® Gaudi® 3 AI アクセラレーターは有効な選択肢になるのではないでしょうか」(千葉氏)

最後に千葉氏は、いち研究者・いちエンジニアの視点から今後について、以下のように展望してくれた。

「用途ごとにチップを選べるということは、いち技術者としてすごく嬉しいなと思っています。LLMも最初はOpenAIが出てきて、それがいまでは多数のLLMから選ぶことができます。今後は選択肢がより増加し、コスト・性能・スピードのバランスを取りながら最適なものを選べるようになるでしょう。それらを吟味し、エンドユーザーの最適を提案する立場にある私たちにとって、インテル® Gaudi® 3 AI アクセラレーターは頼もしい存在となってくれると期待しています」(千葉氏)

関連リンク

[PR]提供：インテル