Galileo、834%のrevenue成長をAI evaluation platformへ変えた転換

冒頭：AIを作る前に、測れる状態を作る

Galileoは、生成AIを本番へ運ぶときに「動く」だけでは足りず、品質を継続的に測る必要があるという問題から始まった。

公式ブログでは、Vikram Chatterji、Yash Sheth、Atindriyo Sanyalの3人をCo-founderとして紹介している。出典

創業：AIの測定問題へ

Vikram ChatterjiはCo-founder and CEOとして、Galileoを「AIのmeasurement problem」を解く会社として位置づけた。

公式発表は、チームが2021年からこの問題に取り組んできたと説明する。出典

「With these challenges in mind, we founded Galileo 3.5 years ago to enable builders to fully harness the potential of language models at scale.」とVikram Chatterjiは書いている。出典

転機：evaluationを研究から製品へ

GalileoはChainPollを通じて、LLMに別のLLMを尋ねるだけではない評価手法を打ち出した。

さらにLuna Evaluation Foundation Modelsでは、production scaleの評価を低レイテンシ・低コストで実行する方向へ進んだ。出典 出典

成長：834%のrevenue成長をplatformへ

2024年のSeries B発表で、Galileoは$45Mを調達し、2024年初頭からrevenueが834%成長、enterprise customersが4倍、Fortune 50企業6社を獲得したと公表した。出典

この成長を単一のobservability機能だけで終わらせず、Evaluate・Observe・Protectを含むEvaluation Intelligenceへ束ねた点が転換だった。

AI開発の各段階を同じ評価言語でつなぎ、品質・安全性・運用を一つの意思決定に近づけている。出典

現在：agent reliabilityへ

Galileoはagentの評価とobservability、guardrailsを組み合わせ、agentが一度動くかではなく、現実のトラフィックで安定して動くかを測る platformへ広がっている。出典

2026年にはAgent Controlをopen-source control planeとして発表し、agent運用の制御面にも踏み込んだ。出典

Galileoの道のりは、AIモデルを作る会社になることではなく、企業がAIを出荷する前後に「何を測れば信頼できるか」を製品化することだった。

生成AIを本番運用する企業は、モデルの回答品質・hallucination・security・costを継続的に確認する必要がある。

Galileoはevaluationとobservabilityを別製品に分けず、同じ測定基盤で開発からproductionまでをつなぐ。出典

834%のrevenue成長とenterprise customer 4倍は、この痛みが予算化されたことを示す。

ただし公開値は2024年発表時点であり、現在の規模は要確認。

評価metric、研究成果、production traceの運用知識が蓄積するほど、単なるdashboardより深いdomain moatになる。

特に評価結果をguardrailと改善へ戻すworkflowが複数チームに定着すると乗り換えコストが上がる。

強いnetwork effectではなく、データ学習効果が中心。

利用企業とtraceが増えるほどmetric・benchmark・failure patternの知見は厚くなるが、顧客間でデータが直接交換されるわけではない。

LLM applicationやAI agentを本番運用するproduct・ML・platform team。

promptの試行だけでなく、品質を継続測定し、securityやregulatory riskを説明する必要がある企業向け。

単発のprototypeや完全にofflineなモデル研究には過剰。

第一に、ChainPollやLunaのように研究成果を低コスト・低レイテンシの製品機能へ落とした。

第二に、Evaluate・Observe・Protectを束ね、AI lifecycleの広い接点を作った。出典

第三に、enterprise customerの実運用データを評価改善へ戻す設計を採った。

AI evaluationはモデル・用途・企業ごとに正解が異なり、単一metricで品質を保証できない。

Lunaの精度やコスト優位も自社測定が中心で、第三者比較は限定的だ。

Ciscoによる買収意向が公表されており、独立した製品ロードマップとブランドの継続性は要確認。出典

research-led contentでAI qualityの問題を定義し、free tierとdeveloper向け導入で試用を広げ、enterpriseにはRBAC・security・on-premises・専用supportを売る二段構え。

Series B発表で評価からobservability、guardrailsへ範囲を拡張した。出典

主要チャネル: content, developerCommunity, productLedGrowth, partnerships, sales

AI infrastructureではモデルの性能だけでなく、性能を測る共通言語が導入のボトルネックになる。

研究・evaluation・observabilityを別々に売るのではなく、同じtraceとmetricを開発から本番まで流す設計が、enterpriseの複雑さを価値へ変える。

日本企業向けには、社内データの持ち出し制限、個人情報、監査ログを前提にしたon-premises・private cloudの説明が重要になる。

日本語評価データの品質と業界別の基準を最初から用意できれば、汎用metricとの差別化になる。