リンクだけでWebサイトを数値化、Common Crawlが公開した「128次元」の仕組み｜2026年9月14日版
Webサイトの文章を読まずに、似たサイトを探す。Common Crawlが9月7日に公開した実験的なデータセットは、サイト間のリンク関係から約5,290万のWebホストを128個の数値で表現するものだ。
AI向けのデータ選別や検索候補の抽出に、文章とは別の手掛かりを加えられる。 一方、リンクの少ないサイトや新しいホストには、そのまま使えない制約がある。2026年9月14日、日本時間時点の公開資料から、仕組みと実装上の注意点を整理する。公式発表
- 入力はリンク関係。本文やホスト名の文字列は学習に使わない。
- 出力はホストごとの128次元ベクトル。類似検索や分類の特徴量に使える。
- 対象はリンク数の条件を満たすホストに限られ、Web全体を網羅するものではない。
何が新しいのか――リンク構造を機械学習で使える形に
今回の公開物の中心は、学習済みの数値データだ。
Common Crawlは従来から、どのサイトがどのサイトへリンクしているかを表す「Web Graph」を公開してきた。今回は、その関係を機械学習に渡しやすいベクトルへ変換して配布する。
ベクトルは、対象の特徴を数値の並びで表したもの。近いベクトルを検索すれば、リンク構造上で似た位置にあるホストを取り出せる。文章の意味を表す埋め込みと組み合わせれば、サイトの内容とつながりを別々の手掛かりとして扱える。
公開リポジトリでは、用途として話題別のグループ化、ミラーサイトなどの発見、候補抽出、スパム判定の補助を挙げている。ただし、近くにあるサイト同士が同じ運営者であることや、情報が正しいことを保証する仕組みではない。公開コードと用途の説明
128個の数値はどう学習するのか
学習の課題は「この2つのホストの間にリンクがあるか」だ。
各ホストに128次元のベクトルを割り当て、実際につながっている組と、ランダムに作った比較用の組を区別するよう数値を調整する。公開実装は、実リンク1件に対して50件の負例を使う。負例とは、学習時に「リンクがない側」として扱う比較対象だ。
2つのベクトルの内積をスコアにし、実リンク側のスコアが高くなるよう学習する。ホストごとの数値表を直接学ぶシンプルな構成で、近隣ノードの情報を順次集約する処理は使っていない。学習方式の仕様
ここから重要な制約も生まれる。内積は組の順序を入れ替えても同じ値になるため、「AがBへリンクする」と「BがAへリンクする」を区別できない。 参照する側と参照される側の違いが重要な用途では、元のリンク方向などを別途扱う必要がある。
約5,290万ホストでも、全サイトに使えるわけではない
実装前に確認したいのは、対象サイトがデータに含まれるかどうかだ。
データセットの基になったのは、2025年11月・12月と2026年1月のクロールをまとめたグラフ。入出リンクの合計が8以上あるホストに絞っている。残ったホストは元の約19％だが、リンクの約97％を含む。データセットの収録条件
つまり、多くのリンクを持つ部分を残し、つながりの乏しい部分を落とした設計だ。新設サイトや外部とのリンクが少ないサイトを対象にする場合、この欠落は無視できない。
さらに、未知のホストを入力して即座にベクトルを作るエンコーダーは提供されていない。学習対象に存在しないホストを追加するには、再学習が必要になる。
- 収録済みのホスト：公開ベクトルを取り出して比較できる。
- 未収録のホスト：本文検索など、別の方法で処理する必要がある。
- 最近変化したサイト：公開日と元データの時期を分けて考える必要がある。
なお、Common Crawlは6〜8月のクロールに基づく別のWeb Graphも8月25日に公開している。しかし、今回の埋め込みがその新しいグラフから作られたわけではない。6〜8月版Web Graphの発表
日本語サイトで試すなら、まず候補抽出の補助に
日本の開発者にとって、試しやすい入口は既知のサイトの近傍検索だ。
公式の近傍検索デモでは、ホスト名を入力して128次元空間で近いホストを調べられる。全データをダウンロードする前に、目的に合う候補が出るかを確認できる。
例えば、地域情報を集める検索システムへの応用を考えるなら、既知の情報源から関連サイトの候補を広げ、本文で掲載内容や更新日を確認する使い方が考えられる。これは応用案であり、地域情報検索での効果が実証されたという意味ではない。
試験では、次の3点を分けて記録すると判断しやすい。
- 対象とする日本語サイトのうち、何割が収録されているか。
- 近傍に出たサイトのうち、実際に用途に合うものは何割か。
- 本文だけで候補を探す場合と比べ、発見できるサイトが増えるか。
リンクが似ていることを、そのまま情報の信頼性へ置き換えない。最終的な採用判断では、本文、運営主体、更新日を確認する設計が必要だ。
継続ウォッチ――更新と未収録サイトの扱い
今回のデータは実験公開で、データセットカードには追加バージョンを現時点で予定していないと記載されている。定期更新される前提で運用を組む段階ではない。提供状況と制約
次に見るべき点は明確だ。
- リンクの方向を学習に取り込めるか。
- 新しいクロール時期のベクトルが提供されるか。
- リンクの少ないサイトや未収録ホストをどう補うか。
導入判断の最初の一歩は、対象サイトの収録率を測ることになる。検索候補が改善しても、必要な情報源が抜けるなら、その穴を埋める処理まで含めて評価したい。