RAKUSETSU LAB

Playwrightって何? AIがサイトを読む仕組み

最近のAIは、人間のようにブラウザを操作してWebサイトを読みに来ることがあります。その仕組みをかんたんに解説します。

Playwrightとは

Playwrightは、プログラムからブラウザを自動で操作するためのツールです。もともとはWebサイトの「ちゃんと表示されるか」「ボタンを押したら正しく動くか」をプログラムで自動テストするために作られました。マウスをクリックしたり、文字を入力したり、ページをスクロールしたりといった操作を、人が行う代わりにプログラムが行います。

この「ブラウザを自動操作できる」という性質は、テスト以外にも使えます。たとえば、AI(検索エンジンや対話型AIなど)がWebサイトの内容を読み取りたいときにも、Playwrightのようなツールが使われることがあります。

AIクローリングの仕組み

AIがWebサイトの内容を知りたいとき、単純にHTMLの文字データだけを取ってくる方法と、Playwrightのように本物のブラウザを立ち上げてページを開く方法があります。後者の場合、JavaScriptによって後から表示される内容(たとえば「もっと見る」を押すと出てくる情報)も、人間が見るのとほぼ同じ状態で取得できます。

AIがPlaywrightを起動

「このサイトを読んで」という指示を受け取る

STEP 1

本物のブラウザを操作

Chromiumなどを裏側で立ち上げ、ページを開く

STEP 2

人間と同じように読み込む

JavaScriptも実行し、表示された内容を取得する

STEP 3

取得した内容をAIが利用

要約・回答・検索結果などに反映する

STEP 4

つまりAIは、人間がブラウザで開いたときとほとんど区別がつかない形でサイトにアクセスできる、ということです。

検知方法

サイト側は、いくつかの手がかりから「これは人間ではなく自動化されたアクセスかもしれない」と推測できます。代表的なものは次のとおりです。

どれか1つだけで確実に判定できるわけではなく、複数の手がかりを組み合わせて「怪しさ」を判断するのが一般的です。

まとめ