blog特許庁は困っている（はず）

こんにちは。株式会社amplified aiの追川です。

前回の記事ではAmplifiedが特許制度に抱いている問題意識とそれを解決する方法としてAIを位置付けて説明しました。実は同様の問題意識は米国特許庁（USPTO）からも発信され、事実USPTOは自前の調査自動化ツールを開発していたりします。今日はそのあたりの背景を、私が読んだ論文などをもとにご紹介しつつ、新しいツールの導入には新しいスキルが必要になるということを書きたいと思います。

日本国特許庁(JPO)が受けつける特許出願総数は年間で約30万件程度です。USPTOはその倍でおよそ60万件です。USPTOの営業日が260日だとすると、１年分の特許出願の審査を毎年処理するためには、1日あたり2300件を片付けないといけません。USPTOでは9614人の審査官がいるそうですので[1]、単純に考えると一人当たり１日に0.25件捌かないといけない。つまり一人の審査官が４営業日で１出願の審査を終えるというのが簡単な見積もりになります。楽勝じゃん、という気もしますが現実はそうでもありません。

特許審査官が一つの特許出願の審査にかけられる平均時間は18-19時間と言われています[2][3]。この時間で、審査官は出願の内容を確認して、先行技術を調査して、拒絶理由書を書いて、弁護士とのインタビューに応じたり、応答書を読んで憤慨して・・・と色々とやることがたくさんあるわけです。先行技術調査にかけられる時間は多くても実質この半分程度ではないかと思います。一般的な企業の感覚でも、8時間で１調査というのが先行技術調査として標準的なコスト感覚ではないかと思います。特許という重要な権利の有効性を決める手続きが、たった一人の審査官の8時間に委ねられているというのは、結構な驚きではないでしょうか？

出願人の立場からすれば、「8時間の調査で十分な審査になってるのですか？ 私の権利は無効になる心配はないんですよね？」と言いたくなります。事実「特許審査にかける時間が少ないので、特許の質が低いのではないか」という批判は常にあります。特許庁の権威を批判したら業界から干されてしまいそうですが、真剣に「特許庁は合理的に無知であって良い」という主張を論文にした人がいます。これが有名なM. Lemleyの"Rational Ignorance at the Patent Office"[3]です。

この論文を簡単にまとめると、「社会的に重要な特許権はごく僅かであり、ある推定のうえの試算では、特許審査に投資をしてより正確な事前審査をするよりも、僅かな重要な特許について裁判によって事後的に有効性を判断する方が、社会全体のコストは低い」と言うことを主張したわけです。

The essential insight of this Essay stems from the little-acknowledged fact that the overwhelming majority of patents are never litigated or even licensed. Because so few patents are ever asserted against a competitor, it is much cheaper for society to make detailed validity determinations in those few cases than to invest additional resources examining patents that will never be heard from again. In short, the PTO doesn’t do a very detailed job of examining patents, but we probably don’t want it to. It is “rationally ignorant” of the objective validity of patents, in economics lingo, because it is too costly for the PTO to discover those facts.

Lemley論文が発表されたのは2001年で、当時はあまり統計データも十分になかったということもあり、コストメリットの試算に推定値をたくさん使用していました。その後統計データが整ってきた2018年にこの主張に真っ向から対立する論文がでます。それが"Irrational Ignorance at Patent Office"という論文です[4]。

この論文を非常に簡単にいうと「Lemleyと同様の評価を今使える統計データからちゃんと評価してみたところ、特許庁の審査に投資した方が社会的メリットが大きい」ということでした。

This Article seeks to conduct a similar cost-benefit analysis to the one that Lemley attempted nearly fifteen years ago. In doing so, we employ new and rich sources of data along with sophisticated empirical techniques to form novel, empirically driven estimates of the relationships that Lemley was forced to assume in his own analysis given the dearth of empirical evidence at the time. Armed with these new estimates, this Article demonstrates that the savings in future litigation and prosecution expenses associated with giving examiners additional time per application more than outweigh the costs of increasing examiner time allocations. [中略・・・] Given its current level of resources, the Patent Office is not being “rationally ignorant” but, instead, irrationally ignorant.

このように、現在の特許審査が十分か不十分か、あるいはそれによって社会全体がコストを被っているのかという問題にはまだ答えがでていないわけです（永遠にでないと思いますが）。しかし、どちらの論文もこういう試算をした問題意識は同じで、「特許審査にかける時間が短すぎるから特許の質が悪い」という批判があることがそもそもの始まりです。

例えば米国会計監査院の2016年レポート[5]では、67%の審査官が必要な先行技術調査をするには時間が足りないと答えているそうです。実際に私が某特許調査会社にいた頃、同社で特許庁の審査に関わっていた人が言っていたことは「8時間では十分な調査はもちろん、必要最低限の調査も難しい」と率直に言っていました。私もそう思います。

we estimate on the basis of our survey that 67 percent of examiners find they have somewhat or much less time than needed to complete thorough prior art searches given a typical workload.

ではこの状況をどうやって解決したら良いのでしょうか？

審査官が使える時間を２倍にすれば良いのでしょうか？ そのコストは既に年間6.6億ドル（日本円で約700億円）に及ぶというのが試算です[4]。こうなると限られた8時間のやり方を変えるしかないというのが当然の発想になります。そこで限られた時間でより良い先行技術調査をするために、USPTOは自前のツールを開発する投資を決めたわけです。USPTOの自前ツールSigmaは2016年にお目見えしました[6]。2016年時点のものは、共起頻度を用いた従来の概念検索の域を出ていないように見えます。これは審査の透明性・説明可能性が重要だとして、ブラックボックスなツールは使えないと明言しているためで、人間が動作を理解できる機能に留めているのかもしれません[6]。この要件はUSPTOがAIを導入する大きなハードルになりそうです。SigmaはUnityと名前を変えて今も開発が進んでいるようです。

USPTOは「AIに投資する」と明言していますが、ユーザーである審査官のスキルも問題になり得ます。USPTOにおけるAI利用に関する論文[7]では、従来のキーワード検索に慣れている状況でなんらかのセマンティックなツールを使おうとする時には、新しい技能が必要であるということが指摘されています。USPTOとHarverd Business Schoolの共同研究によると、HBSの学生に先行技術調査をやらせたところ、コンピューターサイエンスの知識の有無によって、セマンティックツールを利用した際の先行技術文献を発見する効率に大きな差があったということです[7]。

Some insight into Sigma’s apparent lack of appeal, and the accompanying human capital challenge, might be gleaned from an experiment using Sigma that was run on business school students in cooperation with the Patent Office. The experiment randomly assigned business school students with and without computer science backgrounds to traditional Boolean search and to the Sigma tool. It found that students with computer science  backgrounds were able to use the Sigma tool to improve their efficiency in finding prior art. By contrast, those without a computer science background did better with traditional Boolean search, even though the Boolean search retrieved more irrelevant documents. The authors suggest that these results show that students without computer science backgrounds were comparatively skilled at sifting through the irrelevant documents quickly. Although the experiment has obvious limitations with respect to external validity, it does provide some insight into the "absorptive capacity” necessary for adoption of machine learning techniques.

ここに書かれている「機械学習の技術を導入するために、ある程度の知識吸収能力(Absorptive Capacity)がないといけない」というのは、Amplifiedにてお客様と接する私としては非常に共感するところが多いのです。AIや他のセマンティックツールを使って文献を見つけるスキルと、検索式を作って母集団からノイズ除去を除去するスキルは、必ずしも同じではないということです。AIツールを導入して運用するとなると、そのツールを使いこなすためのスキルが新たに必要となるわけで、それが明らかにならないと利用が進まないということでしょう。USPTOもこの点は新しいツールの導入に向けて悩みどころのようです。 Amplifiedの場合は、「発明を文章にする力」が新たに必要となるスキルと言えます。

今回は特許審査にはどの程度の時間が割かれているかということを見つつ、USPTOも審査にかけられる限られた時間の中で、どのように適切な先行技術文献を見つけるか腐心していることをご紹介しました。USPTOでさえ、自前ツールを作るほどに先行技術調査に課題を感じていることをご理解いただけたのではないでしょうか？

そして、USPTOもAIを使うという意思表示をしていますが、このパラダイムシフトにおいては、調査をする私たち自身がAIを使いこなすスキルが必要になることがわかっているのです。

次回は、AI特許データプラットフォームである弊社の「Amplified」において必要となる「発明を文章にするスキル」についてご説明したいと思います。

参考文献 [1] USPTO Performance and Accountability Report (2019)

[2] M.D.Frakes, M.F.Wasserman NBER Working Paper No. 20337

[3] M.Lemley UC Berkeley Public Law Research Paper No. 46; 95　Northwestern University Law Review 1495 (2001)

[4] M.D.Frakes, M.F.Wasserman Vanderbilt Law Review, Vol. 72, (2019), Forthcoming Duke Law School Public Law & Legal Theory Series No. 2018-64

[5] GAO-16-479, "Patent Office Should Strengthen Search Capabilities and Better Monitor Examiners' Work" (2016)

[6] A.Krishna et. al., The 2016 AAAI Fall Symposium Series, Cognitive Assistance in Government and Public Sector Applications, Technical Report FS-16-02

[7] Arti K. Rai, Iowa Law Review,  Vol. 104, 2617