NECは2019年12月に「AI品質ガイドライン」を策定したと発表した。AIシステムは、従来型システムとは開発手法が異なり、品質が十分であるという測定、確認するテスト技法は存在しない。さらに、AIシステムによる分析結果は、人間では解釈が難しいこともある。そのような事情から、従来のソフトウェア本質保証に関するガイドラインだけでは、開発が難しかった。

今回NECが策定した「AI品質ガイドライン」は、同社がこれまでAIシステムを開発しながら利用してきたルールをまとめ、社内のシステム開発で実証し、策定したもの。
NECはこのガイドラインを同社グループでAIシステム開発に携わっている従業員の情報交換のためのコミュニティ「NEC Data Analyst Community」に公開し、開発者に周知する。その後、2020年4月のAIシステム開発からガイドラインの利用を始めるとしている。

NECが今回策定したガイドラインの特徴は2つ。
1つ目は、AIシステムの開発に必要な作業ごとにチェック項目を設定したこと。AIシステムは通常のソフトウェア開発の流れを基本に、概念実証（PoC：Proof of Concept）、データの収集と加工、学習モデルの作成、その評価とテストといった、AIシステムならではの作業が必要になる。そこで、この作業ごとに具体的基準を設定し、チェック項目を用意した。

2つ目は、システム開発に使用するデータに定量的基準を設けたこと。機械学習のモデル作成に使用するデータの量や外れ値、欠損値などの項目に基準を設定した。この基準は、これまでNECがAIシステムを開発してきた経験から導き出したものだ。明確な基準を設定することで、AIシステムの品質を第三者による判断が可能になるとしている。