コンテンツにジャンプ
ご質問は?PaperOffice AI Phone Agent 24/7+49 69 3487102-0
Academy お問い合わせ 概要 概要 ニュース ニュース
共有
テクノロジー 2022年10月24日 7 分

自動化されたデータ収集と抽出における正規表現(REGEX)の活用(第2回)

REGEXをステップバイステップで解説:日付、注文番号、商品番号の例と、PaperOffice AIフィールドをAIで読み取り、パターンで検証する方法。

すべての記事 テクノロジー

今回の記事では、正規表現を活用して自動化された文書処理の恩恵をどのように得られるかをご紹介します。これは業界を問わずあらゆる企業の文書に適用されます。

正規表現の具体的な例を示し、その意味とご自身でどのように活用できるかをステップバイステップで解説いたします。

これにより、業務効率を向上させ、精度の向上によって人的ミスを削減し、コストを削減し、データの整合性を維持し、データセキュリティを強化することができます。

今回の記事は、インテリジェントな文書処理に関する最初のパートを補足するものであり、こちらの記事へ直接アクセスできます。

文書から特定のデータ要素を抽出することは、非常に高額で時間がかかる作業となる場合があります。多くの場合、文書のスキャンが大手アウトソーシングのデータ入力企業に送られ、手動でデータが入力されます。

しかしながら、このアプローチには以下の様々なデメリットがあります:

  • 文書のセキュリティが脅かされる可能性があります
  • ワークフローに遅延が生じます
  • 自動化された抽出と比較して、手動でのインデックス作成は時間がかかるプロセスです
  • 大規模なプロジェクトにおいて、手動でのインデックス作成はスケーラビリティに課題があります
  • 手動でのインデックス作成により、データに誤りが混入するリスクがあります
  • 文書が変更された場合、作業は最初からやり直す必要があります

その他多数。

スキャン技術が普及しているにもかかわらず、ビジネス取引の多くはまだ紙ベースの文書に依存しています。多くの請求書は依然として紙やPDFで送付され、そのデータを読み取る必要があります。

さらに、膨大な量の既存の紙文書を巨大な倉庫に保管しなければならないという課題もあります!

正規表現とは?

正規表現(Regex)は、テキストの検索と操作のための強力なツールです。これにより、テキスト内の複雑なパターンを認識し、処理することができます。

正規表現は、通常の文字と特殊なメタ文字の組み合わせで構成されており、それぞれが特定の機能を持っています。

正規表現は、テキストの置換や操作にも使用できます。例えば、正規表現を用いて、テキスト内のすべての日付を統一された形式に書き換えることが可能です。

正規表現は、テキスト処理およびタスクの自動化において非常に強力なツールです。

正規表現は、どのように企業の自動化に貢献できるのでしょうか?

形式や命名規則が多種多様で、適切な検索システムが整備されていないデジタル文書が増加する中、文書情報の抽出プロセスは困難を極めます。特に分類されていない文書の場合、検索の精度は低下し、所要時間は大幅に長引きます。

正規表現(Regex)は、文書内の特定のデータを高速かつ強力に検索、抽出、置換するための方法を提供します。正規表現とは、本質的に検索パターンを記述するための特殊な文字列です。

これにより、文書の内容が指定された文字列に基づいて検索され、抽出されます。 正規表現とは、特殊な記号を用いて情報内のパターンを定義する方法です。

正規表現による方法は、抽出する値の位置が変動し得る文書や、シンプルな文書テンプレートが機能しない場合に最適です。

正規表現は形式を見つけ出し、文脈は意味を見出します。PaperOffice AIはそのため、テンプレートのトレーニングなしで、文書の文脈からAIによってフィールドを読み取り、正規表現を検証ルールとして活用します。詳細については、インテリジェント文書処理(IDP)のページをご覧ください。

正規表現はどのように組み立てればよいですか?

正規表現は、検索するパターンの種類に応じて、さまざまな方法で組み立てることができます。

., *, +, ?, ^, $, []、[a-z]などのメタ文字を使用して、特定の種類の文字やパターンを表現します。

オプションの要素を使用する: パターンの一部をオプションにするには、疑問符 (?) またはアスタリスク (*) を使用します。

グループ化の使用: 丸かっこを使用してパターンの一部をグループ化し、それらを1つの単位として扱います。

正規表現のルールはプログラミング言語によって異なる可能性があることに注意することが重要です。そのため、使用しているツールのドキュメントを確認することが不可欠です。一般的な実装としては、ECMAScript (JavaScript) や PCRE2 などがあります。

ヒント

PaperOffice AI に IDP Agent を作成し、そのフィールドを設定する方法については、弊社のアカデミーにある動画「IDP-Agent の作成」をご覧ください。

REGEX を使用してドキュメントから情報を抽出する方法は?

実践例

以下では、複数の部分からなる正規表現を用いて、文書のテキスト内にある特定のデータをどのように見つけるかを実例で解説します。PaperOffice AIには、そのような式をフィールドのパターンとして登録します。IDP Agentは読み取った値をパターンと照合し、一致しない値は自動的に人間による確認へ回すことができます(Human-in-the-Loop)。

以下に、特定の日付を記載したサンプル文書をご用意いたしました。この文書は請求書となります。当社の文書における日付のフォーマットは以下の通りです。

請求書の日付が記載されたサンプル

月名(最初の文字は常に大文字)、続いて半角スペース、日、カンマ、さらに半角スペース、そして年です。

例:Sep 20, 2019またはMär 05, 2022

この日付を抽出するには、以下の正規表現(REGEX)を使用できます:

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

式を個別のグループに分解してみましょう。これらのグループは、丸括弧 () によって区切られています。

最初のグループでは、月を表す3文字(([A-Z][a-zä]{2}))を検索します。

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

月の抽出

  • [A-Z] この記述は、AからZまでの大文字を検索することを意味します。例えば、「Sept」の「S」などです。なお、大文字と小文字は区別して扱われる点にご注意ください。
  • [a-zä]{2} この文字列は、a-zの2つの小文字、および「März」(ドイツ語の3月)の月名に使用される「ä」を検索することを意味します。これは「Sep」のepや、ドイツ語の「Mär」のärに該当します。

次に、以下の文字列で空白を検索します:\s

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

日の抽出

第2のグループでは、日を数字で表した値を探します:(0[1-9]|[12][0-9]|3[01])

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

日の指定は、3つの異なる選択肢に分ける必要があります。
文書にどの日付が含まれるかは分からないため(月の初日(01)の場合も最終日(31)の場合もあります)、それに応じて複数の選択肢を指定する必要があります。
これらは「|」の記号で区切ります。
例:(1|2|3) = 1 または 2 または 3。

角括弧内には、許可される文字のリストが続きます。複数の角括弧は、複数の文字に対応します。 一つの式で複数の文字を表現する場合は、それらを単純に連続して記述します。その後、入力は左から右へ順に、作成した式と比較されます。

もちろん、すべての数字を列挙する必要はありません。ただし、括弧で囲まれた全体の式は、あくまで1文字を表すことに注意してください。

  • 0[1-9] この文字列は、数字が「0」で始まり、その後に1から9の数字が続くことを意味します。つまり、01から09までの任意の数字が取得されます。
  • この文字列は、「0」で始まる数値パターンを検索します。もしお客様の文書に通常「5. März 2022」のような日付表記が含まれており、数字「5」の前に「0」が付かない場合は、文字列内の「0」は省略されます。
  • [12][0-9] この文字列は、数字が「1」または「2」で始まり、その後に0から9の任意の数字が続くことを意味します。結果として、10から29までの任意の数字が取得されます。
  • 3[01] この文字列は、数字が「3」で始まり、その後に「0」または「1」が続く可能性があることを意味します。結果として、30または31となります。

日のオプションを定義した後、年の式を決定する必要があります。

次に、カンマと空白文字を検索します: ,\s

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

年を抽出する

最後のグループでは、年を特定します:(20\d{2})

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

任意の年を起点として検索を開始しますが、その年は2000年以上であることが分かっています。

  • 20 この文字列は、ちょうど20で始まる任意の年を検索することを意味します。
  • \d{2} この文字列は、00から99までの2桁の数字を意味します。

例えば、\dは0から9の数字を表し、\d{2}は2桁の数字を検索します。

正規表現をサンプルドキュメントのテキストに適用すると、最終結果として日付 「Sep 20, 2019」 が得られます。

このように、元の値を知らなくても、文書から任意の日付を読み取ることができます。これらのグループは他の場所でも自由に使用・移動でき、異なる日付形式を読み取ることが可能です。

さらに別の例を示します:

請求日が記載されたサンプル請求書その2

日付は日から始まり、その後に文字からなる月が続きます。月の最初の文字は常に大文字です。その後にピリオド、さらに空白、そして年が続きます。

この日付を抽出するには、先ほど説明した正規表現(REGEX)を使用できます。ただし、2番目の例では月の後に「ピリオド」が指定されているため、追加の補完処理が必要です。

これは、次の文字列で指定できます:\.

したがって、完全な式は以下のようになります:

(0[1-9]|[12][0-9]|3[01])\s([A-Z][a-zä]{2})\.\s(20\d{2})

作成された正規表現は、いつでもhttps://regex101.comのページで検証いただけます。該当する正規表現とテキストを貼り付けるだけで、正規表現が正しいかどうかを確認できるだけでなく、その仕組みについても詳しく解説してくれます。

こうして、さまざまな文字グループをあらゆる場面で活用できます。

REGEXを活用して注文番号を読み取る

さらに別の例として、文書から注文番号を読み取りたいと思います。

注文番号が記載されたサンプル文書

当文書上の注文番号は、以下の形式で記載されています。

これは常に大文字のXYBで始まり、その後にハイフン、8桁の数字、さらに別のハイフン、そして最後にランダムな大文字3文字が続きます。

注文番号の例としては、以下のようなものがあります。

XYB-12316723-LSH

XYB-98456723-JRD

この注文番号を抽出するには、以下の正規表現を使用できます:

XYB-\d{8}-[A-Z]{3}

式を一つずつ分解して見ていきましょう。

まず、ハイフン記号を使用して最初の3文字の大文字を正確に検索します:XYB-

XYB-\d{8}-[A-Z]{3}

その後、8桁の数字とさらにハイフンが続くものを検索します:\d{8}-

XYB-\d{8}-[A-Z]{3}

記号\dは、前述の通り0から9までの数字を意味し、\d{8}は8桁の数値を検索します。

最後に、任意の3つの大文字を検索します:[A-Z]{3}

XYB-\d{8}-[A-Z]{3}

このように正規表現は、以下の注文番号のうち:

XYB-12316723-LSH

XYB-98456723-JRD

XYB-975432671829

ZYB-12342176-ZHD

最初の2つ、XYB-12316723-LSH と XYB-98456723-JRD を

認識します。

この例として、Regex101へのリンクをご用意いたしました。ここでは、前述の正規表現を4つの例で示しています。指定された注文番号のうち、要件を満たすのは2つだけであることがおわかりいただけるでしょう。

REGEXによる商品番号の抽出

当社の文書に記載されている商品番号は、以下の形式で構成されています:

この番号は常に2つの大文字で始まり、その後にハイフン、さらに6桁の数字が続きます。

商品番号が記載されたサンプル請求書

商品番号の例を以下にご紹介します:

MS-863398

DS-452829

これらの商品番号を抽出するには、以下の正規表現を使用できます:

[A-Z]{2}-\d{6}

PaperOffice AI はお客様の文書をデジタル化し、API、MCP、Connectors を介してお客様のシステムに連携します。これにより、各フォーマットごとに独自の正規表現式を作成・保守することなく、AI によって請求書やその他の書類からデータを自動的に抽出できます。

お問い合わせいただき、お客様のユースケースについてご相談ください。また、デジタル時代にお客様がさらに競争力を高めるうえで PaperOffice AI がどのようにお役に立てるか、詳しくご説明いたします。

スタートは、想像よりも簡単です。

うまくいかないのではと、まだ不安をお持ちですか?当社のお客様の導入事例をお読みいただき、その手軽さをご自身でお確かめください。あるいは、ブラウザ上で無料アカウントを作成し、PaperOffice AI の ライブデモ を直接お試しください。

ペーパーレスオフィスは誰に適しているのでしょうか?

この質問に対する迅速かつシンプルな答えは、「すべての企業」です。ペーパーレスオフィスからの恩恵は、中小企業やスタートアップから大企業に至るまで、あらゆる業界と規模の企業が享受できます。特に中小企業にとって、その移行は極めて価値のあるものとなります。 処理コストと工数の削減により、さらなる成長を後押しするための予算が浮きます。

会社のペーパーレスオフィスのために、クラウドベースのDMSプロバイダーを使用できますか?

はい。プロバイダーがお客様の文書をEU内で処理し、GDPR第28条に基づく委託処理契約(AVV)をお客様と締結していれば可能です。遅くとも2018年にGDPRが施行されて以来、データ保護は広く注目されています。DMSソリューションは、機密性の高い個人データを含むことが多い文書を処理・管理・保存しており、GDPR違反に対して法律は高額な制裁金を定めています。PaperOffice AI はお客様の文書をスペイン(EU)の自社データセンターで処理します。その際、ファイルはお客様の独自のストレージに置いたままにできます(Bring Your Own Storage)。完全にローカルで運用したい場合は、PaperOffice Classicをご利用ください。

  • メリットは、その労力とコストに見合うものです
    デジタルワークへの移行と旧文書のデジタル化は、将来において莫大な時間、コスト、そして精神的負担を節約するための最良の投資となります。
  • 専門知識を持つパートナーが必要です
    デジタル化の恩恵を最大限に受けるために、自社でITスペシャリストを抱える必要はありません。
    必要なのは、お客様に寄り添い、その経験によってお客様が必要とすることを的確に実現できる適切なパートナーです。不安を煽る相手は避け、実際に試されていない華やかなPowerPointのプレゼンテーションではなく、テスト導入を選びましょう。
  • ハードウェアはすでに揃っていることが多い
    経験則として、ほぼすべての事業所や企業には、その真価を十分に発揮していない複合機が設置されています。これらの装置は大量スキャンに強く、クリップにも寛容で、スキャナーへの追加投資なしでデジタル化を始めるための理想的な基盤となります。
  • 適切なDMSを選べば、予想よりお手頃
    メーカーに無条件に従属するDMS/ECMシステムのコストの落とし穴を回避しましょう。ドキュメントタイプの独自設定や各種調整など、自前の管理機能については妥協しないでください。サポートが必要な際にはメーカーが喜んでお手伝いいたしますが、自立性と独立性を維持することが重要です。
  • デジタル自動化は未来です
    今後、業務プロセスはまったく同じように進みますが、完全に自動化されます。
    請求書が入ってきたら?ワークフローが自動的に起動し、事前に定義された経路をスムーズに進行します。
    1,000冊のファイルをすべて検索する?問題ありません。お客様専用のGoogleを持っているからです!

著者について

PaperOffice AI チーム

コンテンツ&リサーチ

AI、AI-IDP、およびインテリジェントな文書自動化の最新動向について、24 年以上の経験を持つ AI 専門家、エンジニア、業界エキスパートのチームがレポートします。

この記事を共有 LinkedIn

次回の記事をお見逃しなく

AIとドキュメントオートメーションに関する最新のインサイトを直接受信トレイにお届けします。

未来への準備はできていますか?

PaperOffice AI がドキュメントプロセスをどのように変革できるかを発見してください。

PaperOffice AI · Problem Solver

私たちにお聞かせください、 日々の業務で時間を取られていること。

簡単にご記入ください。専門用語は不要です。

または、例から始めてみましょう

PaperOfficeはどのようにご利用になりますか。

PCとスマートフォンが接続されました:PCでワークスペース、電話で取得。

どこから始めますか?

フルワークスペースはPC用に最適化されています。モバイルバージョンは文書の取得、確認、共有に適しています。

無料で登録 app.paperoffice.ai

PCで開始する

パーソナルアクセスリンクをメールアドレスにお送りします。