データのクレンジング

クレンジング プロセスでは、重複した情報、誤った情報、または不要な情報がデータから除外されます。これは、 ジョブの実行後、 インポートの前に行われます。クレンジングは手動でトリガーできますが、通常はコマンドラインから Cleanse and Import クライアントを実行することでトリガーされます。

データを手動でクレンジングする

1 つのデータ ソースを データ マネージャー内から手動でクレンジングする手順

1. データ マネージャーで、左側のメニュー バーの [クレンジングしてインポート] を選択します。

2. クレンジングするデータソースを 1 つ選択します。

3. [...] を選択してから、[クレンジング] を選択します。前回のクレンジング操作の結果が表示されます。

4. [>>開始] を選択します。クレンジングプロセスが開始され、クレンジングの結果が自動的に更新されます。このページを離れても、クレンジングは停止されず、バックグラウンドで完了します。

データ マネージャー内から複数のデータ ソースを手動でクレンジングするには、次の手順を実行します。

1. データ マネージャーで、左側のメニュー バーの [クレンジングしてインポート] を選択します。

2. 左側のメニュー バーで 1 つ以上の データ ソース を選択します。

3. ページの上部で [ 選択項目をクレンジング] を選択します。前回のクレンジング操作の結果が表示されます。

4. [>>開始] を選択します。クレンジングプロセスが開始され、クレンジングの結果が自動的に更新されます。このページを離れても、クレンジングは停止されず、バックグラウンドで完了します。

[データ マネージャー > クレンジング分析] 画面でクレンジングされたデータの結果が表示され、さまざまなクレンジング ルールがデータにどのような影響を与えたかを確認できます。

MacOS 用の Cleanse and Import クライアントを使用してデータをクレンジングする

クレンジングとインポートはデータ マネージャーから実行できますが、コマンドラインからCleanse and Import クライアントを使用してデータのクレンジングとインポートを行うこともできます。

Mac/Linux 用の Cleanse and Import クライアントを実行するには、次の手順を実行します。

1. Mac の Finder アプリ ([アプリケーション] > [ユーティリティ] > [ターミナル]) に移動して、コマンド ライン インターフェイスを開きます。

2. データ マネージャー クライアントの場所に移動します。

   1 cd /Users/Shared/assets_data_manager

3. CPU に合った Cleanse and Import クライアントのバージョンを選択します。次から選択します。

   1 2 cd osx-arm64/assets-cleanse-and-import-client cd osx-x64/assets-cleanse-and-import-client

4. 必要に応じて、help コマンドを使用して、 Cleanse and Import クライアントの設定方法の詳細を確認できます。

   1 ./dm-cleanseimport --help

5. アプリを実行するには、次の 2 つの情報が必要です。

   1. ワークスペース ID。これは次のようになります。

      1 e44regc98-8d2r-3af7-011t-209p44716366

   2. Cleanse and Import クライアントのトークンこのトークンは、こちらの手順に従って作成できます。完全なトークンは次のようになります。

      1 ATCTT3xFrTN0U64VR99p1VfpQtLlpar7R4hq6PSkiNNaNOyk37P_7URVmROOp1Orez-ijlluMRwJA7Cw1LsgMFq

6. コマンド ライン インターフェイスで Cleanse and Import クライアント アプリを実行し、プレースホルダー テキストを ワークスペース ID と Cleanse and Import クライアント トークンに置き換えます。

   1 ./dm-cleanseimport --run "cleanse" --workspace-id <workspaceId> --token <your-Cleanse-and-Import-token>

7. アプリを実行するときに、次のオプションのパラメーターを使用することもできます。

   1. “cleanse" パラメーターを “full" に置き換えることでデータのインポートとクレンジングの両方を同時に選択します。

   2. クレンジングまたはインポートするデータ ソースのタイプを 1 つ選択します。データ ソース タイプ名にスペースが含まれている場合は、引用符で囲む必要があります。

      1 --type "My Data Source Type Name"

   3. クレンジングまたはインポートする単一のデータ ソースを選択します。データ ソース名にスペースが含まれている場合は、引用符で囲む必要があります。

      1 --ds "My Data Source"

   4. クレンジングまたはインポートする単一のオブジェクト クラスを選択します。

      1 --object "Compute"

   5. プロキシサーバーを選択します。

      1 --proxy "Address" or -p "Address"

   6. プロキシ サーバーに対して認証するユーザー名を選択します。

      1 --proxy-user "Username" or --proxy-user Username

   7. プロキシ サーバーに対して認証するパスワードを選択します。

      1 --proxy-pass "Password" or --proxy-pass Password

   8. 既定の資格情報を使用して、プロキシ サーバーに対する認証を行います。

      1 --proxy-default-credentials

   9. プロキシサーバーへの認証時に表示される無効なサーバー証明書をバイパスします。

      1 --bypass-invalid-certificate

8. ジョブが完了すると、Cleanse and Import クライアントの実行中にエラーが発生したかどうかを示す成功メッセージが表示されます。

Linux 用の Cleanse and Import クライアントを使用してデータをクレンジングする

クレンジングとインポートはデータ マネージャーから実行できますが、コマンドラインからCleanse and Import クライアントを使用してデータのクレンジングとインポートを行うこともできます。

Linux 環境で Cleanse and Import クライアントを使用してデータをクレンジングするには、次の手順を実行します。

1. Cmd + Alt + T を使用して、コマンド ライン インターフェイスを開きます。

2. データ マネージャー クライアントの場所に移動します。

   1 cd /Users/Shared/assets_data_manager

3. CPU に合った Cleanse and Import クライアントのバージョンを選択します。次から選択します。

   1 2 cd linux-arm64/assets-cleanse-and-import-client cd linux-x64/assets-cleanse-and-import-client

1. 必要に応じて、help コマンドを使用して、 Cleanse and Import クライアントの設定方法の詳細を確認できます。

1. アプリを実行するには、次の 2 つの情報が必要です。

   1. ワークスペース ID。これは次のようになります。

      1 e44regc98-8d2r-3af7-011t-209p44716366

   2. Cleanse and Import クライアントのトークンこのトークンは、こちらの手順に従って作成できます。完全なトークンは次のようになります。

      1 ATCTT3xFrTN0U64VR99p1VfpQtLlpar7R4hq6PSkiNNaNOyk37P_7URVmROOp1Orez-ijlluMRwJA7Cw1LsgMFq

2. コマンド ライン インターフェイスで Cleanse and Import クライアント アプリを実行し、プレースホルダー テキストを ワークスペース ID と Cleanse and Import クライアント トークンに置き換えます。

   1 ./dm-cleanseimport --run "cleanse" --workspace-id <workspaceId> --token <your-Cleanse-and-Import-token>

3. アプリを実行するときに、次のオプションのパラメーターを使用することもできます。

   1. “cleanse" パラメーターを “full" に置き換えて、データのインポートとクレンジングを同時に選択します。

   2. クレンジングまたはインポートするデータ ソースのタイプを 1 つ選択します。データ ソース タイプ名にスペースが含まれている場合は、引用符で囲む必要があります。

      1 --type "My Data Source Type Name"

   3. クレンジングまたはインポートする単一のデータ ソースを選択します。データ ソース名にスペースが含まれている場合は、引用符で囲む必要があります。

      1 --ds "My Data Source"

   4. クレンジングまたはインポートする単一のオブジェクト クラスを選択します。

      1 --object "Compute"

   5. プロキシサーバーを選択します。

      1 --proxy "Address" or -p "Address"

   6. プロキシ サーバーに対して認証するユーザー名を選択します。

      1 --proxy-user "Username" or --proxy-user Username

   7. プロキシ サーバーに対して認証するパスワードを選択します。

      1 --proxy-pass "Password" or --proxy-pass Password

   8. 既定の資格情報を使用して、プロキシ サーバーに対する認証を行います。

      1 --proxy-default-credentials

   9. プロキシサーバーへの認証時に表示される無効なサーバー証明書をバイパスします。

      1 --bypass-invalid-certificate

4. ジョブが完了すると、Cleanse and Import クライアントの実行中にエラーが発生したかどうかを示す成功メッセージが表示されます。

Windows/DOS 用の Cleanse and Import クライアントを使用してデータをクレンジングする

クレンジングとインポートはデータ マネージャーから実行できますが、コマンドラインからCleanse and Import クライアントを使用してデータのクレンジングとインポートを行うこともできます。

Windows/DOS 環境で Cleanse and Import クライアントを使用してデータをクレンジングするには、次の手順を実行します。

1. Ctrl + Shift + Enter (管理者として開く場合) を使用するか、Windows アイコンをマウスでクリックして「CMD」と入力し、「管理者として実行」を選択して、コマンドライン インターフェイスを開きます。

2. データ マネージャー クライアントの場所に移動します。

   1 cd Users/Public/assets_data_manager

3. CPU に合った Cleanse and Import クライアントのバージョンを選択します。次から選択します。

   1 2 cd win-x64/assets-cleanse-and-import-client cd win-x86/assets-cleanse-and-import-client

4. 必要に応じて、help コマンドを使用して、Cleanse and Import アプリの設定方法の詳細を確認できます。

   1 dm-cleanseimport.exe --help

5. アプリを実行するには、次の 2 つの情報が必要です。

   1. ワークスペース ID。これは次のようになります。

      1 e44regc98-8d2r-3af7-011t-209p44716366

   2. Cleanse and Import クライアントのトークンこのトークンは、こちらの手順に従って作成できます。完全なトークンは次のようになります。

      1 ATCTT3xFrTN0U64VR99p1VfpQtLlpar7R4hq6PSkiNNaNOyk37P_7URVmROOp1Orez-ijlluMRwJA7Cw1LsgMFq

6. コマンド ライン インターフェイスで Cleanse and Import アプリを実行し、プレースホルダー テキストをワークスペース ID と Cleanse and Import トークンに置き換えます。

   1 dm-cleanseimport.exe --run "cleanse" --workspace-id <workspaceId> --token <your-Cleanse-and-Import-token>

7. アプリを実行するときに、次のオプションのパラメーターを使用することもできます。

   1. “cleanse" パラメーターを “full" に置き換えて、データのインポートとクレンジングを同時に選択します。

   2. クレンジングまたはインポートするデータ ソースのタイプを 1 つ選択します。データ ソース タイプ名にスペースが含まれている場合は、引用符で囲む必要があります。

      1 --type my_data_source_name

   3. クレンジングまたはインポートする単一のデータ ソースを選択します。データ ソース名にスペースが含まれている場合は、引用符で囲む必要があります。

      1 --ds my_data_source

   4. クレンジングまたはインポートする単一のオブジェクト クラスを選択します。現在、データ マネージャーは、Compute、User、Network の 3 種類のオブジェクト クラスをサポートしています。

      1 --object Compute

   5. プロキシサーバーを選択します。

      1 --proxy my_proxy_server_address

   6. プロキシ サーバーに対して認証するユーザー名を選択します。

      1 --proxy-user my_username

   7. プロキシ サーバーに対して認証するパスワードを選択します。

      1 --proxy-pass my_password

   8. 既定の資格情報を使用して、プロキシ サーバーに対する認証を行います。

      1 --proxy-default-credentials

   9. プロキシサーバーへの認証時に表示される無効なサーバー証明書をバイパスします。

      1 --bypass-invalid-certificate

8. ジョブが完了すると、Cleanse and Import クライアントの実行中にエラーが発生したかどうかを示す成功メッセージが表示されます。