1.ナレッジ・ポートとは
ナレッジ・ポートは、モノづくりに関する知識の引き出し口です。強い日本のモノづくりを立ち上げた先輩方が蓄積したモノづくりに関する知識、現在進行形で蓄積されているモノづくり知識を、過去に自らが経験した知識のように利用するための引き出し口です。このナレッジ・ポートを使えば、エンジニアリング業務の中での発話や作成文章に対して、関連するモノづくり知識をリアルタイムに受け取ることができます。
具体的には、モノづくりに関する文章をナレッジ・ポートのWebサーバに送信すると、関連したモノづくり知識を受け取ることができ、関連するモノづくり知識が Webブラウザ上に表示されます。この仕組みを簡単に体験いただくために、３種類のプログラム（クライアントツール）を公開しています。
- 【New！】Microsoft Storeでの提供開始 リモート会議の参加者の発言、動画中の発言（ＰＣのスピーカ音声）から文章を抽出し、関連するモノづくり知識をWebブラウザ上に表示するクライアントツール。
- 発言（ＰＣのマイク音声）から文章を抽出し、関連するモノづくり知識をWebブラウザ上に表示するクライアントツール。
- ＰＣの画面から文章を抽出し、関連するモノづくり知識をWebブラウザ上に表示するクライアントツール。
ナレッジ・ポートはメールアドレスを登録いただくことで、無料で利用することができます。現在提供しているナレッジは、モノづくりに関する機械、材料、電気、制御などのナレッジです。
2.登録（サインアップ）
エンジニアリング・ブレインのWebページのサインアップ用リンクをクリックすると、Webブラウザに以下のページが表示されます。E-mailアドレス、パスワードを記載（2か所：Passward、Passward(again)）して赤色の「以下に同意して登録」ボタンをクリックしてください。
登録ボタンをクリックすると、記載したE-mailアドレスに認証用のメールが送信されます。受信したメールに記載のリンクをクリックすると、Webブラウザにユーザー登録を確定するための画面が表示されます。赤色の確定ボタンをクリックすると、ユーザー登録を確定できます。
ユーザー登録を確定すると、Webブラウザには以下のログイン画面が表示されます。登録したE-mailアドレスとパスワードを入力し、赤色のログインボタンをクリックしてください。
ログインが完了すると、ナレッジ・ポートの表示画面が現れます。初回のログインでは以下のように、ナレッジ・ポートには何も表示されていません。これで登録は完了です。登録の手続きで現れたWebブラウザの表示を全て閉じてください。
3.クライアントツールの入手
ナレッジ・ポートにアクセスするソフトウエア（以降、クライアントツールと記載）をローカルＰＣ（ご自身が直接操作するＰＣ）で起動することで、ナレッジ・ポートを簡単に使用できます。クライアントツールのサンプルとして、３種類のツールを配布しています。
- 【New！】Microsoft Storeでの提供開始 ユーザーがローカルＰＣのスピーカを通して聴いた発言に対して、関連のあるナレッジをWebブラウザに表示するツール。
- ユーザーがローカルＰＣのマイクを通して発言した内容に対して、関連のあるナレッジをWebブラウザに表示するツール。
- ユーザーが操作するローカルＰＣの画面から一定時間毎に文章を抽出し、関連のあるナレッジをWebブラウザに表示するツール。
とにかくツールを使ってみたい方は、Microsoft Storeからツールを入手する（スピーカ音声に対するナレッジ提供のみ）、あるいは、このページからツールの実行形式をダウンロードしてください。また、ツールをカスタマイズしたい開発者向けに、ツールのGitHubリポジトリも公開しています。
3.1 ユーザ向けのツール配布
Microsoft Storeからツールを入手する場合、証明書の入手や実行形式のダウンロードは必要ありません。使い方は、4.ナレッジポートの利用方法をご覧ください。
クライアントツールの実行形式（*.exe）を本Webサイトからダウンロードして利用いただく場合、エンジニアリング・ブレインの証明書をローカルPCにインストールします（証明書をインストールしないと、実行形式のダウンロードおよび実行時にセキュリティ関連の警告が表示され、実行が妨げられます）。続いて、クライアントツールの実行形式をダウンロードします。
・エンジニアリング・ブレインの証明書の入手とインストール
エンジニアリングブレインの証明書ファイルをダウンロードします。ダウンロードした証明書ファイルをダブルクリックすると以下の表示が現れます。この表示の下方の中央にある「証明書のインストール」ボタンをクリックします。
保存場所に「ローカルコンピュータ」を選んで「次へ」ボタンをクリックします。
「証明書をすべて次のストアに配置する」を選択し、「参照」ボタンをクリックします。証明書ストアの選択ウィンドが現れるので、「信頼されたルート証明機関」を選択して「OK」ボタンをクリックします。証明書ストアに「信頼されたルート証明機関」の文字列が追加されたことを確認し、証明書のインポートウィザードの「次へ」ボタンをクリックします。
「完了」ボタンをクリックすると、証明書のインストールが完了します。
・クライアントツール（実行形式）のダウンロード
クライアントツールのダウンロード用リンクをクリックするとクライアントツールの圧縮ファイルがダウンロードできます。
- 【New！】ダウンロード用リンク：ＰＣのスピーカを通して聴いた発言に対して、関連のあるナレッジをWebブラウザに表示するツール。「assist_conversation.zip」
- ダウンロード用リンク：ＰＣのマイクを通して発言した内容に対して、関連のあるナレッジをWebブラウザに表示するツール「assist_speech_recog.zip」。
- ダウンロード用リンク：ＰＣの画面から一定時間毎に文章を抽出し、関連のあるナレッジをWebブラウザに表示するツール「assist_screenshot.zip」。
この圧縮ファイルを解凍すると、クライアントツールの実行形式「assist_speech_recog.exe」（あるいは「assist_screenshot.exe」「assist_conversation.exe」）および設定ファイル「settings.txt」およびライセンスファイルを入手できます。これらのツールを使用したナレッジ・ポートの利用方法は「4.ナレッジ・ポートの利用方法」で説明しています。
3.2 開発者向けのツール配布
GitHubリポジトリ（https://github.com/engineering-brain/knowledge-port.git ）のクローンで、クライアントツールのPythonコード「assist_speech_recog.py」「assist_screenshot.py」および設定ファイル「settings.txt」を入手できます。
- 「assist_speech_recog.py」：ＰＣのマイクを通して発言した内容に対して、関連のあるナレッジをWebブラウザに表示するツール。
- 「assist_screenshot.py」：ＰＣの画面から一定時間毎に文章を抽出し、関連のあるナレッジをWebブラウザに表示するツール。
Pythonコードでは、モノづくりに関する文章をパラメータに含むHTTPリクエストを以下のResource URLに送信します。レスポンスとして、関連する工学ナレッジがWebブラウザに表示されます。
Resource URL
https://kp.engineering-brain.com/assistant/create/?user_utter={utterance}
Request parameters
パラメータ： utterance
パラメータの説明： URLエンコード処理されたモノづくりに関する文章
4.ナレッジポートの利用方法
Microsoft Storeからからクライアントツールを入手した場合、Windowsのスタートメニューから「Assist Conversation」を選択すると、ログイン画面が現れます。クライアントツールの実行形式をダウンロードした場合は、「assist_speech_recog.exe」「assist_screenshot.exe」あるいは「assist_conversation.exe」をダブルクリックして実行すると、ログイン画面が現れます（Pythonコードの場合は、「assist_speech_recog.py」あるいは「assist_screenshot.py」を実行する）。
登録したE-mailアドレス、Passwardを入力し、赤色のログインボタンをクリックしてください。
ログインが完了すると、Webブラウザにナレッジ・ポートの表示画面が現れます。これで準備は完了です。
- 「Assist Conversation」「assist_conversation」をご利用の場合：お使いのＰＣ画面の最前面にツールを利用するためのウィンドウが現れます。利用を開始する場合は「START ASSIST」ボタンをクリック、利用を停止する場合は「STOP ASSIST」ボタンをクリックしてください。「END ASSIST」ボタンをクリックすると、ツールは終了します。
- 「assist_speech_recog」をご利用の場合：お使いのＰＣのマイクで何か発言してみてください。モノづくりに関する発言であれば、関連するエンジニアリング・ナレッジが表示されます。一方、モノづくりとは無関係の発言に対しては、「関連のある工学ナレッジはありません。」と表示されます。「ストップ」と発言すると、ナレッジ・ポートからログアウトし、ツールは終了します。
- 「assist_screen_shot」をご利用の場合：ご利用の前に別途、OCRエンジンをインストールする必要があります。「5. OCRエンジンのインストール」に沿ってインストールを完了してください。ご利用を開始すると、お使いのＰＣの画面から定期的（10分毎）に文章が抽出され、関連するエンジニアリングナレッジが表示されます。モノづくりとは無関係の文章に対しては、「関連のある工学ナレッジはありません。」と表示されます。ツールを終了する場合は、ツールが起動しているコマンドプロンプトで「Ctrl + C」を入力してください。
お使いのPCとエンジニアリング・ブレインのサーバ間では SSL(Secure Sockets Layer)を採用して発話や知識を送受信し、エンジニアリング・ブレインではプライバシーポリシーに沿って適切に情報管理を行っていますが、本プログラムでナレッジ・ポートに送信される情報の漏洩が気になる方は、”setting.txt”に送信したくない単語や文章を記載してください。”setting.txt”に記載いただいた単語や文章を含む発話は、ナレッジ・ポートには送信されません。
Microsoft Storeから「Assist Conversation」をダウンロードしてインストールした場合、”setting.txt”はユーザーフォルダの下にある”AppData/Local/Engineering Brain”フォルダに保存してください。クライアントツールの実行形式をダウンロードして利用される場合は、実行形式と同じフォルダに”setting.txt”を保存してください。”setting.txt”には、以下の例のように、送信したくない単語や文章を並べて記載ください。
エンジニアリングブレインの機密情報
エンジニアリングブレインの電話番号
エンジニアリングブレインの住所
社外秘の情報
社外秘の資料
学習機能
初回の利用時には、エンジニアリング・ブレインが提供する標準的な関連度の判定基準に従ってナレッジが表示されます。この表示ナレッジが、ユーザーにとって発話と関連のある有益な情報の場合もあれば、発話と全く関連がないと感じる情報が表示される場合もあります。このような関連性の有無の判断基準は、ユーザーのエンジニアとしての経験や業務内容に左右されます。
このような個人差を反映し、各ユーザーがに適したナレッジを提供するために、ナレッジ表示の判定基準を機械学習でカスタマイズする機能をナレッジ・ポートは備えています。有益な情報の場合は表示ナレッジの左下にある緑色の「G-o-o-d!」ボタンを、関連の無い情報の場合は「Unrelated」ボタンをクリックすることで、ユーザーの判断基準が徐々に関連性の判定基準に反映されます。
ブックマーク機能
表示されたナレッジを保存しておきたい場合、該当するナレッジの左下にある3個の緑色のボタンの一番右側の「Bookmark」ボタンをクリックしてください。このブックマーク機能で保存したナレッジのみをWebブラウザに表示した場合は、ナレッジ・ポートの表示画面全体の右上に白い文字で表示されている「Bookmarks」をクリックしてください。ブックマーク機能で保存したナレッジのみの表示から、初期の表示画面に戻るにはナレッジ・ポートの表示画面全体の上部中央に白い文字で表示されている「Knowledge Port」をクリックしてください。
ナレッジの登録機能
ナレッジ・ポートにユーザーの所有する独自のナレッジを追加して利用することができます。ナレッジ・ポートの表示画面の右上に表示されている「Add Knowledge」をクリックしてください。Webブラウザにナレッジ追加の依頼用タブが現れますので、お名前とメールアドレスに加えて、追加したいナレッジのタイトル「ナレッジタイトル」、ナレッジの概説「ナレッジ概説」およびナレッジ本文へのリンク「ナレッジURL」を記載し、送信ボタンを押してください。
送信いただいたナレッジについては、それがエンジニアリング・ナレッジに相当するかのチェックを行った後、ナレッジ・ポートに登録されます。ナレッジ・ポートに登録され、表示されるようになるまで最短で約1週間の時間を要します。予めご了承ください。
ナレッジ登録フォームでは、ナレッジ1件毎に登録を行う必要があります。複数件のナレッジをまとめて登録したい場合、「ナレッジ番号（連番）」「ナレッジタイトル」「ナレッジ概説」「ナレッジURL」をタブで区切り一行とし、複数のナレッジを複数の行で表現したtsv形式のファイルを準備してください。
そのファイルをエンジニアリング・ブレインのサポート（support@engineering-brain.com）に送付いただくと、まずファイルに含まれるナレッジがエンジニアリング・ナレッジかどうかのチェックを行います。このチェックでエンジニアリング・ナレッジの範疇と判断されたナレッジは、ナレッジ・ポートに登録され、表示されるようになります。この場合も、送信いただいたナレッジがナレッジ・ポートに表示されるようになるまで最短で約1週間の時間を要しますので、予めご了承ください。
上記のナレッジ登録機能やファイルで送信されたナレッジは全てのユーザーに公開されます。したがって、公開したくないナレッジを送信しないよう十分に注意を払い、本機能をご利用ください。所有するナレッジを限定ユーザーのみに公開して利用したい場合については、「ナレッジ登録」のページをご覧ください。
5.OCRエンジンのインストール
PCの画面に表示されている文章に関するナレッジを提供するクライアントツール「assist_screenshot.＊」を利用する場合、ローカルPCにOCRエンジン（Tesseract）をインストールしておく必要があります。以下のGitHubのページからTesseract（ tesseract-ocr-w64-setup-5.3.1.20230401.exe (64 bit) 、2023年6月時点の最新版）をダウンロードし、インストールしてください。
TesseractのGitHubページ：https://github.com/UB-Mannheim/tesseract/wiki
クライアントツール「assist_screenshot.＊」は、Tesseractが「C:\Program Files\Tesseract-OCR」にインストールされている前提で動作しますので、Tesseractは「C:\Program Files」の下にインストールしてください。インストール時に導入できる言語データは文章の抽出速度を重視したデータです。抽出精度を重視した日本語データ（jpn.traineddata、jpn_vert.traineddata）は以下のGitHubリポジトリからダウンロードできます。
精度重視版のGitHubリポジトリ：https://github.com/tesseract-ocr/tessdata_best
ダウンロードした日本語データ（jpn.traineddata、 jpn_vert.traineddata）は、PCの「C:\Program Files\Tesseract-OCR\tessdata」フォルダに配置してください。