免費NLP資源 — Entailment, QA

Image for post
Image for post

我們是一間香港初創公司,專注人工智能方面,主要做中文及廣東話(粵語)的自然語言處理 (NLP) 的研究。

我們公司在2018年開始運作,我及另外兩位朋友草創,主要產品為Chatbot 平台,在2020年8月,那個平台已經推出市場,大家都可以去試用。那平台是世上少有融合「易用」、「人工智能」和「粵語」在一起的產物。

但今天我不是要和大家賣廣告,而是分享一下在研發過程中的遇到的困難及經過,以及開放API讓大家都可以用我們的語言模型Language model。

在做NLP之前,我們天真地以為在世上有免費的資源,事實上,對於英語NLP,確實有許多開源或免費資源,無論數據、模型、Libraries,由巨頭GoogleMicrosoftFacebookIBM,到中小型公司團體如 Explosion AI, Huggingface 等等,一個程式設計員,或香港一點講,IT人,絕對可以花數星期用第三方的服務,弄一個AI app 出來,用途很廣泛,例如大數據分折、圖片短片處理等等。

但如果中文呢?甚或粵語呢?我們找了許久,答案是接近零。

這個API我們是用了1整年的時間去弄出來的,我們自己上網找數據,真金白銀請一大班人來作句,清 data, pretrain, finetune,測試,失敗再測試,用第三方的模型,自己改進,終於有少少成果,大家可以試用,給一些意見,如有興趣,可以合作,組成聯盟,一同發展。

以下少少規則,希望大家明白:

1. 本網站的資源,包括API,數據等,只能用作非商業用途,例如教育、科研等,如商業用途,請聯絡我吧。

2. 本公司擁有本網站的資源的知識產權,遵守香港法律。

3. 我們公開資源的目的是分享,沒有收入,硬件規格不高,請勿做大量的平行處理或API request (1 request/second) ,server會不勝負荷呀。

4. 本公司不會未收同意收集個人資料,遵守香港私隱條例。

5. 請勿用API在不正當的用途,如發現,會封IP及按需要作法律行動。

6. 本公司保留一切本網站的權利。

7. API是實驗性質,不能保證質素,如因此造成任何損失,本公司一蓋不負責。

NLP 工具

1. Entailment / Intention Matching (Web + API)

Entailment 中文是蘊涵,意即包含、引伸的意思。
例如「我昨晚坐地鐵去尖沙咀吃飯」,即蘊涵以下 :

  1. 我昨天吃了東西
  2. 我昨天去了尖沙咀
  3. 我曾經坐過地鐵

以下的 tool,可讓機器比較兩句句子,蘊涵功能將會儘快加上,大家可以用這工具去做 Intention Matching。
或者比較答案、計算接近程度等 use case。

例子:
句子1: 小明是一個很勤力的學生。
句子2: 小明很用功,在上學。
句子3: 小明常用功做功課, 成績很好

句子1及2的相似度 Similarity: 87
→ 系統認為「勤力」及「用功」一樣,而「上學」代表「他是學生」

句子1及3的相似度Similarity: 31
→ 相比句子1, 句子3有更多細節,關於功課及成績,所以句子1及3不同

* 如果大家不想打字,可以按random 隨機由系統找句子

2. Sentence Indexing

3. Question & Answer (coming soon… 2021Q1)

4. Free Data (coming soon… 2020Q4)

大家如果有甚麼要求或建議,或有高手在當中,可與我聯絡合作 Derek Ng (derek@parami.ai / whatsapp ),我們一間小公司的力量微不足道,但若大家齊心,每人出一分力,則集腋成裘,萬事皆可期。共同建立一個免費中文/粵語的NLP資源平台。

公司簡介

成立於2018年,建有一個 SaaS 平台,讓不懂編程的人士可以像畫圖的建立自己的 chatbot。而且擁有真正AI功能,完全免費。公司亦做一些 chatbot project,對接各大社交及電商平台 (facebook, whatsapp, wechat, ebay, amazon)。
www.parami.ai

Founder簡介

我畢業於中文大學計算機工程系。做電商多年,是香港電商協會副會長(http://www.ecahk.org/)。後期做 IT startup,參加香港科學園 Incubator Programme,亦參加了台灣的 AppWorks。明白世界於我有恩,深深感到每一個人都應有社會責任,除了要自己而活,更要為他人做一點事情,立志要用IT貢獻社會,那怕只是一丁點改變,已經心滿意足。
如果你有心一齊建立香港的 AI 平台,並非為賺錢,而是出於利他的心,PM 我們一齊傾傾吧。

Derek Ng
https://linkedin.com/in/derek-ng-a4886424
https://www.facebook.com/ng.derek

2020/09

以上圖片源自The Avengers (2012)

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store