甚麼是 Token?

返回 AI 資訊總覽

AI 資訊 · 14 / 50

一句重點

Token 是模型處理文字的基本單位,可能是一個字、詞的一部分、標點或空格。

簡單解釋

Token(詞元)是 AI 模型處理文字時使用的單位,不一定等於一個中文字或一個英文單字。它可以是字元、詞的一部分、完整單字、標點,空格和編碼也會影響切分;同一句話在不同模型和語言的 token 數可能不同。

輸入 token 是你提供的提示和資料,輸出 token 是模型產生的內容;兩者會影響上下文容量及部分服務的用量計算。香港政府指出,token 可用來反映數據處理量,但不同模型的計算方式未有統一標準,所以不要把 token 數當成跨平台完全可比的字數。

實際做法或 Prompt 範例

  1. 先把長文件分段,刪除重複和無關內容。
  2. 用目標工具的 tokenizer 或使用量資訊估算,不要用英文比例硬套中文。
  3. 為輸出設定清楚長度,並預留上下文和推理空間。

可直接複製的 Prompt 範例

請把以下公開通知壓縮成不超過80個中文字,保留日期、地點、費用及「以官方公告為準」;不要新增資料。完成後列出你保留的四項資訊,方便人工核對。
通知:社區中心將於2026年10月12日在旺角舉行免費公開講座,詳情以中心官方公告為準。以下為虛構示例。

電腦:選取整段後複製;手機:長按並選取文字。範例只作學習示範,改用實際資料前先去識別化。

新手例子

先摘要公開通知,再查看工具顯示的輸入和輸出 token 使用量;不要把 token 數直接當成中文字數。

常見錯誤

  • 把一個 token 固定當成一個字或一個單字。
  • 以某模型的 token 估算套用到所有模型和語言。
  • 只看輸出長度,忽略輸入、工具、圖片及檔案也會佔用 token。

安全與倫理提醒

Token 數量不應暴露未公開內容或個人資料;用量和切分須以目標工具的官方說明核對,不能把估算當成跨平台事實。

使用前先去識別化並保護私隱;重要內容、數字和引用必須人工核實。涉及個人、客戶或學生資料,以及醫療、法律、財務或招聘事項,必須由合資格人士作最終判斷。

資料來源與延伸閱讀

  1. OpenAI:Understanding and counting tokens(另開分頁)
  2. 香港政府:政府部門及公營機構應用人工智能(另開分頁)

本頁為一般 AI 教育資訊,不是醫療、法律或財務意見。工具功能、使用資格、地區可用性和方案可能更新,請以官方頁面及實際帳戶顯示為準。