AI 資訊 · 14 / 50
一句重點
Token 是模型處理文字的基本單位,可能是一個字、詞的一部分、標點或空格。
簡單解釋
Token(詞元)是 AI 模型處理文字時使用的單位,不一定等於一個中文字或一個英文單字。它可以是字元、詞的一部分、完整單字、標點,空格和編碼也會影響切分;同一句話在不同模型和語言的 token 數可能不同。
輸入 token 是你提供的提示和資料,輸出 token 是模型產生的內容;兩者會影響上下文容量及部分服務的用量計算。香港政府指出,token 可用來反映數據處理量,但不同模型的計算方式未有統一標準,所以不要把 token 數當成跨平台完全可比的字數。
實際做法或 Prompt 範例
- 先把長文件分段,刪除重複和無關內容。
- 用目標工具的 tokenizer 或使用量資訊估算,不要用英文比例硬套中文。
- 為輸出設定清楚長度,並預留上下文和推理空間。
可直接複製的 Prompt 範例
請把以下公開通知壓縮成不超過80個中文字,保留日期、地點、費用及「以官方公告為準」;不要新增資料。完成後列出你保留的四項資訊,方便人工核對。
通知:社區中心將於2026年10月12日在旺角舉行免費公開講座,詳情以中心官方公告為準。以下為虛構示例。電腦:選取整段後複製;手機:長按並選取文字。範例只作學習示範,改用實際資料前先去識別化。
新手例子
先摘要公開通知,再查看工具顯示的輸入和輸出 token 使用量;不要把 token 數直接當成中文字數。
常見錯誤
- 把一個 token 固定當成一個字或一個單字。
- 以某模型的 token 估算套用到所有模型和語言。
- 只看輸出長度,忽略輸入、工具、圖片及檔案也會佔用 token。
安全與倫理提醒
Token 數量不應暴露未公開內容或個人資料;用量和切分須以目標工具的官方說明核對,不能把估算當成跨平台事實。
使用前先去識別化並保護私隱;重要內容、數字和引用必須人工核實。涉及個人、客戶或學生資料,以及醫療、法律、財務或招聘事項,必須由合資格人士作最終判斷。
資料來源與延伸閱讀
本頁為一般 AI 教育資訊,不是醫療、法律或財務意見。工具功能、使用資格、地區可用性和方案可能更新,請以官方頁面及實際帳戶顯示為準。
