聚焦金融與零售業 AWS Industry Forum Hong Kong 論壇於 4 月 9 日在香港 JW 萬豪酒店圓滿結束。論壇除了邀來行內 IT 高管分享業界數碼化轉型趨勢，更有技術人員分享 AI 技術落地金融及支付業務。
檢索增強生成 RAG 提升 LLM 答題表現
大會當日邀請到 AWS 行業方案架構師 Odin Wang 講解檢索增強生成 (Retrieval Augmented Generation, RAG) 如何令 AI 變得更可靠，並輔以金融業案例分享。
生成式 AI 技術如雨後春筍，各大科技企業都推出其大型語言模型 (LLM)。但模型回覆內容時對時錯，成為不同行業實際應用的一大制肘。事實上，在技術層面而言有不同方法優化 LLM 的表現，如果公司有龐大資源，可以選擇自行構建 LLM。次之可以考慮微調 (fine-tune) 一套現有的LLM。而投資最低，最符合應用場景落地的就是採用檢索增強生成技術 (RAG)。
檢索增強生成技術顧名思義就是結合搜尋功能，先從公司資料庫搜尋相關的內容，結合用戶原本的查詢傳送到 LLM，讓 LLM 獲得足夠資料的情況下解答問題。數據質素提升，答案自然準確，客戶滿意度亦能提升。
Odin 分享了利用 RAG 讓 LLM 回答有關金管局的監管條例。他先要求 LLM 擔任一位合規專員，並按提供的文件相關的段落內容，回答誰人應該審查風險管理政策。而使用 RAG技術，機器就會先搜尋文件相關內容，亦即所謂語境(context)，合併成較詳盡的查詢讓 LLM 分析。
要讓 LLM 回覆更可靠，除了利用 RAG 充份搜尋相關資料，對 LLM 的查詢提示亦應該具體充份，亦即所謂提示工程 (prompt engineering)。Odin 示範了一個具體清晰的提示應該包括描述 LLM 應擔當的角色、需執行的工作、輸出內容應注意的事項。當提示滿足以上條件，LLM 回應便會更加準確。
Amazon QuickSight 簡單一問輕鬆化繁複數據為圖表 助支付技術公司分析業務
香港支付技術公司 Spectra Technologies 服務覆蓋多款香港主流支付方式，並與多間銀行合作。面對日常龐大的支付數據，公司物色商業智能 (Business Intelligence，BI) 工具，但卻面對不少挑戰，例如傳統 BI 工具以伺服器為本，難以擴充、憑證成本高昂、使用 BI 工具有一定學習門檻。
Spectra Technologies 則採用了新一代的雲端 BI 服務 Amazon QuickSight。其可擴充特性更符合商業機構對業務彈性的需求，而且有生成式 AI 輔助，令用家不需要有編程及數據分析背景都可以化數據為不同圖表，從而了解趨勢。
當日主講即席示範使用 QuickSight 的生成式 AI，以普通問句查詢數據。彈指之間，QuickSight 便以不同方式展示數據，包括表格、棒形圖，甚至支援以地圖呈現數據。當數據分析做到省時易用，公司便能更快按數據作出決策，保持競爭力。
