何時該用或不該用ChatGPT?BCG與哈佛研究的3個驚人發現
圖片來源:波士頓顧問公司(BCG)
ChatGPT橫空出世一年來,搞得許多人焦慮不已,怕落後跟不上,但更怕用錯浪費資源。究竟該如何判斷生成式AI最有效率的應用場景,不要盲目焦慮?波士頓顧問公司(BCG)董事總經理暨全球資深合夥人徐瑞廷在「2023天下學習影響力年會」分享BCG與哈佛大學的重磅研究結果,可能會顛覆你的想像,同時也提供了一個安穩人心的指引。
研究中,共有750位BCG顧問,隨機被分配到「產品創新」、「解決商業問題」兩種工作,前者包含撰寫備忘錄、發想10個行銷產品的方案;後者則是解決營收衰退的問題,或部門間協作不順等挑戰,並分為使用ChatGPT的實驗組,跟不使用ChatGPT的對照組。研究中有三個發現值得關注。
發現一:Gen AI有強弱項,高感度工作人類勝

▲ 與不使用ChatGPT的組別相比,員工在創新產品類任務績效提升,業務問題解決類任務績效反而下降。(圖片提供/BCG)
大部分的人會認為,有了Gen AI協助,績效表現必然提升,然而根據研究,AI的能力隨著任務的不同有所差異,雖就平均而言,有使用AI的組別,效率平均成長25%、品質成長40%,然而在部分任務上,使用AI的錯誤率卻很高,竟達19%。
AI並非全能,在能力範圍內的任務,可為工作者帶來效益,例如創意發想;超出能力範圍的工作,例如需要同理心、判斷情緒等業務問題解決類的情況,則容易誤導員工,反而幫倒忙。
此現象在高績效與低績效員工上都會發生,徐瑞廷特別提醒,Gen AI的能力範圍正在快速演變,目前無法精確定義哪些任務屬於Gen AI擅長的領域、哪些則不屬之,這導致員工可能發生「過度依賴」AI的狀況,也就是當AI變得優秀,人類就有可能躺平。哈佛商學院教授Fabrizio Dell'Acqua比喻為「在方向盤上睡著了」,擔心任由AI主導可能損害人類的學習動機與技能發展。
發現二:在Gen AI擅長的領域,人類放手更有效率
在Gen AI碾壓人類能力的領域,又有哪些值得注意的發現?
例如在Gen AI擅長的創意發想領域,研究發現使用後績劣者表現上升的幅度,遠高於績優者提升的績效,因此兩者表現趨於一致,提升了組織整體的能力,也就是Gen AI能幫新手快速獲得高績效,對原先就表現突出的熟手助益有限。
(責任編輯 / 陳靖雯)