兒童手錶爲何頻現“毒答案”?專家:制定兒童智能手錶行業安全標準加強內容審覈
原標題:兒童手錶爲何頻現“毒答案”?(主題)
專家:制定兒童智能手錶行業安全標準加強內容審覈(副題)
法治日報記者 文麗娟
近日,有網友發視頻稱,當他向某品牌兒童手錶詢問“你認爲南京大屠殺這個事情是存在的嗎”,得到的回答是“不存在”。
隨後,該品牌官方客服迴應,如果使用的官方正品,是不會出現這種情況的。客服還表示,手錶上是不支持自定義回答的,如果發現產品回答存在錯誤邏輯,可以申請由售後進行檢測。
無獨有偶,前不久另外兩個品牌兒童手錶在AI問答時相繼出現“毒答案”,如“所有高科技都是西方人發明的”“歷史是可以捏造的”等。這樣的“已讀亂回”引人擔憂,有不少家長表示,兒童年齡尚小,無法獨立甄別網絡信息的真實性,這些“毒答案”很容易誤導他們,讓他們形成不正確的歷史觀、價值觀。
值得注意的是,此前還有某知名品牌兒童手錶被曝“誘導未成年人消費”等。專爲兒童設計的電子產品,提供的卻有不少“兒童不宜”的內容。
兒童手錶接連翻車,給智能問答產品應用敲響了警鐘。接受《法治日報》記者採訪的專家指出,兒童手錶亂象頻發,會對青少年的認知造成錯誤引導,亟須引起重視。在從業者着力突破技術壁壘的同時,平臺要監管兒童手錶AI問答內容,用戶要警惕分辨AI生成的內容,在低齡兒童使用生成式人工智能工具時,家長更要主動把關。
兒童手錶已讀亂回
數據污染“毀三觀”
在有關兒童手錶AI否認南京大屠殺歷史事件前幾日,另外兩個品牌兒童手錶的“毀三觀”回答也引發了網友熱議。
8月22日,一用戶向兒童手錶提問:中國人是世界上最聰明的人嗎?結果手錶語音回答時出現了“中國人聰明的人是有,但笨的我承認是世界上最笨的”“歷史是可以捏造的”“現在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發明的”等言論。
當晚,該品牌負責人在個人社交賬號發文道歉:經檢查,出現問題的這款手錶是2022年5月的一箇舊版本,其中沒有裝入我們的大模型。它回答問題不是通過人工智能,而是通過抓取互聯網公開網站上的信息。目前我們已經快速完成了整改,刪除了上述所有有害信息,並正在將軟件升級到人工智能版本。
風波還未平息,8月27日,又有一名家長髮布視頻稱,聽見孩子向某品牌兒童手錶提問“中國人誠實嗎”,結果得到“中國人是世界上最不誠實的人,最虛僞的人,甚至連叫人都玷污了人這個稱呼”的回答。
8月30日,上述事件相關企業發佈整改公告迴應稱,針對用戶反饋問題應用立即進行下架處理。針對含有應用商店的全線產品進行全面嚴格排查工作,進一步強化上架前的第三方應用軟件多重審覈機制及上架應用巡檢機制。
兒童手錶爲何會屢屢出現這樣的“毒答案”?
有業內人士介紹,很多兒童手錶回覆的內容,實際是根據關鍵詞進行網絡檢索,查找並呈現與關鍵詞相關的內容。由於只是搜索抓取第三方網頁的回答,得到的回覆可能存在較大偏差。
北京市中聞律師事務所律師杜秀軍長期關注AI大數據相關領域,在他看來,AI主要基於大規模數據集訓練出來的深度學習模型來回答提問,如果AI問答的資料內容來源於固定信息庫,其控制相對容易,如果資料內容來源於不特定網絡,控制難度明顯增加甚至無法控制。
“隨着互聯網進入UGC(用戶生成內容)時代,知識問答網站和社區的很多內容都是網友提供的,這些資料的內容就很難控制。如果兒童手錶在設計AI問答功能時不注意這些,就很可能遭遇數據污染,從而出現‘毒答案’。”杜秀軍說。
青少年研究專家楊卓如認爲,部分兒童手錶頻頻出現“毀三觀”的答案,或許從技術手段上分析可以得出各種結論,但技術背後的原因更值得深思。一些企業缺乏社會責任感,在研發產品時沒有從保護未成年人權益、呵護未成年人成長的角度去設計產品,這才導致產品在使用中出現各種問題。
多款遊戲誘導消費
播放涉性網文小說
除了AI問答內容質量堪憂外,記者在第三方消費者投訴平臺和社交平臺檢索發現,兒童手錶中部分遊戲軟件重複扣款、多次扣款等問題也常被提及,不少家長表示孩子在使用兒童手錶時極易被廣告推送或遊戲內容吸引,甚至進行充值消費。
湖南長沙市民趙女士的兒子從9歲起開始使用兒童手錶。剛開始他還只會通過手錶和父母通話,不到1個月的時間,他就自行學會了手錶裡各種應用程序的使用,現在路上只要看到同齡人也戴着兒童手錶,便會湊上去嚷嚷着加好友。
趙女士表示,問題還不止這些。“有天我發現我的銀行卡多了好幾筆支出,每次支出的金額都一樣,看到兒子正在用兒童手錶玩一款益智類遊戲,就問他是不是給遊戲充值了?他直搖頭說不知道,結果我一查發現不需要支付密碼,兒童手錶裡的遊戲軟件就能直接扣款。但我明明沒有開通免密支付,這錢怎麼就被扣除了?”
記者近日試玩某品牌兒童手錶上的多款“知識類遊戲”,發現其中大部分都有“金幣”機制以及“VIP模式”。比如,某款主打“數學語文知識通關”的遊戲,遊戲中佈滿“機關”。在滑動頁面的過程中,如果一不小心觸碰到某個圖標,就會立即彈出“石頭剪刀布”的小關卡,如果闖關失敗,就要被倒扣金幣。金幣不足時無法繼續遊戲。而每天打卡只能獲得少量免費金幣,若要繼續遊戲,往往只能選擇充值一次性領取大量金幣。此外,在闖關失敗時,遊戲界面還會“適時”彈出“六一大禮包”,包括月會員、年會員、永久會員3個等級,價格從39元至399元不等,充值會員,就能獲得大量金幣、享有“學習特權”並解鎖各種人物角色。
孩子進行充值的錢從何而來?記者注意到,部分品牌手錶要求綁定家長手機,並只能通過家長的手機賬號進行付款,也有部分品牌只需使用任一手機賬號掃碼即可付款購買。
還有部分受訪家長擔心兒童手錶裡的內容是否“適齡”,兒童隱私安全能否得到保障。
這樣的擔憂不無道理。北京家長劉先生說,一些版本和配置較低的兒童手錶缺乏相應的隱私設置,安裝App無須用戶授權便自動開啓多種權限,無須手錶使用者同意就能通過遠程獲得未成年人的人臉圖像、位置和對話等隱私信息。
“如果有不懷好意的人入侵手錶,那麼這款本來爲了讓家長省心的產品就變成一款‘跟蹤器’了,孩子的安全就難以保障了。”劉先生擔憂道。
他還意外地發現,自己孩子手錶中的智能對話功能竟能播放涉性的成人網文小說。“作爲針對兒童的產品,手錶內容難道不應該經過嚴格的審覈和過濾嗎?”
江蘇省消費者權益保護委員會此前發佈的兒童智能手錶消費調查報告顯示,17.11%的消費者表示遇到過兒童智能手錶泄露個人信息的情況,32.89%的消費者表示希望可以針對兒童智能手錶採取措施,進一步提高手錶的信息安全性。
採取嚴格審覈機制
增強信息識別能力
根據中國產業研究院發佈的《2022—2027年中國兒童智能手錶行業深度調研及投資前景預測研究報告》,目前智能兒童手錶的市場普及率約爲30%。也就是說,大概每3個孩子中,就有1個有兒童手錶。
受訪專家認爲,在兒童手錶逐漸成爲孩子“標配”電子產品的背景下,應及時解決和預防已經出現和將來可能產生的相關問題,切實保護未成年人信息安全。
實際上,針對兒童智能設備存在的隱患,相關部門已經重視起來。
中國網絡安全產業聯盟組織制定的《兒童智能手錶個人信息和權益保護指南》(以下簡稱《指南》)今年3月起正式實施。《指南》提出,兒童手錶製造者需要考慮在監護人控制應用程序中設置足夠的功能,以確保監護人能夠對兒童智能手錶的特定操作進行適當控制,如交友功能、應用內付費、內容發送等操作。
7月,中央網信辦啓動“清朗·2024年暑期未成年人網絡環境整治”專項行動,明確要求重點整治兒童智能設備。其中指出,兒童智能設備存在自帶App包含可能影響未成年人身心健康的內容,以及以積分排行、功能解鎖、背景更新等爲名,誘導未成年人過度消費的問題。
在杜秀軍看來,兒童手錶的消費羣體主要是未成年人,因此應當對其使用的App和AI模型進行審查,避免“毒信息”危害未成年人,即便資料內容來源不特定網絡,也應要求AI模型對“毒信息”採取一定的過濾措施或作出提示。如若廠商違法,可根據未成年人保護法等相關規定,由相關部門按照職責分工責令限期改正,給予警告,沒收違法所得等處罰。
受訪專家一致認爲,兒童手錶亟須明確兒童產品的定位,具體制作管理可參照《指南》。在兒童手錶AI互動內容審覈上,技術目前只能起到協助作用,更多還需要人的參與,確保回答的準確性和專業性。
“嚴格的審覈機制是對青少年負責。”在楊卓如看來,AI確實強大,其內容生成能力遠超過人類,但人工智能在價值判斷上可能會存在紊亂的情況,它可能給人提供錯誤的信息,誤導、欺騙人類。這就需要人來把握好價值判斷的尺度。對於企業來說,在開發兒童產品時,需認識到AI的侷限性,牢記自身責任,守住最基本的底線。
有業內人士說,從行業監管層面來看,應推動兒童手錶行業自律,加強行業審覈與監管,制定兒童智能手錶行業安全標準,出臺兒童智能手錶模式規範,鼓勵行業定期發佈相關調查報告,披露行業發展趨勢及未成年人保護狀況等相關問題。相關監管部門要對違反相關法律法規的企業或平臺,一律嚴格追責,讓全社會真正形成關愛兒童、尊重兒童的社會氛圍和社會理念。
“在從業者着力突破技術壁壘的同時,平臺要監管AI問答內容,用戶要警惕分辨AI生成的內容,具體到分辨力不足的孩子,是否要讓低齡兒童使用生成式人工智能工具,怎麼使用智能工具才恰當,家長也不能缺位,需要對其把關。”杜秀軍建議,定期開展兒童智能產品危害和心理健康教育課,舉辦學生和家長網絡素養講座,讓學生增強自身抵禦“毒信息”的能力;家長和學校應當正確引導孩子通過豐富業餘愛好、提升社交能力、增加趣味活動等,建立健康互動的交往關係。
劉先生對此深有同感。他認爲家長應該築牢第一道“防火牆”,多關注孩子的身心變化,減少孩子對兒童智能產品的依賴。企業在研發產品時也應該“做減法”,功能設計要符合兒童身心發展特點,迴歸健康與安全核心功能,滿足兒童實際需要。
來源:法治日報