APP4AM | 評價系統設計規範(草稿)
這裡是提供4AM計畫 - 評價系統的共筆區，請先到此瞭解專案提案本文喔 >>>>> 這裡
設計原則檢核表
- 0.應符合此計畫的核心價值，並以能具體達到終極目標為設計方向，核心目標如下：
- a.增加國人媒體識讀能力
- b.增加媒體播報品質，協助降低媒體惡性競爭
- 1.應能讓使用者輕易瞭解運作原理及公平性
- 2.應能給予專家會員評論適當之回饋與能見度
- a.送出評論後可否修正意見，若可修正權重如何條整，是否有技術性問題？
- b.專家會員的話語權和一般使用者的權重差距是否適當？應以適當方式訂定
- 3.應能適當反應使用者真正的客觀程度：
- a.一次性評分，下評斷後就不能改變 (應適當提高獎勵權重)
- b.是否讓使用者評分前就看到評價概況？ (只顯示投票人數，不顯示正反比例)
- c.使用者評分時間及次數是否有限制？
- d.隨機讓使用者評分？
- e.在投票人數不斷變動的情況下如何判定使用者投的對錯？
- 4.應能區分不同類別之新聞，某些適合使用評價系統，某些則不適合：
- a.即時更新的非定稿新聞
- b.影片為主的新聞
- 5.設計來讓使用者願意繼續用的元素應貫穿公民記者及新聞的核心價值，避免將誘因內部化、遊戲化
- a.藉由提供管道讓民眾反應意見或尋求真相
- b.
- 6.需盡到保護具名使用者的隱私安全 (使用暱稱+<具名使用者>代替全名)
- 7.應有一定機制確保冷門領域之發黴新聞曝光度不受評價系統而影響
- a.單獨設立冷門領域的新聞類別
- b.新聞排序方式可反向排序 (熱門程度)
- 8.最終計算出來的評分需以現有的評價為準，而無法確認影響新聞客觀性的問題都不該加入計算
考慮中的功能
- 讓具名使用者可以不透過評論員確認違反項目就直接除黴 (新增當事人爆卦功能)
- 有沒有可能直接在回覆時同步出現在各新聞下面的FB留言板 (郭律師建議)
動態權重設計的問題與解法
設計初衷：因為不希望評價到最後是拼人數的狀況，所以提出動態權重系統
引發疑慮：
- 在變動的投票人數下如何正確判斷誰對誰錯，而給與加權獎勵或懲罰？
- 如果看結果決定對錯，會導致有心使用者較晚投票以賺取高確率報酬
可能的解決方法：
- 雙指標制，將評論員和使用者分開，但項目依然由評論員糾出，混合爛蕃茄系統
- 窄化動態上下限，但讓積分攀升難度提高
- 在投票時間內隨機產生評價權限，並限定名額，也限定不可短時間在類似TAG(同事件)投票
- 想投票的人就看不到總分，已看到總分的就不可投票 (形同挑戰模式)
可能的解決方法2：
- 解決主流恆大趨勢的問題，就是比照新聞扣分制的方式，先預設評論員和使用者的權重都已經是基礎上限值(先假設大家都很客觀XD)，但會隨著瀏覽新聞數和時間慢慢往下掉，只有定期貢獻評價才能維持住，並將具名除黴/爆料者的獎勵變成額外的上限獎勵，拆成兩個分數來表示權重，這樣就不能透過一般方式來洗權重。
- 具名爆料的真實性則由工作小組或第三方監督小組負責審核，審過才會顯示給其他使用者看，並依消息來源的轉手程度作適當的獎勵。這個部分我想應該有辦法成立一個民間版謠言追追追的組織跟他們合作，或是直接和各家媒體爆料中心合作。
評價指標
為了讓使用者能快速的認知一則新聞的客觀性，必須要有適當的量化數值，目前暫定是「發黴指數」、「可除黴次數」兩個指標。
發黴指數
指一則新聞違反新聞倫理的嚴重程度，基本上由專家定出違反項目、使用者評價定出的項目(認同/反對)，由系統計算出分數。詳細計算方式會再補充。
可除黴次數
當新聞違反的項目可補救時(例:少訪問某幾方，因此未平衡報導)，就提供一個契機讓熱血媒體(也可以是發稿媒體)、或具名使用者(包含專家)來幫忙補完新聞內容，因此違反這些嚴重項目時一開始發黴指數不會加這麼多，但會隨著時間和瀏覽人數而快速增加，媒體業者要是擔心自己新聞發黴就得加強素質或事後緊急補救啦~~
不過大致上是這樣想的：
- 一則不客觀的新聞會先有 「專家回覆」或「使用者回報」
- 然後才有使用者(含專家)對上面兩種回報方式給予「推」或「噓」來表示支持或不認同
- 接下來，專家的部分，系統會根據回覆舉報項目以及其他會員的認同度，計算出該扣新聞多少分 (如果專家亂答，網友很多都不接受，那麼新聞分數就會被扣比較少，反之會扣更多一點)
- 使用者回報也是一樣，會有另一個屬於使用者評分的分數
因此一則新聞會有兩個分數，代表專家看法和一般使用者看法，類似的機制可參考「爛蕃茄」影評網
評價原則
基本上想採取「加分負評制」，使用發黴指數作為指標單位，系統並不提供使用者給新聞加分的機制，因為新聞維持水準是本來就應該做到的，因此一開始的新聞發黴指數是0分，越多分代表新聞越不客觀。
完全沒被加分的新聞就會優先曝光啦~~(阿如果是爛新聞不久就會被拉下去了)
使用者權限分級
*
註1: 類似以下這種的
- 新聞性低 (某官員跳針/抹黑的話題每天照三餐報、圓仔一舉一動、無關緊要的小事)
- 未平衡報導、多方查證
- 標題斷章取義、標題和內容主旨不符
- 帶有歧視性用語、消費弱勢族群或特定人物
- 引用無法查證之人物發言
Q:為何不使用一律平等的自由晉級機制，讓論述能力好的會員自然變成專業會員？
A: 以下幾點理由：
- 一但使用人數多，真正好的意見容易被淹沒，並使回報功能流於巧取積分的留言板形式，甚至造成筆戰等問題。
- 若使用此機制，則為避免使用者在下評論時抄襲他人意見，必得設定為在評論後才能看見其他會員意見，如此一來將違反「增進國人媒體識讀能力」的目標。
- 若採用一般使用者回報機制，則為了避免濫用回報，需附加具體證據，如同《新聞小幫手》式的舉報功能，但所附加之證據是否為真則難以管控，若所有人都使用同樣的證據，則回報功能將變為作弊的不二管道，嚴重影響評價公正性。
Q:如何判定所謂評論員資格？需要依專長限制其評論領域嗎？可否以組織或團體名義申請？
A: 初步設定幾個條件：
- 具有半年以上評論之經驗，其文章在網路上完全開放，且不需任何資格皆可閱讀
- 評論員資格不含以下範圍：純翻譯、分享特定經歷心得(食記、開箱文)...
- 可依其評論領域專長提高該領域評論權重，但不限制評論其他領域新聞
- 以組織或團體名義申請需成立一年以上，但僅可評論和組織/團體相同類型之新聞，且不會增加初始權重
防作弊機制
雖然採用加分制，但有心人士或仍可以以巨量帳號操縱評分。因此並不讓使用者直接對新聞下評分，而是讓使用者去判斷「新聞」、「專家回覆」、「使用者回報」三者誰講的對，然後以推或噓表達支持或不支持意見，這樣的設計可以避免新聞分數直接被操控。
參與回報點數
使用者在觀看新聞的時候，也會隨著時間和有效觀看則數、新聞類別獲得評價點數，用來對上述的會員評價給予支持(或反對)，其特性粗擬如下：
- 同一個新聞類別得到的點數只能用在有相同TAG新聞的回覆上 (原意是讓點數和新聞一樣有時效性，細節需討論)
- 每個帳號一定時間內獲得的點數有上限
- 如果觀看的新聞評分已經過低，就不會得到點數 (意思是如果還是想作弊，你就得去看對手新聞幫它增加流量啦~)
- 點數可另外經由支持公益活動獲得 (妄想，可能是超後期功能)
- 新加入的帳號必須真實的使用一陣子之後才會開始得到點數