產品指標

它代表什么

它不代表什么

示例

• 安裝量

• [每日|每月] 活躍用戶

• 第[7|30]天留存率

龐大的應用程序安裝量或使用量通常意味著一些事情：

• 它表明了產品經過精心設計的實現，特別是在 Web 和 Android 平臺上。在這些平臺上兼容各種底層 API 和瀏覽器版本的復雜迷宮本身就是一個值得贊揚的成就。

• 它標志著產品能夠在各種地理位置之間有效運行，每個地區(qū)都有其獨特的互聯(lián)網連接、隱私/法律規(guī)定和手機制造商。

• 它表明產品更好地適配了 Android 硬件的碎片化，以及存在于 Apple 平臺上的多種形態(tài)因素（如 MacOS、tvOS、watchOS 等）。

• 它體現了工程師解決不常見設備和瀏覽器上的微妙 bug 的能力。

• 它強調了工程師在保護生態(tài)系統(tǒng)健康方面所起到的關鍵作用，特別是對于那些真正無處不在的應用程序(十億安裝量)以及可能造成系統(tǒng)范圍災難的應用程序來說。

• 與普遍看法相反，十億次安裝并不能有效地衡量客戶端工程師在構建新興產品方面的能力。

• 用更輕松的語氣來說，這就像構建一個每秒提供 50 萬個查詢的后端 API。雖然令人印象深刻，但并不是工程師能力的唯一標志，也不是產品整體活力和增長軌跡的明確衡量指標。

• 如果缺乏可靠的質量指標的支持（下文有詳述），那么安裝量指標就有點像一個沒有披風的超級英雄。當然，它看起來很華麗，可能會給你帶來一些街頭信譽，但這還不足以真正拯救世界。單獨來看，它主要只是炫耀產品增長，缺乏真正展示影響力的深度。所以，我們不要讓它在沒有全副武裝的情況下投入戰(zhàn)斗，好嗎？

• Mitra改進了我們的文本編輯器，使其能夠在小眾 Android 廠商設備上運行，為我們1億DAU的產品擴大了1%的用戶群。

• Akira在 Web 標準上的貢獻促進了我們從 2K 用戶的私人預覽向跨瀏覽器 1 百萬用戶公共預覽的轉變。

• Mireya使用 C 實現了核心的移動功能，使我們能夠在推出 Android 后僅兩個月就推出 iOS 應用，增加了 1 百萬日活躍用戶。

• Ila對 Apple 平臺 API 的深入了解使我們能夠在 WWDC 發(fā)布后兩周內向 10 萬用戶推出 Apple Silicon 版本的應用。

• 由于 Laya 解決了影響數千名沒有模擬功能的 Android 用戶的 bug，我們在印度的客戶滿意度評分提高了 3% 。

• Amal對本地存儲的優(yōu)化是讓高級用戶在連續(xù)30天內高度參與產品而不會耗盡磁盤空間的關鍵。

產品指標

它代表什么

它不代表什么

示例

程序崩潰

程序崩潰的減少（或超過 99% 無崩潰）意味著：

• 展示了工程師有遠見和嚴謹的工程能力，他們提供了出色的客戶端軟件，相比后端，客戶端軟件更加難以回滾。

• 遵循了 Web、Apple 和 Android 平臺不斷變化的最佳實踐。

• 能夠構建在不同計算環(huán)境中無縫運行的軟件，這對于 Android 來說尤為重要。這突顯了團隊的技術多樣性和對各種計算環(huán)境的深入理解，確保了所有平臺上的最佳功能和用戶體驗。

應用程序不發(fā)生崩潰也可能是因為它本身就很簡單。這些指標需要與產品支持的流程和功能數量一起進行校準。

Maya將支持 4 種不同身份驗證登錄流程的崩潰率從每天 1 萬次降低到了不到 1 千次。

• 啟動延遲

• 應用程序大小

• 內存占用

• 構建時間

• 大多數生產級應用程序都具有復雜的啟動路徑，不僅涉及業(yè)務邏輯的初始化，還有一系列復雜的依賴項?？焖賳訉τ诹糇∮脩魜碚f至關重要。對P95冷啟動的任何實質性改進都需要細致的分析、建立假設和嚴格的實驗。

• 具有合理內存占用的應用程序表明采用了工程最佳實踐，例如高效加載實體和重用對象。這在擁有大量低端設備的Android平臺上尤為重要。

• 與 Web 工程相比，原生移動開發(fā)的一個痛點是相對較長的編譯時間。能夠顯著縮短編譯時間的努力將在開發(fā)者生產力方面產生多重效應。這可以通過緩存構建工件、優(yōu)化依賴關系（消除無關依賴項）和使用庫動態(tài)鏈接等方法來實現。

• Alice在過去的6個月里將iOS冷啟動的P95降低了25%。Alice通過仔細分析啟動路徑和延遲加載初始屏幕不需要的庫實現了這一點。

• Yu重寫了視圖模型緩存。這提高了內存利用率，并在過去6個月內減少了15%的OOM崩潰。

熱修復

適度數量的熱修復通常意味著：

• 穩(wěn)定、高水準的發(fā)布，能夠經受住用戶需求和技術挑戰(zhàn)的考驗，展示出對交付卓越、可靠軟件解決方案的承諾。

• 深思熟慮的實驗標志，突顯了對功能測試和實現的戰(zhàn)略性方法，進一步增強了軟件的韌性和以用戶為中心的設計。

Kriti設計了一個在客戶端允許我們在后端遠程配置客戶端參數而無需重新發(fā)布應用程序的實驗框架，并且不違反應用商店的政策。我們平均每個季度的熱修復數量已從 6 個降至少于 2 個。

后端錯誤 (4XX) (以及其他后端指標)

后端錯誤率的降低可能意味著：

• 客戶端實現的更正，減少了錯誤的 RPC。這表明系統(tǒng)通信和協(xié)調得到了改善。

• 提高了客戶端的可配置性，允許在啟動后進行參數調整，確保更好的性能和對項目需求和問題的響應。

Indra經歷了一個辛苦的過程來理解是什么情況導致客戶端發(fā)送錯誤參數并在后端觸發(fā)了 400 錯誤。這使我們值班時的誤報率降低了30%以上。

指標

它代表什么

它不代表什么

外部問題修復

盡管這可能被視為一種虛榮指標，但對于面臨用戶報告問題的開源客戶端應用程序來說，它通常具有重大意義。這個指標強調了處理和解決這些問題的重要性，有助于維護和提升項目在開源社區(qū)中的可靠性和聲譽。

• 對于習慣宣告大規(guī)模 Bug 被消除的團隊，這個指標失去了效力。如果大量 Bug 經常被一筆勾銷而不加以解決，那么它就不能作為可靠的績效和改進衡量指標。

• 此外，這個指標基于某種誠信假設。

發(fā)布次數

頻繁的發(fā)布意味著：

• 持續(xù)的 Bug 修復和改進，體現了改善產品并確保其可靠性和有效性的承諾。

• 提高了發(fā)布能力，克服了歷史上的挑戰(zhàn)，并展示了改進的更有效率的發(fā)布流程。

• 努力與生態(tài)系統(tǒng)的其他部分保持同步，包括依賴項和平臺更新，確保產品保持最新、安全，并與生態(tài)系統(tǒng)的其他元素兼容。

• 大量的發(fā)布也可能源于不穩(wěn)定性，說明需要進行頻繁更新來解決持續(xù)出現的問題，并確保產品安預期運行。

• 這一觀點強調了在產品穩(wěn)定性與發(fā)布頻率之間取得平衡的重要性，避免對團隊和最終用戶造成過重的負擔。

NPS/CSAT

盡管客戶滿意度調查具有通用性，但通常會受到客戶端應用程序的影響。應用程序是用戶與服務之間的第一個、最具體且頻繁的互動。

• 糟糕的體驗可能會留下深刻的負面印象，難以抹去。

• 相反，出色的應用體驗可以彌補服務特性、性能和價格方面的不足，給客戶留下積極而持久的印象，有助于培養(yǎng)忠誠度和滿意度。

可訪問性/可用性指標

• 努力打造一款無障礙、包容的產品，供聽力、視力、行動能力或語言障礙人士使用。

• 可用性通常表現為產品支持成本的降低。