One Metric That Matters

Barkın Yersu Taşkeli
6 min readDec 3, 2020

--

One metric that matters (OMTM); Alistair Croll ve Ben Yoskovitz’in kitapları Lean Analytics’te ortaya attıkları bir kavram. Onlara göre; her firmanın belli bir zaman diliminde diğer datalarından daha sıkı takip etmeleri ve ürünlerini ona göre optimize etmeleri gereken bir metriği olmalı. Bu metrik değişmez değildir, firmanın içinde bulunduğu aşamaya göre değişen odakla değişebilir. Fakat firmanın o dönemde neyi başarmaya çalıştığını iyi anlaması ve tüm çalışanları aynı sayfada tutabilmesi için oldukça önemlidir.

OMTM, kendisine benzeyen bir diğer kavram olan Kuzey Yıldızı Metriği kavramıyla da oldukça karıştırılır. Bu kavram bir firmanın kendisine yol gösterici olarak seçtiği ve hiç değişmeyecek yada çok nadiren değişecek metriktir. Zamanında bu iki kavramı farklı kelimelerle de olsa Henry Ford çok iyi açıklamış ve fabrikasının amacının her zaman saatte daha fazla araba üretmek olduğunu, bunun için de farklı zaman dilimlerinde sürekli farklı alanlara odaklanmak zorunda kaldığını anlatmıştır. Bandı optimize edip belli bir seviyeye getirdiğinde bu sefer boyama işlemi ona göre yavaş kalmış, bir sonraki dönemde oraya odaklanılmıştır. Burada Kuzey Yıldızı, saatte daha fazla araba üretmek; OMTM ise çeşitli zamanlarda değişen banttaki saatlik üretim adedi veya saatte boyanabilen araba adedi gibi metriklerdir.

Daha genel geçer bir tanım yapmak gerekirse kuzey yıldızı bir firmanın ulaşmaya çalıştığı nihai hedef, OMTM’ler ise bu hedefe ulaşmak için farklı zamanlarda odaklanılan farklı alanların sayısallaştırılmış hedefleridir.

OMTM ne işe yarar?

1.Tüm şirketin aynı dönemde aynı hedefe odaklanmasını sağlar.

Özellikle iş modelini tam anlamıyla oturtmamış şirketler farklı rüzgarlara kapılmaya veya anlık olarak çekici gelen işleri yapmaya oldukça meyillidir. İlgili dönemin hedefini belirlemiş olmak bu odak kaymalarını önler. Ayrıca hedefin tüm çalışanlar tarafından net bir şekilde bilinmesi onların işlerini daha bilinçli yapmalarını sağlayarak işe katkılarını artırır. Bir developerın kod yazarken bu kodun neye hizmet edeceğini anlaması hem işini daha doğru yapması hem de motivasyonu açısından oldukça önemlidir.

2.Sayısal hedefler koymaya zorlar

OMTM belirleme süreci sizi; o dönemdeki gerçek probleminizi tespit etmeye zorlar. Ürününüzdeki sürtünme yaratan noktaları bulmak ve bunları sayısallaştırmaya çalışmak zayıf yanlarınızı anlamanıza ve düzeltmenize ön ayak olur.

3.Test&build kültürünü yerleştirir

Konulan hedefi yakalama süreci ise ekibi sürekli yeni çözüm önerileri sunmaya ve onları test etmeye zorlar. Farklı önerileri test eder ve iterasyonlarla hedefinizi yakalayana kadar ilerlersiniz. Hem ürününüzü geliştirmenize hem de kullanıcılarınızı daha iyi tanımanıza katkıda bulunacak test kültürü, potansiyel hataları çok daha erken yakalamanıza ve müdahale etmenize imkan verir.

OMTM nasıl belirlenmeli?

1.Eksik yön (Bottleneck) tespiti

OMTM belirlerken en önemli yol göstericimiz Kuzey Yıldızı metriğimiz olacak, sonuçta amacımız oraya ulaşmak. Nihai hedefimize giden yolda şirketimizin içinde bulunduğu evreyi de göz önünde bulundurarak hangi alana ağırlık vermemiz gerektiğine karar vermeli ardından da bu alanı sayısal bir metrikle tanımlamalıyız. Örneğin yeni kurulmuş bir şirketin odaklanacağı ilk nokta yeni kullanıcı kazanımı olacakken, yeteri kadar kullanıcısı olan bir şirket nihai ciro hedefini tutturmak adına dönüşüm oranını veya ortalama sepet tutarını artırmayı kendine hedef seçebilir.

2.Hedef belirleme

Hangi metriğe odaklanacağınızı bilmek tek başına yeterli olmayacaktır. O metriği taşımak istediğiniz noktayı da belirlemeli ve sayısal bir hedef koymalısınız. Hedef koymak, hem bir metriğe uzun süre takılıp kalmanızı önler hem de bu hedefe ulaşmak için yapacağınız testlerin sonuçlarını daha doğru değerlendirmenizi sağlar. Fakat bu hedefleri belirlemek oldukça zordur, kuzey yıldızı metriğinize ulaşmak için size gerekli olan rakamı hedef olarak seçmek veya endüstri standartlarını incelemek faydalı olabilir. Yine de bu hedef birçok kişi tarafından kuma çekilen bir çizgi olarak betimlenir. Hedefe ulaşmak için testlerinizi yaptıkça bu hedefin ne kadar gerçekçi olduğunu da zamanla anlayacak ve dinamik bir şekilde güncelleyebileceksiniz.

3.Test et ve geliştir

Hangi metriğe odaklanacağınızı seçtiniz ve kendinize bir hedef koydunuz, şimdi sıra bu hedefe nasıl ulaşacağınızı bulmaya geldi. Bunun için sizi hedefinize götüreceğine inandığınız tüm yöntemleri listeleyin ve tümü için sırayla basit prototipler yapmaya başlayın. Bu prototipler öyle basit olmalı ki bir product ekibi bir hafta içinde ondan fazla yöntemi prototipleyip test edebilmeli. Testten beklentiniz; yönteminizin ilgili metriği, belirlediğiniz hedefe istediğiniz ölçüde yaklaştırıp yaklaştırmadığını görmek olacak. Testlerinizi kurarken tek seferde tek bir yöntemi test etmeyi (farklı aksiyonların toplu sonucunu test etmiyorsanız) ve test kullanıcılarını doğru seçmeyi unutmayın.

Test sürecinde; prototiplediğiniz yöntemlerin hangilerinin sizi hedefinize ne kadar yaklaştıracağını görecek ve bunlardan hangilerini geliştireceğinize karar vereceksiniz. Bu sürecin başka bir çıktısı da hedefinizin gerçekçi olmadığını fark etmeniz olabilir. Bu durumda hedefinizi test sonuçlarınıza göre daha gerçekçi hale getirmeye çekinmeyin.

4.Tekrarla

Seçtiğiniz metrikle ilgili hedefinize ulaştığınızda artık başka bir alana odaklanmanın zamanı geldi demektir. Bunun için sürece baştan başlamalı ve değişen şartlarda eksik kalan, sizi nihai hedefinizden uzaklaştıran noktaları belirlemelisiniz. Daha sonra bu noktalara çözüm bulacaksınız ve bu süreç böyle sürüp gidecek.

OMTM fikrinin ilk ortaya atıldığı Lean Analytics kitabında bu süreç bir stres topuna benzetilmiş. Buna göre; stres topunun bir kısmını sıktığınızda başka bir kısmının şişmesi gibi siz de bir metriğe odaklanıp onu geliştirdiğinizde başka bir metrik problem olmaya başlayacak ve size odaklanmanız gereken yeni alanı gösterecektir. Örneğin; sitenizin trafiğini artırdığınızda bu durum muhtemelen dönüşüm oranınıza olumsuz yansıyacak ve müdahale etmeniz gereken yeni alan kendiliğinden ortaya çıkacaktır, veya yeni kullanıcı sayınızı artırdığınızda muhtemelen endişe etmeniz gereken bir sonraki alan retention olacaktır.

Seçtiğiniz OMTM’ler şişen tarafını sıktığınız bir stress topu gibi zamanla sürekli değişim gösterecektir.

OMTM Örnekleri

İş modeline göre seçilen metrikler ve bunların evrelere göre değişimi de farklılaşır. Herkes için oldukça tanıdık olan sosyal medya ve e-ticaret uygulamalarının olası OMTM değişimlerine bakalım.

Sosyal Medya Uygulamaları

Bir çok sosyal medya uygulamasının piyasaya çıkışıyla birlikte önem verdiği ilk metrik günlük yeni kullanıcı adedi olmuştur. Bu şekilde firmalar ne kadar hızlı kullanıcı kazanabildiklerini test ederler ve bu rakamı, doğal olarak da kullancı sayılarını artırmak için kullanıcı edinme kampanyaları yaparlar. Bu evreyi sadece tek bir metriğe bakılan bir zaman dilimi olarak düşünmeyin. OMTM hedef olsa da ona ulaşmak için bakılması / optimize edilmesi gereken active users veya retention rate gibi bir çok alt metriğe de dikkat edilmelidir.

İkinci evrede ilk evreyi başarıyla geçen ve çok sayıda kullanıcı edinen uygulamalar genellikle edindikleri kullanıcıları aktif tutmak adına etkileşim oranına önem vermeye başlarlar. Bu evrede amaç bir paylaşım yapan veya paylaşımlara tepki veren kullanıcı oranını artırmaktır. Bu oran bir sosyal medya uygulaması için çok önemlidir çünkü paylaşım yapan kullanıcılar arttıkça artan içerik hem diğer kullanıcılar için uygulamanın albenisini artıracak hem de paylaşım yapan kullanıcılar giderek uygulamaya daha sadık hale geleceklerdir.

Üçüncü evre ise genellikle uygulamaların içeriklerini paraya dönüştürme evresidir. Bu dönemde uygulama artan içeriğin arasına reklam almaya başlar ve odak olarak da bu reklamlardan elde ettiği aylık ciroyu seçer. Bu evrede dikkat edilmesi gereken en önemli nokta ise reklam kaynaklı churnlerin önüne geçmektir.

Dördüncü evrede ise; reklamları içeriğine yerleştiren uygulamalar her bir kullanıcıya daha fazla reklam gösterebilmek ve daha fazla gelir elde edebilmek için ortalama session süresini artırmayı amaçlarlar. Bunun için farklı içerik paylaşıma yöntemleri ile hem yaratılabilecek hem de görülebilecek içerik sayısını ve çeşidini artırmaya odaklanırlar. Görsel → Video -> Story gelişimini buna örnek olarak düşünebiliriz.

E-ticaret Uygulamaları

E-ticaret uygulamaları genellikle ilk evrelerinde aylık aktif kullanıcı rakamında belli bir noktaya gelmeye çalışırlar. Bu metrik bir teicaret sitesi için son derece önemli olan yeni kullanıcı ve geri dönen kullanıcı rakamlarının toplamını yansıttığından takip edilmesi son derece mantıklı ve önemlidir. Aylık aktif kullanıcı sayısı, geri dönen kullanıcı adedini sayısal olarak içerse de geri aylık dönen kullanıcı oranını (veya retention rate) ayrıca takip etmenizi öneririm. Eğer bu oran giderek azalıyorsa, sitenize gelen kullanıcıları zamanla kaybediyorsunuz demektir ve yeni kullanıcı sayısını artırma yönündeki çabalarınız, delik bir havuzu doldurmaya çalışmaktan farklı olmayacaktır.

Aylık aktif kullanıcı sayısını belli bir noktaya getiren uygulamalar sıradaki evrede bu kullanıcıları eli boş göndermemeye, yani dönüşüm oranına odaklanırlar. Dönüşüm oranı muhtemelen e-ticaret siteleri tarafından en çok takip edilen metriktir ve siteye gelen 100 kullanıcıdan kaç tanesinin alışveriş yaptığını gösterir. Bu oran; sitenin ürün içeriğinin iyiliğinden, aranan ürünlerin kolay bulunmasına, doğru ürünlerin doğru kullanıcıya gösterilmesinden, ödeme işlemlerinin kolaylığına kadar bir çok faktörden etkilenir. Bu sebeple de e-ticaret sitelerinin yaptıkları testlerim çoğunu hedef metrik olarak seçilir.

Dönüşüm oranını belli seviyeye getiren siteler genellikle ardından ortalama sepet tutarına oynarlar. Burada amaç alışveriş yapan her kullanıcıdan daha fazla para kazanabilmektir. Bunun için genelde sepete daha fazla ürün atmaya teşvik edice kampanyalar kullanılır. Kargo bedava kampanyaları genelde en çok tercih edilendir. Siteler ortalama sepet tutarlarına bakarlar ve biraz üstü bir tutarı kargo bedava sınırı olarak belirlerler. Örneğin 110 lira ortalama sebep tutarı olan bir site; kargo bedava sınırını 125 liraya koyar ve bedava kargo elde etmek için sepete atılan ekstra ürünlerle ortalama sepet tutarının artışını izler.

Çok farklı opsiyonlar olsa da dönüşüm oranı, ortalam sepet tutarı gibi metrikleri oturmuş bir e-ticaret sitesinin takip etmesi gereken en önemli metrikleriden biri LTV/AC (Life time value / Acquisition cost)’dur. Türkçe düzgün kelimeler bulamadığım için bu şekilde yazdığım bu oran; bir kullanıcının tüm ilişkileri boyunca o siteye kazandıracağı gelirin, o müşteriyi kazanmak için yapılan harcamaya oranını verir. Tahmin edersiniz ki siteler; bu oranı yüksek müşterileri ve bu müşterileri getiren kanalları tercih edeceklerdir ve böylece karlılıklarını artıracaklardır.

Bu konu ilgiliniz çektiyse ve daha fazla bilgi edinmek isterseniz Lean Analytics kitabını okumanızı öneririm.

--

--