A partire dal 30 settembre 2023, Google Optimize non sarà più disponibile. Si aggiunge così agli oltre 281 altri progetti hardware e software che Google ha reso pubblici e poi ha cessato di supportare, per concentrarsi su altro.
Nel corso di oltre dieci anni, lo strumento di A/B testing di Google ha subito numerose modifiche sia nel nome (Google Website Optimizer, Google Analytics Content Experiments, Google Optimize) che nella sua struttura, diventando uno dei più diffusi strumenti di sperimentazione. Ciò è stato possibile grazie alla stretta integrazione con Google Analytics e al modello freemium che ha permesso a chiunque di accedere gratuitamente alle funzionalità di base del servizio.
Google Optimize: quali criticità presenta?
Chi ha lavorato con Google Optimize su progetti complessi sa che lo strumento ha sempre avuto grosse criticità che non ne faranno sentire la mancanza:
- Usa metriche basate sulle sessioni invece che sugli utenti unici, generando così risultati distorti se la variante e l’originale hanno tassi di ritorno differenti.
- Soffre di inspiegabili problemi di sample ratio mismatch (SRME) che rendono in molti casi i risultati inaffidabili.
- Usa un motore statistico che è sostanzialmente una scatola nera scarsamente documentata, di cui devi fidarti per forza.
- La versione gratuita non offre alcun tipo di assistenza.
Cosa fare ora?
Per chi fino ad oggi si è affidato a Google Optimize è necessario scegliere un nuovo strumento che sia adatto al livello di maturità della propria organizzazione e alla complessità del programma di sperimentazione che si è deciso di seguire. Non c’è nulla di peggio, infatti, di un software da migliaia di euro l’anno che non viene utilizzato perché mancano in azienda le competenze, i processi e il personale per sfruttarlo.
Attualmente ci sono decine di opzioni disponibili che vanno dalle soluzioni open source come GrowthBook a quelle enterprise più consolidate come Optimizely. Chi ha esigenze sofisticate saprà sicuramente già come definire una mappa dei requisiti, per tutti gli altri può essere difficile orientarsi fra strumenti che hanno caratteristiche apparentemente simili ma prezzi anche molto diversi. Le alternative valide non mancano, ma valutarle con attenzione richiede tempo e competenze specifiche. Per esempio è essenziale:
- Lanciare un A/A test (ovvero un test dove l’originale e la variante sono identici) ed analizzarne i risultati in modo da verificare l’accuratezza nella raccolta dei dati.
- Creare una serie di A/B test di diverso grado di complessità per verificare come le API della piattaforma supportano il lavoro di sviluppo.
- Verificare le capacità di integrazione con altri software come GA4, Hotjar o Clarity.
- Verificare le capacità di segmentazione delle audience sia pre che post-test.
- … e molto altro ancora.
Da circa 5 anni, Pro Web Consulting collabora con Convert Experience, una piattaforma che, nonostante qualche difetto, ha dimostrato di offrire un ottimo rapporto qualità-prezzo. Abbiamo tre motivi per consigliarla:
- Il focus nel fare una cosa sola e farla bene. Sono una piattaforma di A/B testing che non ha ceduto alla tentazione di voler integrare altri strumenti di analisi, riuscendo così a non disperdere risorse e a evolvere in verticale.
- La grande trasparenza nei costi. Attenzione: le soglie di traffico sono basate sul numero di utenti inclusi in un esperimento e non sul traffico totale mensile del sito. Quindi il piano più adatto va scelto anche in funzione del numero e della durata degli esperimenti che vengono pianificati in un mese.
- L’assistenza stellare: raramente mi è capitato di vedere questa velocità e competenza nelle risposte.
Al di là della scelta dello strumento però è bene ricordare che la regola del 10/90 coniata da Avinash Kaushik per avere successo nella web analytics vale anche per la sperimentazione: per ogni 10$ spesi per uno strumento dovresti spenderne 90$ per le persone dedicate ad analizzare i dati.
