Si utiliza Buffer, es posible que haya experimentado recientemente más tiempo de inactividad de lo habitual. Queremos comenzar con una disculpa por no compartir de manera más transparente lo que ha estado sucediendo. Nos hemos visto atrapados en el trabajo y no hemos invertido lo suficiente en comunicarnos con nuestra comunidad, y lamentamos mucho este paso en falso. Sabemos que algunos de nuestros clientes han tenido momentos frustrantes al usar Buffer recientemente y debemos mejorarlo.
Agosto y septiembre pasados fueron los meses en los que experimentamos la mayor cantidad de incidentes mensuales en los últimos tres años. Estamos entrando en octubre en un estado mucho más estable, pero aún tenemos mucho trabajo planeado para realizar mejoras a largo plazo.
Como referencia, aquí está la página de estado de Buffer, donde puede seguir los incidentes y su resolución.
Estos problemas se deben, en gran parte, a parte de nuestro trabajo para modernizar Buffer. Hemos estado construyendo Buffer desde finales de 2010 y a lo largo de los años hemos acumulado cierta deuda técnica. Por mucho que hayamos estado trabajando para pagar deudas en otras áreas de la empresa (compartimos más sobre la modernización de nuestro sistema salarial el año pasado), hemos estado trabajando arduamente para hacer lo mismo en nuestro equipo de Ingeniería.
Aunque la mayoría de los incidentes provienen de nosotros internamente, también hemos tenido varios incidentes externos en los últimos meses debido a cortes de servicio de nuestros socios. Independientemente de dónde surgió el incidente, agregó volumen a nuestra bandeja de entrada de atención al cliente, generó falta de confiabilidad en Buffer y está lejos de la experiencia que queremos que tenga cualquier usuario de Buffer.
Nuestro propio trabajo para modernizar Buffer, que causa problemas a nuestros clientes, ha sido particularmente desafiante para nosotros. Nos enorgullecemos de crear un producto que ayuda a nuestros clientes a desarrollar su negocio y brindarles una experiencia de clase mundial.
En el segundo trimestre de este año, nuestro equipo de Defensa del Cliente respondió al 60 por ciento de nuestros clientes por primera vez en dos horas y el 91 por ciento de nuestros clientes calificó nuestra atención al cliente como excelente. Para poner eso en perspectiva, tiempos promedio de respuesta del cliente son más de siete horas. Aunque todavía estamos por encima del promedio, hemos estado luchando por no alcanzar nuestro propio estándar de confiabilidad y tiempos de respuesta, y queremos usar esta publicación para compartir más sobre ambos.
Dicho esto, esto es lo que ha sucedido detrás de escena y lo que estamos haciendo para mejorar la experiencia de todos.
El estado actual de Buffer, rendimiento y atención al cliente
Al momento de escribir esta publicación de blog, nuestro equipo ha trabajado muchísimo para establecer qué ha provocado el tiempo de inactividad y la lentitud y hemos estado trabajando febrilmente en un producto más estable.
En términos de rendimiento, hemos reducido el número de incidentes en septiembre en comparación con agosto, pero aún necesitamos mejorar el rendimiento de nuestro producto.
El estado actual de nuestro equipo de Defensa del Cliente
En cuanto a la atención al cliente, hemos trabajado duro para mejorar nuestro tiempo de respuesta al cliente. En agosto, el 46 por ciento de los clientes recibió una primera respuesta en dos horas; en septiembre, el 59 por ciento. Durante este período, el 99 por ciento de nuestros clientes reciben una respuesta dentro de las 24 horas.
Debido a un aumento en el número de solicitudes de atención al cliente en agosto y a la mayor complejidad debido a los problemas e incidentes, comenzamos septiembre con una acumulación de solicitudes de soporte y decidimos mover nuestro equipo de Defensa del Cliente a «Todos manos a la obra» durante siete días. Este estado significa que todos abandonaron el trabajo fuera de la bandeja de entrada y pasaron a una semana laboral de cinco días (en lugar de nuestra semana laboral habitual de cuatro días). Con este cambio, pudimos ponernos al día con el volumen y mejorar significativamente la experiencia general de atención al cliente en dos días.
Una mirada al lado técnico de nuestro equipo de Ingeniería.
Nuestro equipo de ingeniería ha estado trabajando para implementar soluciones inmediatas y soluciones a largo plazo. Para profundizar un poco más en el tema, esto es lo que ha hecho el equipo de ingeniería y en qué están trabajando activamente para continuar con estas mejoras de rendimiento:
- Hemos reequilibrado la forma en que manejamos las solicitudes a nuestra API principal en función de los patrones de tráfico.
Esto ha mejorado significativamente la latencia general y ha reducido los cuellos de botella del sistema. Ya hemos visto resultados positivos de este cambio en nuestras métricas de desempeño.
- Hemos identificado y estamos implementando correcciones para asegurarnos de que nuestras consultas a la base de datos sigan siendo siempre eficientes.
Esto incluye solucionar un error que provocaba que algunas consultas se ejecutaran mucho más lentamente de lo esperado. Estamos implementando esto cuidadosamente y haciendo un seguimiento de su impacto para asegurarnos de que brinde las mejoras esperadas.
- Hemos estado abordando problemas que provocaban que partes de nuestro sistema respondieran menos bajo ciertas condiciones.
Ya hemos solucionado varios casos de este problema y continuamos identificando y solucionando otros, particularmente en métodos utilizados con frecuencia, como verificaciones de permisos y recuperación de información del canal.
- Estamos explorando un mayor equilibrio de nuestra infraestructura API, utilizando potencialmente una mayor cantidad de pods de Kubernetes más pequeños para distribuir la carga de manera más efectiva y reducir el impacto de las desaceleraciones individuales.
Estamos implementando mecanismos de almacenamiento en caché mejorados para los datos a los que se accede con frecuencia, lo que reducirá la carga de nuestra base de datos y mejorará los tiempos de respuesta de la API. En general, estamos abordando estos cambios con cautela, centrándonos tanto en la estabilidad como en el rendimiento. Cada mejora se prueba cuidadosamente y se implementa gradualmente para garantizar que no introduzca nuevos problemas. También estamos ajustando nuestras herramientas de monitoreo para brindarnos información más precisa sobre el desempeño de nuestro sistema, lo que nos permitirá tomar decisiones más informadas en el futuro.
Nuestro equipo está comprometido a resolver estos problemas y proporcionar una plataforma estable y de alto rendimiento. Continuaremos evaluando el impacto de estos cambios y haremos más mejoras según sea necesario.
Detrás de escena: lo que ha estado pasando con nuestro equipo
Los recientes problemas de rendimiento y tiempos de respuesta más lentos en nuestro equipo de atención al cliente han sido una tormenta perfecta de desafíos. Mientras todo esto sucedía, estábamos en uno de nuestros periodos de mayor actividad, coincidiendo con las vacaciones de verano en el hemisferio norte y las vacaciones escolares.
Además del habitual repunte estacional en la actividad, también vimos un mayor volumen de personas que se registraron para usar Buffer en agosto y septiembre, un aumento en nuestra base de clientes de pago y un lanzamiento constante de nuevas funciones e integraciones para continuar nuestro trabajo. innovar y modernizar Buffer. Si bien todos estos son indicadores muy positivos para nuestro negocio, también ejercieron una presión adicional sobre nuestros sistemas durante una época que ya estaba ocupada.
Al mismo tiempo, hemos estado lidiando con problemas técnicos derivados de cambios que ocurren detrás de escena. Estos desafíos técnicos se han manifestado de varias maneras y afectan diferentes aspectos de la experiencia de Buffer.
Si bien no es una excusa, muchos de estos problemas están relacionados con las mejoras que estamos realizando en Buffer en su conjunto. Estamos trabajando en nuevas funciones y actualizaciones necesarias para mejorar nuestro producto, pero en el proceso, hemos encontrado algunos obstáculos que han afectado temporalmente la calidad de nuestro servicio.
Queremos asegurarle que nos tomamos estos desafíos en serio y nuestra prioridad es mejorar la experiencia de nuestros clientes. Nuestro equipo está trabajando para resolver estos problemas mientras continúa mejorando y ampliando nuestro servicio. ¡Necesitamos hacerlo mejor!
¿Qué sigue?
El trabajo no termina con estas soluciones inmediatas.
De cara al futuro, estamos comprometidos a mejorar continuamente la experiencia de nuestros productos, con un enfoque clave de la empresa en reducir la fricción con el cliente. Además de desarrollar nuevas funciones, nuestros equipos de productos e infraestructura siempre dedican mucho tiempo a evolucionar y mejorar la experiencia existente y la estabilidad del producto.
Además, nuestro equipo de ingeniería está realizando varios cambios para continuar mejorando el rendimiento de Buffer. Estos incluyen:
- Implementar una definición más completa de cuándo un incidente está realmente «cerrado».
- Mejorar los procesos de seguimiento internamente con responsabilidades claras para el seguimiento de incidentes.
- Mejorar los procesos de comunicación de incidencias interna y externamente.
- Fortalecer la colaboración entre nuestros equipos de desarrollo y soporte para gestionar mejor la implementación de funciones y anticipar posibles problemas.
- Finalmente, una mayor responsabilidad por parte de nuestro equipo de liderazgo de ingeniería para garantizar que se sigan estos procesos y priorizar la comunicación.
Sabemos que este ha sido un momento difícil para muchos de nuestros clientes y estamos muy agradecidos por su paciencia mientras mejoramos la calidad de nuestro servicio.
Nuestro equipo está dedicado a brindarle la mejor experiencia posible y estamos interesados en que todos ustedes tengan acceso a las mejoras del producto y a las nuevas funciones que estamos incorporando a Buffer.
Tenemos mucho más que compartir sobre este tema, por lo que intentaremos escribir más publicaciones de blog y compartir más detalles sobre incidentes en el futuro. Si hay algo más que le gustaría saber sobre cómo gestionamos los incidentes y la estabilidad de nuestros productos, comuníquese con nosotros o deje un comentario a continuación.
