2:00
Juan MC Larrosa
Solución de la discriminación en los mercados en línea
Ray Fisman y Michael Luca - Harvard Business Review
Edición de diciembre de 2016
A fines de la década de 1980, los profesores de derecho Ian Ayres y Peter Siegelman se propusieron saber si los negros y las mujeres obtuvieron los mismos tratos que los hombres blancos al comprar un automóvil nuevo. Ellos entrenaron a 38 personas-algunas blancas y otras negras, algunas masculinas y otras femeninas- para negociar una compra usando un guión fijo y descubrieron diferencias inquietantes: a través de 153 concesionarios, los compradores negros y femeninos pagaban más por los mismos coches que los blancos, Con las mujeres negras pagando más - en promedio, casi 900 dólares más que los hombres blancos. Aunque las conclusiones no fueron una sorpresa para la mayoría de la gente, y menos aún para los negros y las mujeres, fueron una demostración convincente de cuán discriminatorios pueden ser los mercados.
Avanzar una docena de años a los primeros días del comercio de Internet. Los empresarios estaban experimentando con ventas basadas en la web de todo, incluyendo automóviles. Los economistas Fiona Scott Morton, Florian Zettelmeyer y Jorge Silva-Risso analizaron este nuevo modo de vender automóviles y encontraron que eliminó la discriminación racial y de género que, también encontraron, persistió en las ventas de automóviles fuera de línea.
De hecho, la primera generación de mercados en línea, incluyendo eBay, Amazon y Priceline, hizo difícil para los vendedores discriminar. Las transacciones se llevaron a cabo con anonimato relativo. Un usuario puede negociar una compra sin proporcionar ninguna información de identificación hasta que el vendedor haya aceptado el acuerdo. Como dice una famosa historieta de Nueva York, "En Internet, nadie sabe que eres un perro".
Excepto que las plataformas -y ahora sus usuarios- saben si eres negro o blanco, masculino o femenino, humano o canino. Y la Internet se ha revelado recientemente como una fuente de discriminación, no como un fin a ella: con sus identidades descubiertas, los grupos desfavorecidos enfrentan muchos de los mismos desafíos que han enfrentado en el mundo off-line, a veces empeorado por la falta de Regulación, las fotos de la prioridad dan a la raza y el género, y el hecho de que los aspirantes a discriminadores pueden actuar sin confrontar personalmente a sus víctimas.
¿Qué pasó y qué podemos hacer al respecto?
En los primeros días del comercio electrónico, comprar en línea a menudo requiere un salto de fe. Un vendedor de eBay en Florida podría publicar, por ejemplo, una tarjeta de béisbol de Topps para la temporada 1974 de Nolan Ryan con los Angeles de California, junto con una descripción de su condición. Un coleccionista en Massachusetts podría pujar por la vista de la tarjeta sin ser visto, sobre la base de esa descripción. Una tarjeta en estado de menta podría ser valorada en $ 60, pero un perro-oreja uno valdría sólo una fracción de eso. ¿Qué era para evitar que el vendedor de pasar de una tarjeta bien gastada como prístina? Muy poco: un estudio de los economistas Ginger Jin y Andrew Kato encontró que a principios de los años 2000, los comerciantes de eBay a menudo falsas representaciones de la calidad de las tarjetas de comercio de deportes.
El problema con el comercio electrónico temprano era que un lado del mercado tendía a saber cosas que el otro lado no tenía: la condición de una tarjeta de béisbol, la confiabilidad y el cuidado con que las mercancías serían empaquetadas, y así sucesivamente. Estos desafíos surgen en todos los mercados, pero fueron particularmente graves para las plataformas en línea, por dos razones principales. En primer lugar, es más difícil superar las asimetrías de información cuando no se puede sostener un producto en la mano. En segundo lugar, los vendedores en línea eran, casi por definición, nuevos en el negocio, ya que el negocio en sí había sido de alrededor de unos pocos años. No había marcas establecidas, como Sotheby's y Sears, para asegurar a los compradores que no serían engañados.
Con el tiempo, las revisiones de compradores y otros comentarios han permitido a los vendedores de comercio electrónico acumular reputación. Pero, ¿por qué detenerse en la recopilación de información cuando se podría extraer información tan potencialmente útil de las identidades de los compradores y los vendedores? Por ejemplo, Jefferson Duarte, Stephan Siegel y Lance Young, en un estudio sobre préstamos peer-to-peer de 2012, evaluaron la confiabilidad de los prestatarios potenciales después de ver fotografías de ellos. Resultó que las personas que "parecen dignas de confianza" eran más propensos a tener sus solicitudes de préstamo concedido. Más sorprendentemente, también eran más propensos a pagar los préstamos. La consecuencia fue que si este tipo de información fina pudiera ayudar a los participantes del mercado a evaluar las perspectivas de una transacción, tenía sentido proporcionarla.
En los sitios web de servicios que van desde freelance a paseo compartido a caminar perro, muchos vendedores ahora tienen discreción sobre quién hacer negocios con sobre la base de apariencia o incluso un nombre. La disponibilidad de tal información es específica de la plataforma, con algunos sitios preservando una cantidad justa de anonimato mientras que otros retroceden a las prácticas largamente prohibidas en los mercados off-line. Del mismo modo, en muchos sitios, incluyendo Etsy y CustomMade, los compradores potenciales no sólo ver los productos, sino también los nombres y fotos de los vendedores. Aunque tener detalles sobre posibles socios de transacciones puede hacer que la gente se sienta más cómoda, un creciente cuerpo de evidencia demuestra que facilita la discriminación.
El mercado de alquiler a corto plazo de Airbnb es un ejemplo de la aparición de la discriminación en los mercados en línea y las formas en que las decisiones de diseño influyen en el alcance de la misma. Cuando un posible inquilino busca listados, ve descripciones e imágenes tanto de la propiedad como del anfitrión. Y los anfitriones pueden ver los nombres -y en muchos casos las imágenes- de los potenciales inquilinos antes de aceptarlos o rechazarlos.
Uno de nosotros (Mike, trabajando con Benjamin Edelman y Daniel Svirsky) ha investigado la discriminación racial en Airbnb. En un estudio centrado en el mercado estadounidense, el grupo construyó 20 perfiles de usuario y envió solicitudes de alquiler a aproximadamente 6.400 hosts. Los perfiles y las solicitudes eran idénticos, excepto un detalle: el nombre del usuario. La mitad de los perfiles tenían nombres que (de acuerdo con los registros de nacimiento) son comunes entre los blancos, mientras que la mitad tenía nombres comunes entre los negros.
Las solicitudes con nombres de sonidos negros eran un 16% menos probables que las que tenían nombres de sonido blanco para ser aceptadas. Y la discriminación era generalizada, ocurriendo con listas baratas y caras, vecindades diversas y homogéneas, habitaciones en la propia vivienda del anfitrión y unidades separadas alquiladas por propietarios con listados múltiples. La mayoría de los anfitriones que rechazaron peticiones de perfiles de sonoridad negra nunca habían recibido a un huésped negro, lo que sugiere que algunos anfitriones son especialmente inclinados a discriminar por motivos de raza. (En respuesta a este estudio ya un creciente coro de críticas de usuarios y reguladores, Airbnb encargó a un grupo de trabajo para identificar maneras de reducir la discriminación, que propuso una serie de cambios en septiembre de 2016. Vamos a discutir los aspectos de las políticas anunciadas a continuación. )
Los investigadores han documentado la discriminación racial en una variedad de áreas en línea, desde los mercados laborales hasta las solicitudes de crédito y la vivienda. Está habilitado por dos rasgos: marcadores de raza, más obviamente fotografías pero también indicadores más sutiles, como nombres; Y la discreción por parte de los participantes en el mercado sobre los que realizan transacciones. Como veremos en la siguiente sección, ambas son opciones hechas por diseñadores de plataformas.
Otra característica del comercio en línea a veces, también contraintuitivamente, nutrido en lugar de suprimir la discriminación: el uso de algoritmos y grandes datos. Los resultados de búsqueda de Google sirve, los libros de Amazon sugiere, y las películas Netflix recomienda son todos los ejemplos de las máquinas de reemplazar el juicio humano imperfecto sobre lo que los clientes quieren. Es tentador asumir que la eliminación del juicio humano eliminaría el sesgo humano también. Pero ese no es el caso.
De hecho, la discriminación generada por algoritmos ocurre de formas que los humanos probablemente evitarían. En un estudio revelador, la profesora de ciencias de la computación Latanya Sweeney trató de entender el papel de la raza en los anuncios de Google. Buscó nombres afroamericanos comunes -como Deshawn y, bueno, Latanya- y registró los anuncios que aparecieron con los resultados. Luego buscó nombres, como Geoffrey, que son más comunes entre los blancos. Las búsquedas de nombres de sonido negro eran más propensas a generar anuncios que ofrecían la posibilidad de investigar posibles registros de arrestos.
Por supuesto, Google no se propuso mostrar anuncios de arresto-registro a las personas que buscaban nombres afro-americanos. Eso sucedió porque un algoritmo "decidió", sobre la base de búsquedas anteriores, que alguien que busca "Deshawn" es más probable que alguien que busca "Geoffrey" haga clic en un anuncio relacionado con arrestos (y por lo tanto genere ingresos para Google). Es decir, la elección fue hecha, si involuntariamente, por los diseñadores de algoritmos de Google.
Las plataformas, incluso cuando están en la misma industria, a menudo difieren en sus características de diseño, lo que puede conducir a diferentes niveles de vulnerabilidad a la discriminación. Tome la decisión de si y cuando publicar imágenes de usuario. Uber no proporciona a los conductores fotos de pasajeros potenciales, pero su competidor Lyft lo hace. Esto hace que Uber sea menos vulnerable que Lyft a la discriminación por parte de los conductores. Del mismo modo, la página principal de resultados de búsqueda del mercado de alquiler de vacaciones HomeAway muestra sólo fotos de la propiedad de alquiler y retiene las fotos de acogida hasta una página posterior (si se muestra en absoluto), mientras que Airbnb requiere que los anfitriones incluyen fotos de sí mismos en su Página principal de resultados de búsqueda.
Las empresas también tienen diferentes enfoques para investigar la posible discriminación y tomar medidas correctivas. Por ejemplo, eBay trabajó con un equipo de psicólogos sociales para explorar si los vendedores masculinos obtienen precios más altos que los vendedores femeninos por artículos similares (lo hacen). Más comúnmente, sin embargo, las empresas evitar el problema. Aunque muchos ejecutivos reconocen que existe discriminación y expresan interés en reducirla, hemos visto pocos esfuerzos serios como eBay para medir su alcance. Así que los investigadores que buscan estudiar la discriminación en línea deben ejecutar sus propios experimentos o raspar datos decididamente imperfectos de los sitios web. (Y sabemos de casos en los que los abogados de la compañía han ido tras esos esfuerzos en un intento de bloquear la investigación relacionada con la raza).
El sesgo generado por el algoritmo ocurre de manera que los humanos probablemente evitarían.
Incluso las empresas con las mejores intenciones no pueden elegir el mejor enfoque para combatir la discriminación, porque, a nuestro conocimiento, no existe un sistema para pensar a través de las opciones de diseño disponibles y sus implicaciones. Nuestro objetivo en lo que sigue es ofrecer un marco para las empresas que quieren diseñar y gestionar un mercado próspero, minimizando al mismo tiempo el riesgo de discriminación.
No esperamos que cada diseñador del mercado tome las mismas decisiones. Al igual que los competidores hacen diferentes opciones de diseño sobre otras situaciones (por ejemplo, Lyft deja que los jinetes pasen por su aplicación, pero Uber no), harán diferentes opciones sobre enfrentar la discriminación; Entre otras razones, imponen primas diferentes para evitar la discriminación (aunque creemos que las plataformas deben mantenerse a un alto nivel en este sentido). Nuestro objetivo es ayudar a los diseñadores a considerar plenamente las implicaciones y los compromisos de sus opciones de diseño.
A continuación ofrecemos dos principios rectores para plataformas que luchan con este reto de diseño de mercado. A continuación, evaluamos cuatro opciones de diseño que pueden afectar la discriminación.
Las plataformas deben comenzar con un seguimiento más cuidadoso. Actualmente, la mayoría no conoce la composición racial y de género de sus participantes en la transacción. Un informe regular (y una auditoría ocasional) sobre la raza y el género de los usuarios, junto con las medidas del éxito de cada grupo en la plataforma, es un paso necesario (aunque no suficiente) para revelar y afrontar cualquier problema. Puede arrojar luz sobre las áreas donde la discriminación es un problema y revelar el progreso en el tiempo. También puede ser un primer paso de buena fe para reducir la discriminación. Por ejemplo, Airbnb debe informar regularmente sobre las tasas de aceptación de invitados que se desglosan por factores como la raza y el género. Hacer pública esta información ayudaría a aumentar la conciencia del usuario y del regulador y mantener la presión sobre las compañías para que traten seriamente los problemas de discriminación que surgen a medida que sus plataformas evolucionan. (La divulgación pública de datos relacionados con la discriminación es una dimensión en la que las políticas anunciadas por Airbnb son muy cortas, pero es necesario para asegurar que los objetivos amplios y loables de la compañía se traduzcan en resultados concretos).
Además de elegir qué información revelar, las plataformas eligen lo más destacado para hacerlo. Y un gran cuerpo de evidencia ha demostrado que la relevancia importa. En algunas plataformas, por ejemplo, los costos de envío están separados de, y menos destacados, que el precio base. En un experimento influyente, los economistas Jennifer Brown, Tanjim Hossain y John Morgan demostraron que en esta situación, un precio base más bajo aumenta la posibilidad de que un artículo se venda, incluso cuando está compensado por una carga de envío más alta. En otras palabras, un cliente está influenciado no sólo por la información que ve pero también por la información que es más prominente.
Para ver cómo se puede aplicar esta información, recuerde la comparación de Airbnb, que muestra las fotos del host en su página principal de búsqueda y HomeAway, que no. (En septiembre, Airbnb declaró que probará formas alternativas de presentar fotos y otra información relevante para la carrera, aunque no se comprometió a detalles específicos.) Al reducir la importancia de la raza, las plataformas podrían reducir la discriminación.
Tener transacciones se producen antes de la raza y el género se revela hace que sea más difícil para las personas a discriminar. Considere la característica Airbnb conocida como "libro instantáneo", diseñada para hacer la reserva más simple y más conveniente. Un anfitrión que lo utiliza permite a los inquilinos reservar su propiedad sin haberla aprobado por primera vez. El libro instantáneo es una característica de opt-in: Los propietarios deben registrarse para ello. La investigación ha demostrado que el sesgo predeterminado es fuerte: la mayoría de los hosts utilizarán cualquier opción configurada como predeterminada. Si Airbnb cambió su predeterminado a libro instantáneo, lo que requiere que los anfitriones opten activamente por salir de él, la discriminación muy probablemente será disminuida. La compañía podría incluso considerar hacer que los anfitriones paguen por el privilegio de revisar a los clientes, por ejemplo, podría cobrar una prima por optar por salir del libro instantáneo. (En septiembre la compañía anunció que aceleraría el uso del libro instantáneo, aunque no especificó cómo lo lograría.)
Creemos que el aumento de la automatización y los incentivos económicos estándar, cuidadosamente implementados, podrían reducir la discriminación y, al eliminar algunos de los vaivenes necesarios para completar una transacción, aumentar los beneficios en una variedad de plataformas.
Hay una lección aquí para los mercados: Si quieres que la gente haga algo, piense cuidadosamente sobre cuándo debe pedirles. La mayoría de las plataformas tienen políticas que prohíben la discriminación, pero están enterradas en letra pequeña. Por ejemplo, los anfitriones de Airbnb deben acordar no discriminar, pero lo hacen al firmar primero para ser un propietario. En el momento en que un anfitrión está decidiendo si aceptar a un arrendatario potencial, ella probablemente ha olvidado ese acuerdo. Los mercados podrían presentar políticas antidiscriminatorias en un momento más relevante y el acuerdo del anfitrión de no discriminar ocurrirá durante el proceso de transacción real. Algunas personas seguirían violando las políticas, por supuesto, pero eso requeriría una elección mucho más consciente.
Si un diseñador de algoritmos se preocupa por la imparcialidad, necesita hacer un seguimiento de cómo la raza o el género afecta la experiencia del usuario y establecer objetivos explícitos. ¿Quiere asegurarse de que los clientes negros no sean rechazados a tasas más altas que los clientes blancos? ¿A las mujeres se les ofrecen los mismos precios que a los hombres?
Google ajustó su algoritmo en respuesta al estudio del arresto-registro, pero las compañías pueden supervisar y responder proactivamente a tales problemas. Esto podría conllevar una compensación por la discriminación de algunos usuarios. Por ejemplo, supongamos que Uber se dio cuenta de que algunos pasajeros daban constantemente calificaciones bajas a los pilotos negros que recibían cinco estrellas de la mayoría de sus otros pilotos. La compañía podría infraponderar las calificaciones de aquellos pasajeros -que se han revelado discriminatorios- al calcular los resultados de retroalimentación global de los conductores negros.
Pero hay muchos casos en los que la idea de "hacer bien al hacer el bien" se mantiene - los tiempos en que las empresas de la plataforma podrían reducir la discriminación a un bajo costo o incluso aumentar las ganancias. También es posible que algunas empresas iluminadas puedan iniciar un ciclo virtual que obligue a un mejor comportamiento de otros participantes en el mercado.
Considere cómo se cumplió el desafío de crear diversidad en las orquestas sinfónicas de los Estados Unidos. A mediados de los años sesenta, menos del 10% de los músicos de las "cinco grandes" orquestas estadounidenses (Boston, Filadelfia, Chicago, Nueva York y Cleveland) eran mujeres. En los años setenta y ochenta, como parte de una iniciativa de diversidad más amplia, los grupos cambiaron sus procedimientos de audición para eliminar posibles sesgos. En lugar de realizar audiciones cara a cara, sentaron a músicos detrás de una pantalla u otro divisor. En un estudio de 2000, los economistas Claudia Goldin y Cecilia Rouse encontraron que la pantalla aumentó el índice de éxito de las mujeres músicas en un 160%. De hecho, atribuyeron aproximadamente una cuarta parte de la mayor diversidad de género de las orquestas a este sencillo cambio. Y con la selección basada más directamente en la habilidad musical, las orquestas estaban indudablemente mejor.
Cuando leímos por primera vez este estudio, hace muchos años, estábamos intrigados por la rara visión que proporcionaba sobre los efectos de la discriminación y por el enorme impacto de un pequeño cambio. Pero la solución se sentía frustrantemente contextual. Era difícil imaginar interacciones entre compradores y vendedores, o entre empleadores y candidatos a empleo, entre hombres y mujeres.
La era en línea ha cambiado eso. Al principio, fuimos testigos del potencial de Internet para crear mercados libres de consideraciones de raza, género y edad. Ahora hemos evolucionado lo suficiente como para que los diseñadores de plataformas puedan elegir dónde y cuándo colocar pantallas virtuales. Esperamos que usen ese poder para crear una sociedad más inclusiva.
Ray Fisman y Michael Luca - Harvard Business Review
Edición de diciembre de 2016
A fines de la década de 1980, los profesores de derecho Ian Ayres y Peter Siegelman se propusieron saber si los negros y las mujeres obtuvieron los mismos tratos que los hombres blancos al comprar un automóvil nuevo. Ellos entrenaron a 38 personas-algunas blancas y otras negras, algunas masculinas y otras femeninas- para negociar una compra usando un guión fijo y descubrieron diferencias inquietantes: a través de 153 concesionarios, los compradores negros y femeninos pagaban más por los mismos coches que los blancos, Con las mujeres negras pagando más - en promedio, casi 900 dólares más que los hombres blancos. Aunque las conclusiones no fueron una sorpresa para la mayoría de la gente, y menos aún para los negros y las mujeres, fueron una demostración convincente de cuán discriminatorios pueden ser los mercados.
Avanzar una docena de años a los primeros días del comercio de Internet. Los empresarios estaban experimentando con ventas basadas en la web de todo, incluyendo automóviles. Los economistas Fiona Scott Morton, Florian Zettelmeyer y Jorge Silva-Risso analizaron este nuevo modo de vender automóviles y encontraron que eliminó la discriminación racial y de género que, también encontraron, persistió en las ventas de automóviles fuera de línea.
De hecho, la primera generación de mercados en línea, incluyendo eBay, Amazon y Priceline, hizo difícil para los vendedores discriminar. Las transacciones se llevaron a cabo con anonimato relativo. Un usuario puede negociar una compra sin proporcionar ninguna información de identificación hasta que el vendedor haya aceptado el acuerdo. Como dice una famosa historieta de Nueva York, "En Internet, nadie sabe que eres un perro".
Excepto que las plataformas -y ahora sus usuarios- saben si eres negro o blanco, masculino o femenino, humano o canino. Y la Internet se ha revelado recientemente como una fuente de discriminación, no como un fin a ella: con sus identidades descubiertas, los grupos desfavorecidos enfrentan muchos de los mismos desafíos que han enfrentado en el mundo off-line, a veces empeorado por la falta de Regulación, las fotos de la prioridad dan a la raza y el género, y el hecho de que los aspirantes a discriminadores pueden actuar sin confrontar personalmente a sus víctimas.
¿Qué pasó y qué podemos hacer al respecto?
El surgimiento de la discriminación digital
En los primeros días del comercio electrónico, comprar en línea a menudo requiere un salto de fe. Un vendedor de eBay en Florida podría publicar, por ejemplo, una tarjeta de béisbol de Topps para la temporada 1974 de Nolan Ryan con los Angeles de California, junto con una descripción de su condición. Un coleccionista en Massachusetts podría pujar por la vista de la tarjeta sin ser visto, sobre la base de esa descripción. Una tarjeta en estado de menta podría ser valorada en $ 60, pero un perro-oreja uno valdría sólo una fracción de eso. ¿Qué era para evitar que el vendedor de pasar de una tarjeta bien gastada como prístina? Muy poco: un estudio de los economistas Ginger Jin y Andrew Kato encontró que a principios de los años 2000, los comerciantes de eBay a menudo falsas representaciones de la calidad de las tarjetas de comercio de deportes.El problema con el comercio electrónico temprano era que un lado del mercado tendía a saber cosas que el otro lado no tenía: la condición de una tarjeta de béisbol, la confiabilidad y el cuidado con que las mercancías serían empaquetadas, y así sucesivamente. Estos desafíos surgen en todos los mercados, pero fueron particularmente graves para las plataformas en línea, por dos razones principales. En primer lugar, es más difícil superar las asimetrías de información cuando no se puede sostener un producto en la mano. En segundo lugar, los vendedores en línea eran, casi por definición, nuevos en el negocio, ya que el negocio en sí había sido de alrededor de unos pocos años. No había marcas establecidas, como Sotheby's y Sears, para asegurar a los compradores que no serían engañados.
Con el tiempo, las revisiones de compradores y otros comentarios han permitido a los vendedores de comercio electrónico acumular reputación. Pero, ¿por qué detenerse en la recopilación de información cuando se podría extraer información tan potencialmente útil de las identidades de los compradores y los vendedores? Por ejemplo, Jefferson Duarte, Stephan Siegel y Lance Young, en un estudio sobre préstamos peer-to-peer de 2012, evaluaron la confiabilidad de los prestatarios potenciales después de ver fotografías de ellos. Resultó que las personas que "parecen dignas de confianza" eran más propensos a tener sus solicitudes de préstamo concedido. Más sorprendentemente, también eran más propensos a pagar los préstamos. La consecuencia fue que si este tipo de información fina pudiera ayudar a los participantes del mercado a evaluar las perspectivas de una transacción, tenía sentido proporcionarla.
En los sitios web de servicios que van desde freelance a paseo compartido a caminar perro, muchos vendedores ahora tienen discreción sobre quién hacer negocios con sobre la base de apariencia o incluso un nombre. La disponibilidad de tal información es específica de la plataforma, con algunos sitios preservando una cantidad justa de anonimato mientras que otros retroceden a las prácticas largamente prohibidas en los mercados off-line. Del mismo modo, en muchos sitios, incluyendo Etsy y CustomMade, los compradores potenciales no sólo ver los productos, sino también los nombres y fotos de los vendedores. Aunque tener detalles sobre posibles socios de transacciones puede hacer que la gente se sienta más cómoda, un creciente cuerpo de evidencia demuestra que facilita la discriminación.
El mercado de alquiler a corto plazo de Airbnb es un ejemplo de la aparición de la discriminación en los mercados en línea y las formas en que las decisiones de diseño influyen en el alcance de la misma. Cuando un posible inquilino busca listados, ve descripciones e imágenes tanto de la propiedad como del anfitrión. Y los anfitriones pueden ver los nombres -y en muchos casos las imágenes- de los potenciales inquilinos antes de aceptarlos o rechazarlos.
Uno de nosotros (Mike, trabajando con Benjamin Edelman y Daniel Svirsky) ha investigado la discriminación racial en Airbnb. En un estudio centrado en el mercado estadounidense, el grupo construyó 20 perfiles de usuario y envió solicitudes de alquiler a aproximadamente 6.400 hosts. Los perfiles y las solicitudes eran idénticos, excepto un detalle: el nombre del usuario. La mitad de los perfiles tenían nombres que (de acuerdo con los registros de nacimiento) son comunes entre los blancos, mientras que la mitad tenía nombres comunes entre los negros.
Las solicitudes con nombres de sonidos negros eran un 16% menos probables que las que tenían nombres de sonido blanco para ser aceptadas. Y la discriminación era generalizada, ocurriendo con listas baratas y caras, vecindades diversas y homogéneas, habitaciones en la propia vivienda del anfitrión y unidades separadas alquiladas por propietarios con listados múltiples. La mayoría de los anfitriones que rechazaron peticiones de perfiles de sonoridad negra nunca habían recibido a un huésped negro, lo que sugiere que algunos anfitriones son especialmente inclinados a discriminar por motivos de raza. (En respuesta a este estudio ya un creciente coro de críticas de usuarios y reguladores, Airbnb encargó a un grupo de trabajo para identificar maneras de reducir la discriminación, que propuso una serie de cambios en septiembre de 2016. Vamos a discutir los aspectos de las políticas anunciadas a continuación. )
Los investigadores han documentado la discriminación racial en una variedad de áreas en línea, desde los mercados laborales hasta las solicitudes de crédito y la vivienda. Está habilitado por dos rasgos: marcadores de raza, más obviamente fotografías pero también indicadores más sutiles, como nombres; Y la discreción por parte de los participantes en el mercado sobre los que realizan transacciones. Como veremos en la siguiente sección, ambas son opciones hechas por diseñadores de plataformas.
Otra característica del comercio en línea a veces, también contraintuitivamente, nutrido en lugar de suprimir la discriminación: el uso de algoritmos y grandes datos. Los resultados de búsqueda de Google sirve, los libros de Amazon sugiere, y las películas Netflix recomienda son todos los ejemplos de las máquinas de reemplazar el juicio humano imperfecto sobre lo que los clientes quieren. Es tentador asumir que la eliminación del juicio humano eliminaría el sesgo humano también. Pero ese no es el caso.
De hecho, la discriminación generada por algoritmos ocurre de formas que los humanos probablemente evitarían. En un estudio revelador, la profesora de ciencias de la computación Latanya Sweeney trató de entender el papel de la raza en los anuncios de Google. Buscó nombres afroamericanos comunes -como Deshawn y, bueno, Latanya- y registró los anuncios que aparecieron con los resultados. Luego buscó nombres, como Geoffrey, que son más comunes entre los blancos. Las búsquedas de nombres de sonido negro eran más propensas a generar anuncios que ofrecían la posibilidad de investigar posibles registros de arrestos.
Por supuesto, Google no se propuso mostrar anuncios de arresto-registro a las personas que buscaban nombres afro-americanos. Eso sucedió porque un algoritmo "decidió", sobre la base de búsquedas anteriores, que alguien que busca "Deshawn" es más probable que alguien que busca "Geoffrey" haga clic en un anuncio relacionado con arrestos (y por lo tanto genere ingresos para Google). Es decir, la elección fue hecha, si involuntariamente, por los diseñadores de algoritmos de Google.
Hacia un diseño de mercado más inteligente
Las plataformas, incluso cuando están en la misma industria, a menudo difieren en sus características de diseño, lo que puede conducir a diferentes niveles de vulnerabilidad a la discriminación. Tome la decisión de si y cuando publicar imágenes de usuario. Uber no proporciona a los conductores fotos de pasajeros potenciales, pero su competidor Lyft lo hace. Esto hace que Uber sea menos vulnerable que Lyft a la discriminación por parte de los conductores. Del mismo modo, la página principal de resultados de búsqueda del mercado de alquiler de vacaciones HomeAway muestra sólo fotos de la propiedad de alquiler y retiene las fotos de acogida hasta una página posterior (si se muestra en absoluto), mientras que Airbnb requiere que los anfitriones incluyen fotos de sí mismos en su Página principal de resultados de búsqueda.Las empresas también tienen diferentes enfoques para investigar la posible discriminación y tomar medidas correctivas. Por ejemplo, eBay trabajó con un equipo de psicólogos sociales para explorar si los vendedores masculinos obtienen precios más altos que los vendedores femeninos por artículos similares (lo hacen). Más comúnmente, sin embargo, las empresas evitar el problema. Aunque muchos ejecutivos reconocen que existe discriminación y expresan interés en reducirla, hemos visto pocos esfuerzos serios como eBay para medir su alcance. Así que los investigadores que buscan estudiar la discriminación en línea deben ejecutar sus propios experimentos o raspar datos decididamente imperfectos de los sitios web. (Y sabemos de casos en los que los abogados de la compañía han ido tras esos esfuerzos en un intento de bloquear la investigación relacionada con la raza).
El sesgo generado por el algoritmo ocurre de manera que los humanos probablemente evitarían.
Incluso las empresas con las mejores intenciones no pueden elegir el mejor enfoque para combatir la discriminación, porque, a nuestro conocimiento, no existe un sistema para pensar a través de las opciones de diseño disponibles y sus implicaciones. Nuestro objetivo en lo que sigue es ofrecer un marco para las empresas que quieren diseñar y gestionar un mercado próspero, minimizando al mismo tiempo el riesgo de discriminación.
No esperamos que cada diseñador del mercado tome las mismas decisiones. Al igual que los competidores hacen diferentes opciones de diseño sobre otras situaciones (por ejemplo, Lyft deja que los jinetes pasen por su aplicación, pero Uber no), harán diferentes opciones sobre enfrentar la discriminación; Entre otras razones, imponen primas diferentes para evitar la discriminación (aunque creemos que las plataformas deben mantenerse a un alto nivel en este sentido). Nuestro objetivo es ayudar a los diseñadores a considerar plenamente las implicaciones y los compromisos de sus opciones de diseño.
A continuación ofrecemos dos principios rectores para plataformas que luchan con este reto de diseño de mercado. A continuación, evaluamos cuatro opciones de diseño que pueden afectar la discriminación.
Principio 1: No ignorar el potencial de discriminación.
Las plataformas deben comenzar con un seguimiento más cuidadoso. Actualmente, la mayoría no conoce la composición racial y de género de sus participantes en la transacción. Un informe regular (y una auditoría ocasional) sobre la raza y el género de los usuarios, junto con las medidas del éxito de cada grupo en la plataforma, es un paso necesario (aunque no suficiente) para revelar y afrontar cualquier problema. Puede arrojar luz sobre las áreas donde la discriminación es un problema y revelar el progreso en el tiempo. También puede ser un primer paso de buena fe para reducir la discriminación. Por ejemplo, Airbnb debe informar regularmente sobre las tasas de aceptación de invitados que se desglosan por factores como la raza y el género. Hacer pública esta información ayudaría a aumentar la conciencia del usuario y del regulador y mantener la presión sobre las compañías para que traten seriamente los problemas de discriminación que surgen a medida que sus plataformas evolucionan. (La divulgación pública de datos relacionados con la discriminación es una dimensión en la que las políticas anunciadas por Airbnb son muy cortas, pero es necesario para asegurar que los objetivos amplios y loables de la compañía se traduzcan en resultados concretos).Principio 2: Mantenga una mentalidad experimental.
Las plataformas deben hacer lo que mejor hacen, experimentar. Empresas como Facebook, Yelp, y eBay han horneado el pensamiento experimental en su desarrollo de nuevos productos y características. Para probar opciones de diseño que pueden, junto con otras intervenciones, influir en el grado de discriminación, las empresas deben realizar ensayos controlados aleatorios. Airbnb debe ser aplaudido por un reciente experimento de retención de fotos de acogida de su página principal de búsqueda de resultados para explorar los efectos en los resultados de la reserva (aunque no ha hecho públicos los resultados).Decisión de diseño 1: ¿Está proporcionando demasiada información?
En muchos casos, el cambio más simple y eficaz que puede hacer una plataforma es retener información de usuario potencialmente sensible, como la raza y el género, hasta después de que se haya acordado una transacción. Algunas plataformas, incluyendo Amazon y eBay, ya lo hacen. Para muchos otros, sin embargo, significaría apartarse de la forma en que hacen negocios. Un ejecutivo de una plataforma con una valoración de mil millones de dólares nos dijo que su firma nunca consideraría la eliminación de fotos o nombres.Además de elegir qué información revelar, las plataformas eligen lo más destacado para hacerlo. Y un gran cuerpo de evidencia ha demostrado que la relevancia importa. En algunas plataformas, por ejemplo, los costos de envío están separados de, y menos destacados, que el precio base. En un experimento influyente, los economistas Jennifer Brown, Tanjim Hossain y John Morgan demostraron que en esta situación, un precio base más bajo aumenta la posibilidad de que un artículo se venda, incluso cuando está compensado por una carga de envío más alta. En otras palabras, un cliente está influenciado no sólo por la información que ve pero también por la información que es más prominente.
Para ver cómo se puede aplicar esta información, recuerde la comparación de Airbnb, que muestra las fotos del host en su página principal de búsqueda y HomeAway, que no. (En septiembre, Airbnb declaró que probará formas alternativas de presentar fotos y otra información relevante para la carrera, aunque no se comprometió a detalles específicos.) Al reducir la importancia de la raza, las plataformas podrían reducir la discriminación.
Decisión de diseño 2: ¿Podría automatizar aún más el proceso de transacción?
Al usar Uber, usted golpea ligeramente la pantalla para pedir un paseo; Sólo después de confirmar que usted aprende que le recogerá. En teoría, puede cancelar si no le gusta la calificación del conductor o su aspecto. Pero eso requiere esfuerzo, y este pequeño "costo de transacción" probablemente sea suficiente para disuadir a la mayoría de las cancelaciones basadas en las miradas. Uber podría haber permitido a los corredores ver al conductor antes de confirmar o cancelar, pero decidió no hacerlo.Tener transacciones se producen antes de la raza y el género se revela hace que sea más difícil para las personas a discriminar. Considere la característica Airbnb conocida como "libro instantáneo", diseñada para hacer la reserva más simple y más conveniente. Un anfitrión que lo utiliza permite a los inquilinos reservar su propiedad sin haberla aprobado por primera vez. El libro instantáneo es una característica de opt-in: Los propietarios deben registrarse para ello. La investigación ha demostrado que el sesgo predeterminado es fuerte: la mayoría de los hosts utilizarán cualquier opción configurada como predeterminada. Si Airbnb cambió su predeterminado a libro instantáneo, lo que requiere que los anfitriones opten activamente por salir de él, la discriminación muy probablemente será disminuida. La compañía podría incluso considerar hacer que los anfitriones paguen por el privilegio de revisar a los clientes, por ejemplo, podría cobrar una prima por optar por salir del libro instantáneo. (En septiembre la compañía anunció que aceleraría el uso del libro instantáneo, aunque no especificó cómo lo lograría.)
Creemos que el aumento de la automatización y los incentivos económicos estándar, cuidadosamente implementados, podrían reducir la discriminación y, al eliminar algunos de los vaivenes necesarios para completar una transacción, aumentar los beneficios en una variedad de plataformas.
Decisión de diseño 3: ¿Podría hacer las políticas de discriminación más importantes?
En un estudio de 2012, el equipo de investigación de Lisa Shu, Nina Mazar, Francesca Gino, Dan Ariely y Max Bazerman se dispuso a probar si algo tan simple como la ubicación de una firma en un formulario podría afectar la honestidad. Observaron que a menudo se pide a las personas que llenen información y luego firmen al final para dar fe de su veracidad. Se preguntaban si las personas tendrían menos probabilidades de engañar si firmaron al principio de la forma, antes de llenarla. De hecho, firmar en la parte superior llevó a menos engaño en un experimento de laboratorio y un experimento del mundo real con una compañía de seguros de auto. También trabajó en el contexto de las declaraciones de impuestos.Hay una lección aquí para los mercados: Si quieres que la gente haga algo, piense cuidadosamente sobre cuándo debe pedirles. La mayoría de las plataformas tienen políticas que prohíben la discriminación, pero están enterradas en letra pequeña. Por ejemplo, los anfitriones de Airbnb deben acordar no discriminar, pero lo hacen al firmar primero para ser un propietario. En el momento en que un anfitrión está decidiendo si aceptar a un arrendatario potencial, ella probablemente ha olvidado ese acuerdo. Los mercados podrían presentar políticas antidiscriminatorias en un momento más relevante y el acuerdo del anfitrión de no discriminar ocurrirá durante el proceso de transacción real. Algunas personas seguirían violando las políticas, por supuesto, pero eso requeriría una elección mucho más consciente.
Decisión de diseño 4: ¿Deberían sus algoritmos ser conscientes de la discriminación?
Las opciones de diseño también determinan hasta qué punto un algoritmo conduce a la discriminación. Hasta ahora, muchos diseñadores de algoritmos han ignorado factores como la raza y el género y sólo esperaban lo mejor. Pero en muchos casos la probabilidad de que un algoritmo alcance inadvertidamente la igualdad es esencialmente cero; Recuerde cómo los algoritmos de Google manejaban anuncios para registros de arrestos.Si un diseñador de algoritmos se preocupa por la imparcialidad, necesita hacer un seguimiento de cómo la raza o el género afecta la experiencia del usuario y establecer objetivos explícitos. ¿Quiere asegurarse de que los clientes negros no sean rechazados a tasas más altas que los clientes blancos? ¿A las mujeres se les ofrecen los mismos precios que a los hombres?
Google ajustó su algoritmo en respuesta al estudio del arresto-registro, pero las compañías pueden supervisar y responder proactivamente a tales problemas. Esto podría conllevar una compensación por la discriminación de algunos usuarios. Por ejemplo, supongamos que Uber se dio cuenta de que algunos pasajeros daban constantemente calificaciones bajas a los pilotos negros que recibían cinco estrellas de la mayoría de sus otros pilotos. La compañía podría infraponderar las calificaciones de aquellos pasajeros -que se han revelado discriminatorios- al calcular los resultados de retroalimentación global de los conductores negros.
Una lección de Orquestas Sinfónicas
Las plataformas existen en un contexto social más amplio, por supuesto; No podemos crear un mundo ciego y de género simplemente diseñando plataformas que sean menos aptas para facilitar la discriminación. Y sería ilusorio pensar que todos los diseñadores de plataformas aspiraron a ese objetivo; A veces, la discriminación es buena para los negocios. Cuando ese es el caso, sólo podemos apelar al sentido de responsabilidad empresarial de los líderes empresariales o esperar que intervenga la regulación gubernamental.Pero hay muchos casos en los que la idea de "hacer bien al hacer el bien" se mantiene - los tiempos en que las empresas de la plataforma podrían reducir la discriminación a un bajo costo o incluso aumentar las ganancias. También es posible que algunas empresas iluminadas puedan iniciar un ciclo virtual que obligue a un mejor comportamiento de otros participantes en el mercado.
Considere cómo se cumplió el desafío de crear diversidad en las orquestas sinfónicas de los Estados Unidos. A mediados de los años sesenta, menos del 10% de los músicos de las "cinco grandes" orquestas estadounidenses (Boston, Filadelfia, Chicago, Nueva York y Cleveland) eran mujeres. En los años setenta y ochenta, como parte de una iniciativa de diversidad más amplia, los grupos cambiaron sus procedimientos de audición para eliminar posibles sesgos. En lugar de realizar audiciones cara a cara, sentaron a músicos detrás de una pantalla u otro divisor. En un estudio de 2000, los economistas Claudia Goldin y Cecilia Rouse encontraron que la pantalla aumentó el índice de éxito de las mujeres músicas en un 160%. De hecho, atribuyeron aproximadamente una cuarta parte de la mayor diversidad de género de las orquestas a este sencillo cambio. Y con la selección basada más directamente en la habilidad musical, las orquestas estaban indudablemente mejor.
Cuando leímos por primera vez este estudio, hace muchos años, estábamos intrigados por la rara visión que proporcionaba sobre los efectos de la discriminación y por el enorme impacto de un pequeño cambio. Pero la solución se sentía frustrantemente contextual. Era difícil imaginar interacciones entre compradores y vendedores, o entre empleadores y candidatos a empleo, entre hombres y mujeres.
La era en línea ha cambiado eso. Al principio, fuimos testigos del potencial de Internet para crear mercados libres de consideraciones de raza, género y edad. Ahora hemos evolucionado lo suficiente como para que los diseñadores de plataformas puedan elegir dónde y cuándo colocar pantallas virtuales. Esperamos que usen ese poder para crear una sociedad más inclusiva.
.png)
