La Asamblea del Estado de California dio un gran paso hacia la regulación de la IA el miércoles por la noche, pasando SB 243 – Un proyecto de ley que regule los chatbots complementarios de IA para proteger a menores y usuarios vulnerables. La legislación aprobada con apoyo bipartidista y ahora se dirige al Senado estatal para una votación final el viernes.

Si el gobernador Gavin Newsom firma el proyecto de ley, entraría en vigencia el 1 de enero de 2026, lo que hace de California el primer estado en exigir a los operadores de chatbot de IA que implementen protocolos de seguridad para compañeros de IA y responsabilicen legalmente a las empresas si sus chatbots no cumplen con esos estándares.

El proyecto de ley tiene como objetivo específicamente evitar chatbots complementarios, que la legislación define como sistemas de IA que proporcionan respuestas adaptativas y humanas y que son capaces de satisfacer las necesidades sociales de un usuario, de participar en conversaciones en torno a la ideación suicida, la autolesión o el contenido sexualmente explícito. El proyecto de ley requeriría que las plataformas proporcionen alertas recurrentes a los usuarios, cada tres horas para los menores, recordándoles que están hablando a un chatbot de IA, no a una persona real, y que deberían tomar un descanso. También establece requisitos anuales de informes y transparencia para las compañías de IA que ofrecen chatbots complementarios, incluidos los principales jugadores OpenAI, personaje. AI y Replika.

El proyecto de ley de California también permitiría a las personas que creen que han sido lesionadas por violaciones para presentar demandas contra compañías de IA que buscan un alivio cautelar, daños (hasta $ 1,000 por violación) y honorarios de abogados.

SB 243, presentado en enero por los senadores estatales Steve Padilla y Josh Becker, irá al Senado estatal para una votación final el viernes. Si se aprueba, irá al gobernador Gavin Newsom para ser firmado, con las nuevas reglas en vigencia el 1 de enero de 2026 y los requisitos de informes que comienzan el 1 de julio de 2027.

El proyecto de ley ganó impulso en la Legislatura de California después de la muerte del adolescente Adam Raine, quien se suicidó después de chats prolongados con el chatgpt de Opensei que implicaba discutir y planificar su muerte y autolesión. La legislación también responde a documentos internos filtrados que, según los informes, mostraron que los chatbots de Meta se les permitió participar en chats «románticos» y «sensuales» con niños.

En las últimas semanas, los legisladores y reguladores estadounidenses han respondido con el escrutinio intensificado de las salvaguardas de las plataformas de IA para proteger a los menores. El Comisión federal se está preparando para investigar cómo los chatbots de IA impactan la salud mental de los niños. El fiscal general de Texas, Ken Paxton, ha lanzado investigaciones sobre meta y carácter. Ai, acusándolos de niños engañosos con reclamos de salud mental. Mientras tanto, tanto el senador Josh Hawley (R-Mo) como Senador Ed Markey (D-MA) han lanzado sondas separadas en meta.

«Creo que el daño es potencialmente excelente, lo que significa que tenemos que movernos rápidamente», dijo Padilla a TechCrunch. «Podemos establecer salvaguardas razonables para asegurarnos de que en particular los menores sepan que no están hablando con un ser humano real, que estas plataformas vinculan a las personas con los recursos adecuados cuando las personas dicen cosas como están pensando en lastimarse a sí mismos o están en peligro, [and] Para asegurarse de que no haya una exposición inapropiada al material inapropiado «.

Padilla también enfatizó la importancia de que las compañías de IA compartan datos sobre la cantidad de veces que remiten a los usuarios a los servicios de crisis cada año, «por lo que tenemos una mejor comprensión de la frecuencia de este problema, en lugar de solo darnos cuenta cuando alguien está perjudicado o peor».

SB 243 anteriormente tenía requisitos más fuertes, pero muchos se redujeron a través de enmiendas. Por ejemplo, el proyecto de ley originalmente habría requerido que los operadores eviten que los chatbots de IA usen tácticas de «recompensa variable» u otras características que fomenten el compromiso excesivo. Estas tácticas, utilizadas por compañías complementarias de IA como Replika y personaje, ofrecen a los usuarios mensajes especiales, recuerdos, historias o la capacidad de desbloquear respuestas raras o nuevas personalidades, creando lo que los críticos llaman un bucle de recompensa potencialmente adictivo.

El proyecto de ley actual también elimina las disposiciones que habrían requerido que los operadores rastreen e informen con qué frecuencia los chatbots iniciaron discusiones sobre ideación suicida o acciones con los usuarios.

«Creo que logra el equilibrio correcto de causar daños sin hacer cumplir algo que es imposible de cumplir con las empresas, ya sea porque técnicamente no es factible o simplemente mucho papeleo para nada», dijo Becker a TechCrunch.

SB 243 se está moviendo para convertirse en ley en un momento en que las compañías de Silicon Valley están invirtiendo millones de dólares en los Comités de Acción Política de Pro-AI (PAC) para respaldar a los candidatos en las próximas elecciones de mitad de período que favorecen un enfoque de toque ligero para la regulación de la IA.

El proyecto de ley también se produce cuando California pesa otro proyecto de ley de seguridad de IA, SB 53, lo que exigiría los requisitos integrales de informes de transparencia. Operai ha escrito una carta abierta al gobernador Newsom, pidiéndole que abandone ese proyecto de ley a favor de marcos federales e internacionales menos estrictos. Las principales compañías tecnológicas como Meta, Google y Amazon también se han opuesto a SB 53. En contraste, solo Anthrope ha dicho que admite SB 53.

«Rechazo la premisa de que esta es una situación de suma cero, que la innovación y la regulación son mutuamente excluyentes», dijo Padilla. «No me digas que no podemos caminar y masticar chicle. Podemos apoyar la innovación y el desarrollo que creemos que es saludable y tiene beneficios, y hay beneficios para esta tecnología, claramente, y al mismo tiempo, podemos proporcionar salvaguardas razonables para las personas más vulnerables».

TechCrunch se ha comunicado con OpenAi, antrópico, meta, carácter ai y replika para hacer comentarios.