Operai ha reducido el tiempo y los recursos que gasta para probar la seguridad de sus poderosos modelos de inteligencia artificial, lo que aumenta las preocupaciones de que su tecnolog\u00eda se est\u00e1 apresurando sin suficientes salvaguardas.<\/p>\n
El personal y los grupos de terceros han recibido recientemente solo d\u00edas para realizar “evaluaciones”, el t\u00e9rmino otorgado a las pruebas para evaluar los riesgos y el rendimiento de los modelos, en los \u00faltimos modelos de idiomas de OpenAI, en comparaci\u00f3n con varios meses antes.<\/p>\n
Seg\u00fan ocho personas familiarizadas con los procesos de prueba de OpenAI, las pruebas de la nueva empresa se han vuelto menos exhaustivas, con un tiempo y recursos insuficientes dedicados a identificar y mitigar los riesgos, ya que la nueva empresa de $ 300 mil millones se presiona para liberar nuevos modelos r\u00e1pidamente y retener su ventaja competitiva. <\/p>\n
\u201cTuvimos pruebas de seguridad m\u00e1s exhaustivas cuando [the technology] fue menos importante “, dijo una persona que actualmente prob\u00f3 el pr\u00f3ximo modelo O3 de OpenAI, dise\u00f1ado para tareas complejas, como la resoluci\u00f3n de problemas y el razonamiento.<\/p>\n
Agregaron que a medida que los LLM se vuelven m\u00e1s capaces, se incrementa la “arma potencial” de la tecnolog\u00eda. “Pero debido a que hay m\u00e1s demanda, lo quieren m\u00e1s r\u00e1pido. Espero que no sea un mal paso catastr\u00f3fico, pero es imprudente. Esta es una receta para el desastre”.<\/p>\n
El Time Crunch ha sido impulsado por “presiones competitivas”, seg\u00fan personas familiarizadas con el asunto, ya que las carreras de Operai contra grandes grupos tecnol\u00f3gicos como Meta y Google y nuevas empresas, incluida la Xai de Elon Musk, para sacar provecho de la tecnolog\u00eda de vanguardia.<\/p>\n
No existe un est\u00e1ndar global para las pruebas de seguridad de la IA, pero a finales de este a\u00f1o, la Ley de IA de la UE obligar\u00e1 a las empresas a realizar pruebas de seguridad en sus modelos m\u00e1s poderosos. Anteriormente, los grupos de inteligencia artificial, incluido OpenAI, han firmado compromisos voluntarios con gobiernos en el Reino Unido y los Estados Unidos para permitir a los investigadores de los Institutos de Seguridad de AI evaluar los modelos.<\/p>\n
Operai ha estado presionando para lanzar su nuevo Modelo O3 a partir de la pr\u00f3xima semana, dando menos de una semana a algunos evaluadores por sus controles de seguridad, seg\u00fan personas familiarizadas con el asunto. Esta fecha de lanzamiento podr\u00eda estar sujeta a cambios.<\/p>\n
Anteriormente, Openai permiti\u00f3 varios meses para pruebas de seguridad. Para GPT-4, que se lanz\u00f3 en 2023, los evaluadores tuvieron seis meses para realizar evaluaciones antes de ser liberadas, seg\u00fan personas familiarizadas con el asunto.<\/p>\n
Una persona que hab\u00eda probado GPT-4 dijo que algunas capacidades peligrosas solo se descubrieron dos meses en las pruebas. “Simplemente no est\u00e1n priorizando la seguridad p\u00fablica en absoluto”, dijeron sobre el enfoque actual de Operai.<\/p>\n
“No hay regulaci\u00f3n que dice [companies] Tengo que mantener al p\u00fablico informado sobre todas las capacidades de miedo. . . Y tambi\u00e9n est\u00e1n bajo mucha presi\u00f3n para competir entre s\u00ed, por lo que no van a dejar de hacerlos m\u00e1s capaces “, dijo Daniel Kokotajlo, un ex investigador de OpenAi que ahora lidera el Proyecto de Futuros del Grupo AI sin fines de lucro.<\/p>\n
Operai se ha comprometido previamente a construir versiones personalizadas de sus modelos para evaluar el mal uso potencial, como si su tecnolog\u00eda podr\u00eda ayudar a que un virus biol\u00f3gico sea m\u00e1s transmisible.<\/p>\n
El enfoque implica recursos considerables, como ensamblar conjuntos de datos de informaci\u00f3n especializada como virolog\u00eda y alimentarlo al modelo para entrenarlo en una t\u00e9cnica llamada ajuste fino.<\/p>\n
Pero Operai solo ha hecho esto de una manera limitada, optando por ajustar un modelo m\u00e1s antiguo y menos capaz en lugar de los m\u00e1s potentes y avanzados. <\/p>\n
El informe de seguridad y rendimiento de la nueva empresa sobre O3-Mini, su modelo m\u00e1s peque\u00f1o publicado en enero, hace referencia a c\u00f3mo su modelo anterior GPT-4O pudo realizar una cierta tarea biol\u00f3gica solo cuando se ajustaba. Sin embargo, Operai nunca ha informado c\u00f3mo sus modelos m\u00e1s nuevos, como O1 y O3-Mini, tambi\u00e9n obtendr\u00edan un puntaje si se ajustan. <\/p>\n
“Es excelente Operai establece una barra tan alta al comprometerse a probar versiones personalizadas de sus modelos. Pero si no est\u00e1 siguiendo este compromiso, el p\u00fablico merece saber”, dijo Steven Adler, un ex investigador de seguridad de Operai, que ha escrito un blog sobre este tema.<\/p>\n
“No hacer tales pruebas podr\u00eda significar Openai y las otras compa\u00f1\u00edas de IA est\u00e1n subestimando los peores riesgos de sus modelos”, agreg\u00f3.<\/p>\n
Las personas familiarizadas con tales pruebas dijeron que ten\u00edan costos fuertes, como contratar expertos externos, crear conjuntos de datos espec\u00edficos, as\u00ed como usar ingenieros internos y energ\u00eda inform\u00e1tica. <\/p>\n
Operai dijo que hab\u00eda hecho eficiencias en sus procesos de evaluaci\u00f3n, incluidas las pruebas automatizadas, lo que ha llevado a una reducci\u00f3n en los plazos. Agreg\u00f3 que no hab\u00eda una receta acordada para enfoques como el ajuste fino, pero estaba seguro de que sus m\u00e9todos eran los mejores que pod\u00eda hacer y se hicieron transparentes en sus informes. <\/p>\n
Agreg\u00f3 que los modelos, especialmente para los riesgos catastr\u00f3ficos, se probaron y mitigaron a fondo por seguridad.<\/p>\n