Usar GLM5.2 con la facturación basada en energía de Neuralwatt
Hola, soy Munou.
He estado queriendo usar GLM5.2 recientemente, pero como he estado dando vueltas sin rumbo, voy a escribir sobre ello.
Investigación
Primero, investigué dónde se puede usar de forma gratuita.
En Cloudflare Workers AI, se puede usar el nivel gratuito por ahora, así que lo probé. Dios, es demasiado lento.
Supongo que es de esperar, pero tal vez debido a que hay un nivel gratuito, la velocidad de respuesta es terrible.
https://openrouter.ai/z-ai/glm-5.2
Actualmente, solo la respuesta de la API tarda 43 segundos, por lo que es inútil. De hecho, cuando probé el sitio oficial de Z.ai, que estaba usando para pruebas, no obtuve ninguna respuesta en absoluto, lo cual es un desastre.
Parece que también se ofrece en el plan de suscripción de Open Code, pero las críticas de los usuarios de Reddit no son muy buenas; el consumo de tokens es enorme, por lo que se alcanza el límite rápidamente, lo que dificulta su operación.
Además, si el modelo se vuelve menos inteligente cuando se comprime mediante cuantización, no tendría sentido pagar por algo que termina siendo inútil, así que decidí buscar basándome en las críticas de Internet y en lo que pareciera interesante. Me registré en algunos proveedores chinos, pero lo dejé porque la información sobre los modelos utilizados no era pública.
Finalmente, los usuarios de Hacker News también recomendaban un lugar llamado Neuralwatt, así que lo investigué y parece tener un sistema de precios interesante basado en la energía.
El uso es variable según esta potencia eléctrica, y se puede verificar en la página oficial de la siguiente manera.
https://portal.neuralwatt.com/pricing
Como estado de la energía, también se puede verificar cuánta electricidad se consumió en una sola solicitud actual.
https://portal.neuralwatt.com/energy-pricing
Comparación con Codex
En cuanto a la sensación al usarlo, el GLM-5.2 (short, fast) tiene una velocidad de respuesta equivalente al Codex que uso principalmente, pero en este caso el contexto es de 200K.
El GPT 5.5 Medium que uso en Codex incluye razonamiento, por lo que probablemente la longitud máxima del contexto sea de 256k combinando entrada y salida. Si se tratara como algo sustancialmente equivalente, sería el GLM-5.2 (short). La razón es que hay que tener cuidado porque en el modelo Fast no hay razonamiento.
OpenAI GPT 5.5 :
https://help.openai.com/ja-jp/articles/11909943-gpt-55-in-chatgpt
Neuralwatt GLM-5.2 (short, fast) :
https://portal.neuralwatt.com/models/glm-5.2-short-fast
Neuralwatt GLM-5.2 (short) :
Originalmente, me pasé a Codex porque la respuesta de Gemini CLI era demasiado lenta, y quedé tan impresionado que me suscribí. Mi impresión es que el GLM-5.2 (short) tiene casi el mismo nivel de velocidad que el Codex 5.5 Medium, por lo que es muy práctico.
Creo que poder cambiar de modelo fácilmente cuando ni siquiera se necesita razonamiento es un beneficio de usar Open Code. En cuanto a la investigación de errores, hubo partes donde pude encontrar errores con el modelo GLM 5.2 de 1048K de contexto que no se encontraron con el mismo prompt en Codex GPT 5.5 xhigh, por lo que siento una ligera diferencia en cuanto al modelo de entrenamiento, pero en su mayor parte, ambos están a la par.
Si ya están a la par, ¿no sería más económico un sistema de pago por uso donde el dinero no disminuya tanto? Tengo esa sensación, pero en realidad, la buena relación calidad-precio de la cuota de Codex disponible con la suscripción de ChatGPT es difícil de abandonar, así que no sabría decir.
Sin embargo, mi sensación es que si Codex no está disponible temporalmente, o si has agotado tu cuota y no quieres aumentar más suscripciones, o si el consumo de la cuota de Codex se acelera, es un candidato muy fuerte como LLM de respaldo.
Después de usar el GLM 5.2 con contexto máximo de 1048K razonablemente durante las horas no laborales, de una carga de 11 dólares en 24 horas quedan $8.09, por lo que son aproximadamente 3 dólares.
Considerando que se pueden realizar correcciones desde perspectivas que no se encuentran en GPT 5.5 o investigar errores, creo que poder usarlo por este precio es una opción bastante viable para los usuarios de Codex que no quieren usar Claude (que requiere una suscripción y no tiene nivel gratuito).
Otros modelos
Xiaomi MiMo 2.5, que me parece bastante útil, aunque todavía no hay suficiente información para investigarlo a fondo.
https://mimo.xiaomi.com/mimo-v2-5/
Se puede usar gratis en Open Code Go y parece que no hay límites incluso si se ejecuta continuamente, por lo que poder usarlo prácticamente de forma ilimitada es bastante bueno, pero no puedo decir mucho ya que no conozco los detalles del modelo MiMo 2.5 Free en sí. Es lo suficientemente excelente como para que valga la pena pagar un poco por usarlo. Especialmente porque, aunque se use para entrenamiento, si se deja por un tiempo puede realizar correcciones y creación de aplicaciones decentes, así que siento que podría dejarle tareas como la creación de scripts desechables.