SShortSingh.
Back to feed

Experiment Shows AI Models Default to Negative Verdicts Without Real-World Evidence

0
·56 views

A developer ran a controlled blind experiment across five AI model families — Grok, DeepSeek, GPT, Gemini, and Claude — asking each to argue whether AI makes humanity intellectually stronger or weaker. All ten runs, across two isolated arms each, unanimously concluded 'weaker,' drawing on the same well-documented research around cognitive offloading and memory decline. To investigate the cause, the developer ran a follow-up test with Gemini using four conditions, including one where the model was given a real three-month record of an individual's AI-assisted work, complete with failures and no instructed conclusion. That single change — introducing actual evidence — flipped the verdict to 'stronger' in both draws, while reworded or reframed questions without evidence still returned negative results. Analysis of the models' reasoning traces revealed they had defaulted to the 'weaker' position largely because the atrophy-focused literature is older, larger, and more citable, exposing how AI models can mistake bibliographic abundance for truth.

Read the full story at DEV Community

This is an AI-generated summary. ShortSingh links to the original source for the complete article.

Discussion (0)

Log in to join the discussion and vote.

Log in

Related stories

0
ProgrammingDEV Community ·

Datanika Adds SAML 2.0 and OIDC Single Sign-On for Enterprise Organizations

Datanika now supports SAML 2.0 and OIDC single sign-on, configured separately for each organization so that access is governed by the company's own identity provider. Both protocols authenticate users by verified email address and place them into the matching organization. Organization owners or admins set up SSO in Settings, with OIDC generally considered simpler because it avoids certificate management. New SSO users are created automatically without a password and assigned the least-privileged viewer role until an admin promotes them. SAML assertions are validated in strict mode against the organization's configured certificate to block unsigned or tampered responses.

0
ProgrammingDEV Community ·

How to Evaluate an LLM Router for Production Use

The guide recommends starting from existing traffic, choosing a baseline model, and measuring cost and quality on requests that represent real production workloads, including typical cases, failures, and task types not used to tune the router. Teams should log model choice, token usage, cache reads and writes, latency, and retries, and classify tasks before averaging results, since a cheap model may succeed at summarization yet fail at tool calls. Savings can be estimated from the share of rerouted spend and its relative cost, but actual comparisons should use measured total cost at equal quality thresholds, accounting for escalations and retries. Caching effects must also be measured per candidate model, because switching models can change cache hit behavior, and each category should be rolled out separately with a fallback to the baseline. Finally, the article warns to review the router's deployment boundaries, since it may handle sensitive prompts or hold provider credentials.

0
ProgrammingDEV Community ·

Hướng dẫn đánh giá bộ định tuyến LLM cho môi trường sản xuất

Bài viết đề xuất bắt đầu từ lưu lượng sản xuất hiện có, đo chi phí và chất lượng trên một mô hình cơ sở với các yêu cầu đại diện, bao gồm cả trường hợp thất bại. Các tác vụ cần được phân loại trước khi tính trung bình, vì một tuyến giá rẻ có thể hoạt động tốt ở tác vụ này nhưng thất bại ở tác vụ khác như gọi công cụ. Tác giả đưa ra công thức ước tính tiết kiệm dựa trên phần chi phí có thể chuyển tuyến, đồng thời lưu ý cần tính cả chi phí chuyển lên cấp cao hơn, lệnh gọi trùng lặp và thử lại. Bài viết cũng khuyến nghị đo chi phí bộ nhớ đệm thay vì giả định mức tiết kiệm cố định, ghi nhật ký tuyến định tuyến và triển khai từng nhóm kèm khả năng quay lại mô hình cơ sở. Cuối cùng, người đọc được nhắc kiểm kê quyền truy cập và nơi lưu trữ thông tin nhạy cảm của bộ định tuyến.

0
ProgrammingDEV Community ·

Production LLM routerini qanday baholash kerak: xarajat va sifat bo'yicha qadamlar

Mavjud ishlab chiqarish trafigidan boshlab, boshlang'ich model va so'rovlar bo'yicha xarajat hamda sifat o'lchanadi. Baholash uchun oddiy holatlar, muvaffaqiyatsizliklar va marshrutizator sozlanmagan vazifa turlarini o'z ichiga olgan kichik misollar to'plami tuziladi. Tejamni hisoblashda qayta yo'naltirilgan so'rovlarning ulushi va ularning narxi nisbati asos qilinadi, lekin keshlash, qayta urinishlar va eskalatsiyalar ham hisobga olinishi kerak. Har bir nomzod uchun kesh o'qish va yozish xarajatlari alohida kuzatilib, jurnallarda yo'nalish tanlanish sababi qayd etiladi. Maxfiy ma'lumotlar va provayder hisob ma'lumotlarining saqlanishi ham marshrutizatorni joriy etishdan oldin tekshirilishi tavsiya etiladi.