Paradoks Teknologi: Mengapa Tagihan AI Perusahaan Justru Bengkak Saat Harga Token Terjun Bebas?

Di atas kertas, biaya operasional kecerdasan buatan (AI) seharusnya semakin murah. Sejak awal tahun 2024, harga “token”—satuan teks yang digunakan model bahasa raksasa (LLM) untuk memproses informasi dan menentukan tarif pelanggan—telah merosot tajam hingga hampir gratis. Namun di dunia nyata, para pemimpin teknologi informasi (IT) justru disibukkan oleh realita yang bertolak belakang: tagihan AI perusahaan mereka justru meroket tanpa kendali.

Fenomena kontradiktif ini memicu alarm di berbagai sektor industri. Penurunan harga komputasi tampaknya tidak diiringi dengan efisiensi anggaran, melainkan justru memicu konsumsi yang jauh lebih masif.

“Harga token telah jatuh sekitar 98 persen sejak awal 2024, namun tagihan AI di tingkat korporasi terus merangkak naik,” ujar Jeff Barrington, Managing Director di Windsor Drake, sebuah perusahaan penasihat investasi dan M&A yang berbasis di Toronto.

Menurut Barrington, murahnya biaya komputasi justru membuat perusahaan mengonsumsinya dengan lebih cepat dan tidak terkontrol. Data menunjukkan bahwa sekitar 73 persen perusahaan global telah melampaui anggaran AI asli mereka pada tahun lalu. Kasus ekstrem bahkan menimpa raksasa teknologi seperti Uber.

“Uber memfasilitasi 5.000 insinyurnya dengan asisten pemrograman berbasis AI pada Desember lalu. Akibatnya, mereka menghabiskan seluruh anggaran AI tahunan mereka hanya dalam waktu empat bulan, tepatnya pada bulan April,” tambah Barrington.

Lantas, apa saja faktor utama di balik bengkaknya pengeluaran ini di tengah tren penurunan harga teknologi?

1. Migrasi Besar-besaran dari Chatbot Sederhana ke Agen AI Otonom

Salah satu pemicu utama lonjakan konsumsi ini adalah evolusi penggunaan AI itu sendiri. Perusahaan kini tidak lagi sekadar bereksperimen dengan proyek uji coba (pilot) atau menggunakan chatbot tanya-jawab sederhana. Mereka mulai beralih ke sistem produksi skala penuh yang digerakkan oleh Agen AI (Agentic AI).

Perbedaan konsumsi komputasi antara chatbot tradisional dan Agen AI sangat signifikan:

• Chatbot Tradisional: Hanya memproses satu pertanyaan pengguna dan langsung memberikan satu jawaban (sistem satu arah).
• Agen AI Otonom: Memecah satu instruksi tunggal menjadi serangkaian langkah logis yang kompleks. Agen ini akan melakukan perencanaan mandiri, memanggil alat eksternal, mengambil data dari berbagai dokumen, hingga melakukan verifikasi silang terhadap hasilnya sebelum memberikan jawaban akhir.

Satu instruksi sederhana dari pengguna kini dapat memicu ratusan panggilan API di latar belakang. Proses ini meningkatkan konsumsi token hingga 5 hingga 30 kali lipat untuk menyelesaikan satu tugas yang sama.

2. Masalah Data Kotor dan Format Dokumen yang Tidak Efektif

Banyak perusahaan yang membayar mahal hanya karena struktur data internal mereka yang berantakan. Memasukkan dokumen mentah yang tidak terstruktur ke dalam model AI memaksa teknologi tersebut bekerja ekstra keras—dan menghabiskan lebih banyak token—hanya untuk memahami format data sebelum mulai memproses isinya.

Format dokumen PDF sering kali menjadi “tersangka utama” dalam pemborosan anggaran ini. PDF dirancang untuk kebutuhan tampilan visual manusia agar mudah dicetak atau dibaca, bukan untuk dibaca oleh mesin komputer secara efisien.

“Dalam beban kerja berbasis agen, output nyata yang dihasilkan sering kali hanya berkisar antara 5 hingga 15 persen dari total token yang dikonsumsi. Sisanya habis untuk overhead konteks,” jelas Jon Knisley, Head of AI Enablement di Abbyy.

Menurut Knisley, setiap kali dokumen PDF dimasukkan ke dalam sistem AI, model harus membuang-buang token berbayar hanya untuk merekonstruksi tata letak (layout) sebelum dapat mengekstrak fakta di dalamnya. Perusahaan pada dasarnya membayar model penalaran canggih yang mahal hanya untuk melakukan pekerjaan format dokumen dasar.

Logika Konsumsi Token pada Agen AI

Sebaliknya, dokumen yang bersih dan terstruktur dengan baik akan langsung memotong biaya secara signifikan karena meminimalkan proses interpretasi awal oleh model AI.

3. “Utang Semantik” dan Kompleksitas Internal Organisasi

Di luar masalah teknis seperti format dokumen, tagihan AI yang membengkak sering kali mencerminkan kekacauan struktural di dalam organisasi itu sendiri. Fenomena ini kerap disebut sebagai Utang Semantik (Semantic Debt).

Hal ini terjadi ketika departemen yang berbeda di dalam satu perusahaan menggunakan definisi, istilah, atau taksonomi yang berbeda untuk menjelaskan konsep bisnis yang sama. Akibatnya, model AI menerima informasi yang saling bertentangan dan membingungkan.

“Menyelesaikan masalah utang semantik membutuhkan penyelarasan organisasi, bukan sekadar solusi teknis. Hal ini sering kali diremehkan oleh banyak perusahaan,” ungkap Bihag Karnani, Senior Product Manager di Google.

Bihag menambahkan bahwa banyak perusahaan menghabiskan waktu berbulan-bulan hanya untuk menyadari bahwa data internal mereka dalam kondisi yang jauh lebih buruk daripada yang diperkirakan semula. Biaya yang dihabiskan untuk membayar tim insinyur guna merapikan data agar siap digunakan oleh LLM adalah biaya AI tersembunyi yang tidak pernah muncul di lembar tagihan resmi dari penyedia model.

Bagaimana Menyiasati Pemborosan Anggaran AI?

Para pakar menyarankan beberapa langkah strategis bagi perusahaan untuk menekan biaya operasional AI tanpa harus mengorbankan produktivitas:

• Membangun Pipa Pra-Ingest (Pre-Ingestion Pipeline): Melakukan kurasi, pembersihan, peringkasan, dan penataan data mentah sebelum data tersebut dikirim ke model AI.
• Menghindari Duplikasi Konteks: Membatasi pengiriman dokumen latar belakang yang sama berulang kali dalam setiap perintah (prompt).
• Audit Akses dan Integrasi: Mengidentifikasi data mana yang benar-benar perlu dihubungkan dengan agen AI untuk menghindari konsumsi data yang tidak relevan.

Kesimpulan: AI sebagai Cermin Infrastruktur Perusahaan

Pada akhirnya, tingginya tagihan LLM sering kali menjadi cerminan dari kompleksitas internal organisasi yang belum terselesaikan. Proses bisnis yang tidak konsisten, kepemilikan data yang tidak jelas, dan tumpukan konten tidak terstruktur selama bertahun-tahun akan langsung terakumulasi menjadi biaya begitu teknologi AI diintegrasikan ke dalam alur kerja.

Model AI memang dapat membantu merapikan informasi yang berantakan, namun perusahaan harus membayar mahal untuk proses tersebut. Untuk mengoptimalkan investasi jangka panjang, perusahaan disarankan untuk memperlakukan informasi sebagai infrastruktur dasar yang harus dibenahi terlebih dahulu, serta mulai mengukur keberhasilan proyek AI berdasarkan nilai nyata yang diciptakan, bukan sekadar volume penggunaan teknologi.