Technical Support Specialist
Riset privat mengenai model AI lokal lebih kecil untuk membantu pengembang memeriksa log teknis dan mendiagnosis insiden sistem pesan. Ketepatan serta saran aman masih dievaluasi.
Yang kami eksplorasi
Bisakah model kecil lokal membantu teknisi menafsirkan log sistem pesan tanpa menyarankan perubahan yang belum terverifikasi atau merusak? Kami menguji metode pelatihan dan evaluasi untuk tugas ini.
Mengapa sulit
Broker pesan perusahaan mengalami rangkaian kegagalan kompleks: kehabisan thread pool, batas penyimpanan broker, indeks persistensi rusak, dan timeout berantai. Model bahasa kecil cenderung mengarang konfigurasi yang terdengar masuk akal atau menyarankan operasi administratif berbahaya tanpa mengisolasi akar penyebab.
Gambaran teknis
Riset ini meneliti arsitektur pengetahuan dua lapis. Konsep middleware stabil dan pohon diagnosis terstruktur dilatih langsung ke bobot model pelajar lewat distilasi urutan, sedangkan status lingkungan berubah, log aktif, serta konfigurasi spesifik lokasi ditangani sistem pengambilan lokal terisolasi. Verifikator keselamatan penting mewajibkan kutipan bukti persis dan otomatis mengarantina saran yang melibatkan operasi berkas tidak aman.
Yang sedang diuji
Kami membandingkan calon model dengan contoh terpisah dan pemeriksaan regresi pada skenario dukungan teknis sintetis terbatas. Kami memeriksa apakah respons mengenali kemungkinan hambatan, mengutip materi pendukung, dan menghindari tindakan koreksi tanpa dasar. Pemeriksaan ini bukan evaluasi eksternal independen.
Yang telah ditunjukkan
Pipeline generasi data, verifikasi, fine-tuning, kuantisasi, dan evaluasi data terpisah telah diimplementasikan. Pencapaian peningkatan bidang yang diperlukan oleh model pelajar masih dievaluasi.
Yang belum terselesaikan
Generalisasi ke konfigurasi lama sembarang dan topologi jaringan kustom yang belum dilihat tetap menjadi tantangan. Evaluasi sintetis dan gold terkurasi tidak sepenuhnya menangkap log bising serta ambigu dari berbagai insiden produksi. Pemisahan keyakinan model dari kebenaran nyata masih diteliti.
Status riset saat ini
Ini riset terapan privat. Eksperimen data publik dan kalibrasi dipisahkan dari sumber privat, dengan hasil evaluasi terbatas pada data serta kondisi yang digunakan.
