看板 Soft_Job
大家晚安, 最近在開發一個自動化測試的小玩具 OpenTestX,想說來板上取暖 原本是想說現在 AI 這麼紅,拿來產測試腳本應該很爽? 結果試了幾次發現 AI 根本是通靈,產出來的東西語法雖然會動,但商業邏輯亂噴一通, 改那個腳本的時間我拿來手動測還比較快 後來想說換個思路,既然我們本來就有一堆寫好的 Test cases 了,為什麼不直接餵給 L LM 叫它幫我轉成Skill.md? 這工具大概在幹嘛: 1. 把你原本那些 Excel 裡的測試案例直接匯入。 2. 用 LLM 去理解內容,把它變成一個一個會動的 Skill。 3. 這樣就不用怕 AI 瞎猜邏輯,因為邏輯是你原本就定好的。 這東西現在還超陽春,功能很不完整,很多地方我都還沒修好,大概只有 0.1 版的程度 (請輕噴)。UI 很醜,有些邊緣情況跑起來會噴錯,但我目前還在持續補坑。 也附上GitHub ,讓有興趣的人可以 clone下來玩玩看: https://github.com/BobChochola/openTestX 想問問板上測試的大大們,現在大家都怎麼處理 AI 邏輯亂跳的問題? 或是這種既有案例轉 Skill的做法有沒有什麼我沒想到的雷點 手機發文如果排版不優請見諒 編輯:把文章連結移除 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.106.180 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1774892765.A.B29.html
labbat: 沒有頭緒,畢竟如果案例有規則那就不是案例了03/31 02:10
labbat: 太多需要逐案判斷的東西了03/31 02:11
peterturtle: 品質把關的 system test 自己手動弄啦03/31 11:36
peterturtle: 特別是 AI 對一些突然冒出來的「例外」很弱,因為他03/31 11:43
peterturtle: 並不真的知道你的結果看上去要怎麼樣,太多細節是你03/31 11:43
Kroner: 不動對關節最好,拎北都躺著 04/01 21:50
peterturtle: 文字沒辦法提供的了,就算你某個按鈕按下去會有個兔03/31 11:43
peterturtle: 崽子跑出來跳曼波舞只要該跳的有跳AI也會跟你回報一 03/31 11:43
peterturtle: 切正常。03/31 11:43
USD5566: 這裡不是用來蹭medium點閱的請將文章重點貼出03/31 12:10
Chricey: 我有在用UC2,感覺效果還不錯欸! 04/01 21:51
CoNsTaR: 如果是未成年跑出來跳脫衣舞它就會改成回報 I'm a safe a03/31 12:19
CoNsTaR: nd helpful ai assistant 了 /s03/31 12:19
※ 編輯: chochola (39.14.208.111 臺灣), 03/31/2026 12:25:58 ※ 編輯: chochola (39.14.208.111 臺灣), 03/31/2026 12:27:35
gn00273680: 講清楚就沒有所謂邏輯亂跳的問題~通常都是你講不清楚 03/31 15:04
chita0258: /skill-creator @testcase.xlsx 03/31 17:31
Chricey: 有人用過中醫針灸治療關節痛的嗎?效果如何? 03/31 17:31
MOONY135: 邏輯好像有點怪,test本來就是看規格決定測試手法。你叫 03/31 18:01
MOONY135: 他看code去釐清要QA的項目有點詭異? 03/31 18:01
MOONY135: 這應用場景是手測QA還是軟體測試的QA? 然後如果某個but 03/31 18:05
MOONY135: ton原本是方的要測有沒有改成圓的 會不會出現時間序錯誤 03/31 18:05
Chricey: 最近天氣變化大,關節痛好像更嚴重了。 03/31 18:05
MOONY135: 的問題 導致怎麼測都會有問題? 03/31 18:05
k7ji91ab5m: 不是這樣弄得 AI時代驗證的品質和角遠比code重要的多 03/31 22:55
pttano: 這個能幹嘛? 04/01 18:16
guanting886: 不太懂,你的專案Ai幫你寫Test會亂跳,但你另外做工 04/01 21:50
Kroner: 看到有人提到關節痛,我就想到有一篇UC2推薦的文章 04/01 21:50
guanting886: 具就不會,有沒有一種可能原因是你專案的Test本身就 04/01 21:50
guanting886: 有存在一些問題 04/01 21:50
guanting886: 以及給你他的指示不夠清楚 04/01 21:51
guanting886: 你給他^ 04/01 21:51
Chricey: 關節痛按摩有效嗎? 04/01 21:51