AI

出大事了...

AI能模仿人類在手機(jī)上操作APP了

AppAgent可以通過自主學(xué)習(xí)和模仿人類的點(diǎn)擊和滑動手勢，能夠在手機(jī)上執(zhí)行各種任務(wù)。

它可以在社交媒體上發(fā)帖、幫你撰寫和發(fā)送郵件 、使用地圖、在線購物，甚至進(jìn)行復(fù)雜的圖像編輯...

AppAgent在50 個任務(wù)上進(jìn)行了廣泛測試，涵蓋了10種不同的應(yīng)用程序。

該項(xiàng)目由騰訊和德州大學(xué)達(dá)拉斯分校的研究團(tuán)開發(fā)。

主要功能特點(diǎn)：

- 多模態(tài)代理：AppAgent 是一個基于大語言模型的多模態(tài)代理，它能夠處理和理解多種類型的信息（如文本、圖像、觸控操作等）。這使得它能夠理解復(fù)雜的任務(wù)并在各種不同的應(yīng)用程序中執(zhí)行這些任務(wù)。

- 直觀交互：它能通過模仿人類的直觀動作（如點(diǎn)擊和滑動屏幕）來與智能手機(jī)應(yīng)用程序交互。就像一個真人用戶一樣。

- 自主學(xué)習(xí)：AppAgent 通過觀察和分析不同應(yīng)用程序中的用戶界面交互。并學(xué)習(xí)這些交互模式，并將所獲得的知識編譯成文檔。

- 構(gòu)建知識庫：通過這些交互，AppAgent 構(gòu)建了一個知識庫，記錄了不同應(yīng)用程序的操作方法和界面布局。這個知識庫隨后用于指導(dǎo)代理在不同應(yīng)用程序中執(zhí)行任務(wù)。

-執(zhí)行復(fù)雜任務(wù)：一旦學(xué)習(xí)了應(yīng)用程序的操作方式，AppAgent 就能夠執(zhí)行跨應(yīng)用程序的復(fù)雜任務(wù)，如發(fā)送電子郵件、編輯圖片。

好東西

好東西