邊緣運算AIoT小系統也能藉GPT超大模型運算起飛

邊緣運算AIoT小系統也能藉GPT超大模型運算起飛

近年來AI技術與應用的突飛猛進,讓相關市場愈來愈熱,而邊緣AIoT的小系統也能隨之興盛嗎?它的關鍵需求為何?而由AVS AI與樹莓派Pi結合的AiPi又是什麼呢?本文將詳細告訴您。
 
AI熱了!10年來一波一波的應用與市場的突破使得AI越來越熱,集合了人類自開啟電力時代以來,所有重大發明的需求及資源,皆在此時再複刻加上成為更龐大的AI金字塔。
 
AI熱了!邊緣AIoT小系統也能隨之成長?

今日已經沒有太多的國家和集團能完全充裕支應的生成式超大模型運算GPT,卻不需要多久就將被更巨大甚至達百倍的模型所覆蓋,越快能聚集資源進行就會形成越高的效率和威力。

那麼周而復始的到了後期,能掌握最巨型資料與運算資源的團體,能有多少比例的運算資源會透明且開放地提供給平民百姓或小團體,來應用於發展切身需要的場域服務呢?AI最終會變成被壟斷的領域嗎?廣泛分散的庶民AIoT小系統還有發展的良方嗎?

20年前喊過的雲端運算、15年前喊過的IoT物聯網、6年前喊過的AIoT、3年前喊過的元宇宙(metaverse)⋯等,都曾經被高唱入雲。但今日炙熱的光芒主要照向雲端的GPT,以及跟随其後的AI手機、AI伺服器、AI PC也又跟著被高喊,那麼邊緣AIoT的小系統也能随之興盛成長嗎?
 
AIoT關鍵需求:易於上手且彈性應用於多元場景

經過10年發展,全球IoT的數量也來到了135億套,同時創造了超萬億美元的產值,但隨後加上AI的AIoT如被扣除AI手機的計量將佔不到30%。所以可知道要做好聯網功能並不難,可是要做好AI功能卻頗不容易。特別是今日全球帶AI邊緣運算功能的晶片至少已上千款(光是台廠推出者都已超過200款),但是已被大量應用的仍然很少,是什麼原因呢?

其實問題不在於硬體而是在於軟體,就好像GPU還有Intel及AMD在繪圖與遊戲上不輸給NVIDIA多少,但在AI應用上卻硬是大輸給NVIDIA,主要是在科學與工程計算上的軟體發展和運用差了15年的累積投入。AIoT是特別需要有廣眾投入支援的網路軟體發展平台,更要有構建良好的AI軟體發展系統,卻因AIoT的應用方向太廣、太散,即使國際巨頭公司如Google、Meta、微軟、AWS也難以提供完整充分的支持。

今日關鍵的需求是面對要結合一個易於上手且能彈性應用的聯網軟體系統,還要有高效疊加能於多元場景應用的AI模型產生平台。然而,即使連國際巨頭大公司都無法辦到,要如何靠某個小團體能達成呢?那就是天時、地利、人和,再加上巧力出奇蹟了!當然此刻也必須提出非常變革的思維,配置強烈的企圖心及特定的能力,更要鍥而不捨的試錯,並精心建構深入整合各項優缺點互補方案的去蕪存菁,才終得解決高強度痛點的解方。
 
相較於樹莓派Pi開發者的原有作法,由AVS AI與樹莓派Pi結合的AiPi,
其執行前端AI的效果提升了1萬倍。

 
巧力出奇蹟的Ai-Pi

AVS此時正好能運用上自身最精、小、快、省的邊緣AI晶片系統,密切的融合了全球最易用、開放、又最具規模的樹莓派(Raspberry Pi)超小單板微電腦系統。
 
Pi易用、開放又最具規模
Pi原本是由英國教育部致力推廣學習,目前在全球已有4,000萬的學習者,甚至延伸至工商業的創新設備用途,每年再新增700萬用戶。其具備完善豐富的軟體環境,優質彈性的聯網通訊,高效運算存儲及親和多視窗介面的高質感體驗,兼具小體積與經濟實惠,還能多代兼容不斷更新,10年不到即已席捲全球。然而,竟迄今仍未建制任何有效的AI加速核心(其每3年一次的大改款,到最近期的第5代發表還是一樣),是其唯一的痛點。
 
以多模態大模型LMM訓練AIoT將成日常
於此千載難逢AI大興起的時機,除了雲端GPT的大語言模型LLM,更強大的多模態大模型LMM(含多元的圖像識別和生成功能)也將呼之欲出了。除了目前可聯網上雲端的GPT服務外,不久後利用多模態大模型的運作來訓練邊緣運算的小模型將變成AIoT發展者的日常。差別在於,誰家的AIoT具備最佳的AI應用效能及聯網優勢,更在於能否建立穩固的廣衆社群支持基礎。淘汰賽很快就會開始,輸贏的起跑點在於誰能在事先就已做好準備。

Ai-Pi結合AVS AI與樹莓派Pi
今日AVS AI結合樹莓派PI的「Ai-Pi」(參閱圖1)來的正是時候,除了馬上可以提供廣大的PI用戶體驗高效經濟的前端AI應用,結合聯網上雲運用GPT的生成智慧服務也讓Ai-Pi能享有最好的體驗,再稍後與多模態影像的超GPT邊雲AI影音互動將會得到更佳的人機體驗。最終通過多模態大模型的協助,訓練出各式的小模型也能快速升級多元完善的AIoT運算模型,並省力高效的產生出更豐富好用的場景應用方案。AiPi彈性高效、功能強大卻又輕薄短小,尤有經濟實惠的優質特色,可使得初學以上者甚或百工百業的開發人員,都能很容易的發展成各行業場景及用途的創新AI聯網設備了。目前Ai-Pi與國內外數所知名大學商談推廣的合作,正熱烈進行中。
 
AVS AI860人工智慧晶片應用

 
結語

另外,值得一提的是具備「優省輕薄」特色的AVS AI860人工智慧晶片。AI860晶片偵測速度不僅高達>520張人臉/秒,更有經聯合前端推論多AI遷移學習相依異構模型推論強化後,達99.9%精度的人臉比對辨識效率的AI優創演算法,可植入多數中、低階微處理器(如NVDIA、樹莓派、聯詠、瑞薩⋯等),聯合運行能大幅擴增其演算的容量、範圍及精度(參閱圖2)。以AI860晶片所開發的「AI多目標全景智慧追蹤雲台」為例,是可建構於營建、安防、警政、交通、無人機等場域,進行防災、監控⋯等良好應用的設備。
分享文章:
熱門文章
 

a&s全球安防科技網於每周/月,分別提供訂戶有關AIoT安全、防火防災最新資訊,包括:技術趨勢、產業動態、產品訊息、解決方案、行業應用、網路安全…等,讓您一手掌握機先、處處無往不利。

  • 智慧安全焦點報(週)
  • 建築與居住空間焦點報(月)
  • 智慧運輸焦點報(月)
  • 智慧防火防災趨勢報(月)
立即前往