ഒരിക്കൽ AI ഉപയോഗിക്കണമെങ്കിൽ ഇന്റർനെറ്റും ക്ലൗഡ് സർവറുകളും അനിവാര്യമായിരുന്നു. ChatGPT, Gemini, Claude പോലുള്ള സംവിധാനങ്ങൾ നമ്മൾ ചോദിക്കുന്ന എല്ലാ കാര്യങ്ങളും ദൂരെയുള്ള ഡാറ്റാ സെന്ററുകളിലേക്ക് അയച്ചാണ് മറുപടി നൽകുന്നത്. എന്നാൽ ഇപ്പോൾ ആ രീതിയിൽ വലിയൊരു മാറ്റം സംഭവിച്ചുകൊണ്ടിരിക്കുകയാണ്.
ഇനി ശക്തമായ AI മോഡലുകൾ സ്വന്തം ലാപ്ടോപ്പിൽ തന്നെ പ്രവർത്തിപ്പിക്കാനാകുന്ന കാലമാണ് വരുന്നത്. അതും ഇന്റർനെറ്റ് ഇല്ലാതെയും, ഡാറ്റ പുറത്തേക്ക് പോകാതെയും.
കഴിഞ്ഞ കുറച്ച് മാസങ്ങളായി “ലോക്കൽ LLM” എന്ന ആശയം സാങ്കേതിക ലോകത്ത് വേഗത്തിൽ ജനപ്രിയമാകുകയാണ്. ഗവേഷകരും ഡെവലപ്പർമാരും മാത്രമല്ല, സാധാരണ ഉപയോക്താക്കളും ഇന്ന് സ്വന്തം കമ്പ്യൂട്ടറിൽ AI പ്രവർത്തിപ്പിക്കാൻ ശ്രമിക്കുന്നു.
എന്താണ് ലോക്കൽ LLM?
പേര് കേൾക്കുമ്പോൾ വളരെ സാങ്കേതികമായ കാര്യമെന്നു തോന്നാം. എന്നാൽ ആശയം വളരെ ലളിതമാണ്.
സാധാരണ AI സേവനങ്ങൾ ഉപയോഗിക്കുമ്പോൾ നിങ്ങളുടെ ചോദ്യങ്ങളും വിവരങ്ങളും കമ്പനികളുടെ സർവറുകളിലേക്കാണ് പോകുന്നത്. എന്നാൽ ലോക്കൽ LLM സംവിധാനത്തിൽ AI മോഡൽ നേരിട്ട് നിങ്ങളുടെ ലാപ്ടോപ്പിലാണ് പ്രവർത്തിക്കുന്നത്.
അതായത്:
നിങ്ങളുടെ ഡാറ്റ പുറത്തേക്ക് പോകുന്നില്ല
ഇന്റർനെറ്റ് ഇല്ലാതെയും AI ഉപയോഗിക്കാം
ഏത് മോഡൽ വേണമെന്ന് നിങ്ങൾക്ക് തീരുമാനിക്കാം
മാസാന്ത സബ്സ്ക്രിപ്ഷൻ ഫീസ് ഒഴിവാക്കാം
സ്വകാര്യതയ്ക്ക് പ്രാധാന്യം നൽകുന്നവർക്കും ഗവേഷണ ആവശ്യങ്ങൾക്കുമായി AI ഉപയോഗിക്കുന്നവർക്കും ഇത് വലിയ നേട്ടമാണ്.
എന്തുകൊണ്ടാണ് ആളുകൾ ലോക്കൽ AI-യിലേക്ക് മാറുന്നത്?
AI ഉപയോഗത്തെക്കുറിച്ചുള്ള ഏറ്റവും വലിയ ആശങ്കകളിൽ ഒന്ന് ഡാറ്റ സ്വകാര്യതയാണ്. നാം AIയോട് പങ്കിടുന്ന വിവരങ്ങൾ എവിടെയാണ് സൂക്ഷിക്കപ്പെടുന്നത് എന്ന ചോദ്യത്തിന് പലർക്കും വ്യക്തമായ മറുപടി ലഭിക്കാറില്ല.
അതിനാലാണ് ഇപ്പോൾ കൂടുതൽ പേർ “എന്റെ ഡാറ്റ എന്റെ കമ്പ്യൂട്ടറിൽ തന്നെ തുടരട്ടെ” എന്ന സമീപനത്തിലേക്ക് മാറുന്നത്.
അതോടൊപ്പം മറ്റൊരു കാരണവും ഉണ്ട് ചെലവ്. ചില AI സേവനങ്ങൾ ഉപയോഗിക്കാൻ പ്രതിമാസ സബ്സ്ക്രിപ്ഷൻ ആവശ്യമാണ്. API ഉപയോഗിക്കുന്നവർക്ക് അധിക ചെലവുകളും വരും. എന്നാൽ ലോക്കൽ AI-യിൽ ഒരിക്കൽ മോഡൽ ഡൗൺലോഡ് ചെയ്താൽ പിന്നീട് ഇഷ്ടമുള്ളത്ര ഉപയോഗിക്കാം.
Ollama: തുടക്കക്കാർക്ക് ഏറ്റവും എളുപ്പമുള്ള വഴി
ലോക്കൽ AI ലോകത്തേക്ക് കടക്കാൻ ഇപ്പോൾ ഏറ്റവും കൂടുതൽ പേർ ഉപയോഗിക്കുന്ന ഉപകരണങ്ങളിൽ ഒന്നാണ് “Ollama”.
ഇത് Windows, Mac, Linux എന്നിവയിൽ പ്രവർത്തിക്കും. ഇൻസ്റ്റാൾ ചെയ്ത ശേഷം വേണ്ട AI മോഡൽ ഡൗൺലോഡ് ചെയ്താൽ മതി. തുടർന്ന് ChatGPT പോലുള്ള ഒരു ചാറ്റ് വിൻഡോയിൽ AI ഉപയോഗിക്കാം.
സാങ്കേതിക അറിവ് വളരെ കുറവുള്ളവർക്കും ഉപയോഗിക്കാൻ എളുപ്പമാണ് എന്നതാണ് Ollama-യുടെ വലിയ പ്രത്യേകത.
Llama, Mistral, Qwen പോലുള്ള പല മോഡലുകളും ഇതിലൂടെ ഉപയോഗിക്കാനാകും.
കൂടുതൽ നിയന്ത്രണം വേണമെങ്കിൽ LM Studio
Ollama ലളിതമായ അനുഭവം നൽകുമ്പോൾ “LM Studio” കൂടുതൽ പ്രൊഫഷണൽ നിയന്ത്രണങ്ങൾ നൽകുന്ന സംവിധാനമാണ്.
AI മോഡൽ എത്ര വേഗത്തിലാണ് പ്രവർത്തിക്കുന്നത്, എത്ര മെമ്മറി ഉപയോഗിക്കുന്നു, മറുപടി സൃഷ്ടിക്കാൻ എത്ര സമയം എടുക്കുന്നു തുടങ്ങിയ കാര്യങ്ങൾ വരെ ഇവിടെ കാണാനാകും.
AI മോഡലുകളെക്കുറിച്ച് കൂടുതൽ ആഴത്തിൽ പഠിക്കാൻ ആഗ്രഹിക്കുന്ന ഡെവലപ്പർമാർക്കും ഗവേഷകർക്കും ഇത് വളരെ ഉപകാരപ്പെടുന്നു.
എന്നാൽ ഒരു ശക്തമായ ലാപ്ടോപ്പ് വേണം
AI മോഡലുകൾ ചെറുതല്ല. ചിലത് 4GB ആയിരിക്കും. ചിലത് 20GB-നും മുകളിലായിരിക്കും.
അതുകൊണ്ട് ലോക്കൽ AI ഉപയോഗിക്കാൻ ഒരു അടിസ്ഥാന ഹാർഡ്വെയർ ശേഷി ആവശ്യമാണ്.
പൊതുവെ:
8GB RAM കുറഞ്ഞത് ആവശ്യമാണ്
16GB RAM ഉണ്ടെങ്കിൽ മികച്ച പ്രകടനം ലഭിക്കും
SSD സ്റ്റോറേജ് നിർബന്ധം പോലെ തന്നെ
50GB മുതൽ 100GB വരെ ഒഴിവുള്ള സ്റ്റോറേജ് വേണം
GPU ഉണ്ടെങ്കിൽ AI കൂടുതൽ വേഗത്തിൽ പ്രവർത്തിക്കും. പക്ഷേ GPU ഇല്ലാത്ത സാധാരണ ലാപ്ടോപ്പുകളിലും ചെറിയ മോഡലുകൾ ഉപയോഗിക്കാനാകും.
എല്ലാം പൂർണമല്ല
ലോക്കൽ AI വളരെ ആകർഷകമാണെങ്കിലും ചില പരിമിതികളും ഉണ്ട്.
വലിയ മോഡലുകൾ ഡൗൺലോഡ് ചെയ്യാൻ സമയം വേണം. ചിലപ്പോൾ ഇൻസ്റ്റാൾ ചെയ്യുന്നതും അല്പം സങ്കീർണ്ണമാകാം. കൂടാതെ ക്ലൗഡിലുള്ള ഏറ്റവും പുതിയ പ്രൊപ്രൈറ്ററി മോഡലുകളുടെ നിലവാരത്തിലെ പ്രകടനം എല്ലായ്പ്പോഴും ലഭിക്കണമെന്നില്ല.
അതുപോലെ തന്നെ എല്ലാ മോഡലുകളും പൂർണമായും “ഓപ്പൺ സോഴ്സ്” അല്ല. ചിലത് സൗജന്യമായി ഡൗൺലോഡ് ചെയ്യാനാകുമെങ്കിലും വാണിജ്യ ഉപയോഗത്തിന് നിയന്ത്രണങ്ങൾ ഉണ്ടായേക്കാം.
AI ലോകം മാറിക്കൊണ്ടിരിക്കുന്നു
ഒരിക്കൽ ക്ലൗഡിൽ മാത്രം പ്രവർത്തിച്ചിരുന്ന AI ഇപ്പോൾ വ്യക്തിഗത കമ്പ്യൂട്ടറുകളിലേക്കെത്തുകയാണ്. ഇത് വെറും സാങ്കേതിക മാറ്റമല്ല; AIയുടെ നിയന്ത്രണം വലിയ കമ്പനികളിൽ നിന്ന് ഉപയോക്താക്കളിലേക്കെത്തുന്ന ഒരു മാറ്റം കൂടിയാണ്.
സ്വകാര്യത, സ്വാതന്ത്ര്യം, നിയന്ത്രണം ഈ മൂന്ന് കാര്യങ്ങളാണ് ലോക്കൽ AI യെ കൂടുതൽ ജനപ്രിയമാക്കുന്നത്.
ഹാർഡ്വെയറുകൾ കൂടുതൽ ശക്തമാകുകയും AI മോഡലുകൾ കൂടുതൽ കാര്യക്ഷമമാകുകയും ചെയ്യുന്ന സാഹചര്യത്തിൽ ഭാവിയിൽ “സ്വന്തം AI സഹായി” ഓരോ ലാപ്ടോപ്പിലും സാധാരണമാകാൻ സാധ്യതയുണ്ട്.
About The Author
