Привет , сейчас помогу запустить ,ты то в батнике походу уменьшил  количество оперативы но сделал ее слишком маленькой . И так открой  StartGameServer.bat , и измени эту строку как у меня приведено ниже 
 
java -server -Dfile.encoding=UTF-8 -Xmx2G -cp ./libs/*;./../build/* studio.lineage2.gameserver.GameServer
 После отткрой GameServer_loop.sh и измени строку 
java -server -Dfile.encoding=UTF-8 -Xmx2G -cp ./libs/* studio.lineage2.gameserver.GameServer > log/stdout.log 2>&1
 Пока все на этом должно запуститься