Привет , сейчас помогу запустить ,ты то в батнике походу уменьшил количество оперативы но сделал ее слишком маленькой . И так открой StartGameServer.bat , и измени эту строку как у меня приведено ниже
java -server -Dfile.encoding=UTF-8 -Xmx2G -cp ./libs/*;./../build/* studio.lineage2.gameserver.GameServer
После отткрой GameServer_loop.sh и измени строку
java -server -Dfile.encoding=UTF-8 -Xmx2G -cp ./libs/* studio.lineage2.gameserver.GameServer > log/stdout.log 2>&1
Пока все на этом должно запуститься